| Topics with their latest replies in reversed order | ||
 |
Which llama.cpp server flags matter first? 发布者 pandaadmin 7 天 前 | 最近一次发帖: 7 天 前 |
|
|
|
Does speculative decoding help much on consumer GPUs? 发布者 pandaadmin 7 天 前 | 最近一次发帖: 7 天 前 |
|
|
|
What is the KV cache and why does long context eat VRAM? 发布者 pandaadmin 7 天 前 | 最近一次发帖: 7 天 前 |
|
|
|
Do I need to install Flash Attention myself for local inference? 发布者 pandaadmin 7 天 前 | 最近一次发帖: 7 天 前 |
|
|
|
Can prompt caching help local OpenAI-compatible servers? 发布者 pandaadmin 7 天 前 | 最近一次发帖: 7 天 前 |
|
|
|
Local agents and MCP servers—how do I start without getting owned? 发布者 pandaadmin 7 天 前 | 最近一次发帖: 7 天 前 |
|
|
|
Using LangChain or LlamaIndex fully offline—what is the stable path? 发布者 pandaadmin 7 天 前 | 最近一次发帖: 7 天 前 |
|
|
|
Chroma vs Qdrant vs Milvus Lite for local RAG? 发布者 pandaadmin 7 天 前 | 最近一次发帖: 7 天 前 |
|
|
|
Docker or Kubernetes for local inference—what trips people up? 发布者 pandaadmin 7 天 前 | 最近一次发帖: 7 天 前 |
|
|
|
AWQ vs GPTQ vs GGUF—how should I choose a quant format? 发布者 pandaadmin 7 天 前 | 最近一次发帖: 7 天 前 |
|