选择并调好您的模型

这是一个不太爱听的真相：不是您选择您的模型，是您的机器选择。 您可以梦想跑地球上最大的 open-weight 巨兽，但如果您只有 32 GB RAM，它永远跑不起来。好消息是，到 2026 年，本地的全景已经变得极好，前提是瞄准得当。我们先立下决定一切的规则（尺寸匹配），再看目录，最后切入真正的问题：什么时候您的 mini-PC 够用，什么时候 Claude 还是领先。

尺寸匹配的规则（决定一切的那条）

在模型的名字之前，先讲物理。一个模型，就是数十亿个参数（即「权重」），每一个都占内存。心算的公式一行就够：

所需 RAM ≈（参数量 × 每权重字节数）+ 上下文缓存（KV cache）

每权重的字节数取决于精度（讲到量化时再说）。实践中，在 Q4_K_M，标准格式，下，按每十亿参数约 0.6 GB算（这是 Quelle IA 遵循的规则，详见其「Comment on compte」一节，法语网站）。给系统加 0.5 到 2 GB，如果您用长上下文或多个并行请求，再加 30% 到 50%。

几个 Q4_K_M 下的参照，给您练练眼力：一个 Llama 8B 装进约 6 GB，一个 32B 的稠密（dense）模型约 19 GB，一个 Llama 70B 要 40-43 GB。这是一张随手备查的表，按内存档位划分。这些是 Quelle IA（法语网站）在 2026 年 9 月 28 日版中的选择；它们变化频繁，下载 20 GB 之前请先查看您机器的页面。

想查您的确切配置：每台机器的页面（例如 128 GB 的 Ryzen AI Max+ 395 或 32 GB 的 Mac mini M6），或者用四个问题 找到我的模型（法语网站）。

# 集成显卡从系统拿走了多少，单位是字节
cat /sys/class/drm/card*/device/mem_info_gtt_used

# 给机器上的其他服务留出 28 GB 内存（数值单位为字节）
# 写进 Ollama 服务的环境变量里
OLLAMA_GPU_OVERHEAD=30064771072

不设这一项，Ollama 会按”机器上只有我一个”来算它的层数。它看到的是一块 128 GB 的显卡，于是就敢把一个 65 GB 的模型装进一台还跑着三十个服务的 94 GB 机器里。

捷径：让工具替您做尺寸匹配

刚才立下的整条规则（数 GB、掂量量化、认出 MoE），有个开源小工具两秒钟就替您算完：llmfit（MIT 许可，仓库 AlexsJones/llmfit）。它扫描您的机器（RAM、CPU 核心、VRAM、多 GPU）和已装的运行时（Ollama、llama.cpp、LM Studio、MLX、Docker Model Runner），跟一份模型和量化的目录交叉比对，给您一个打过分的排名：哪些装得下、哪些跑得快、该瞄准哪个量化。免得白白拉一个 20 GB 的模型回来。

这两个工具告诉您什么装得下。想知道装得下的里面哪个评分最高，按任务细分（代码、智能体、法语……），请看 Quelle IA 的逐机推荐（法语网站）：64 台真实机器，附带注明日期的价格。

2026 年的模型全景

标志性事实：中国的实验室主导着 open-weight（阿里巴巴、DeepSeek、智谱 Z.ai、月之暗面、MiniMax、小米），Google（Gemma）和 OpenAI（gpt-oss）是主要的美国选项。两种轮廓浮现出来。巨型模型（总参数从几千亿到 2.8 T）面向服务器或机器集群。还有紧凑型模型（约 25-30B，稠密或 MoE），它们才真正能在 mini-PC 上跑。我们关心的就是第二个家族。

以下是截至 2026 年 9 月 28 日的稳妥选择，依据 Quelle IA（法语网站）：

在 mini-PC 上首选就是 qwen3.8:27b，只要装得下。如果速度比最后几分质量更重要，gemma4:26b 凭借 4B 激活参数响应快得多。而在跑智能体的 128 GB 机器上，gpt-oss:120b 值得一试。排名每周都在变：本地模型排名、所有开放模型（包括您家里装不下的），以及用 比较 把两个模型放在一起对照（均为法语网站）。

把量化讲清楚

您看到过像 Q4_K_M 这样的名字。来解码一下。GGUF 是本地模型的文件格式，后缀表示精度：每个权重保留多少比特。比特越少 = 文件越轻 = 装进越少的 RAM。代价是质量略有损失。

Q4_K_M 大约只有原始 FP16 模型的 30% 重，而损失仅约 2-3%。专门对代码而言，它经得起考验，升到 Q5 或 Q6 并不会让代码生成有可感知的改善。您只有在被迫时才会降到 Q4 以下，而且您会很快察觉（代码和推理是最先遭殃的）。

在 Ollama 里接上正确的量化

实践中很简单：在 Ollama 里，标签（tag）已经编码了量化。您通过把精度写进名字里来选择它。

说实话：本地还是 Claude？

我们不会给您卖梦。以下是 Quelle IA 2026 年 9 月 28 日版所呈现的本地状况，不加滤镜。

对于边界清晰且私密的任务，短窗口生成、重构、自动补全、定点调试，本地真的有竞争力。它私密、按使用免费，而且在基准上的差距已经明显收窄（GLM-5.3 和 DeepSeek V4 正在逼近最好的模型，Kimi K3 在智能体上很硬）。还有一点常被忽略：一个 open-weight 模型在好的框架里（一个配置得当的 OpenCode）表现，比在裸聊天里好得多。

但有两个局限要记住：

• 顶点仍然是 Claude。 在 Quelle IA 代码排名（法语网站）上，Claude Opus 5.5（99.9）和 Claude Fable 5.1（98.6）领先。能装进 128 GB mini-PC 的最好模型 Qwen 3.8 27B 在那里得 81.1（仍是暂定分数）。
• 最好的开放模型在 mini-PC 上跑不了。 Kimi K3（2.8 T 参数）、GLM-5.3（744B）、DeepSeek V4 Pro（1.6 T），那是 API 或服务器的事。就连代码方面最好的本地模型 GLM-5.3-Flash（88.9）也需要两台 DGX Spark。本地能装下的（Qwen 3.8 27B、Gemma 4 26B A4B、gpt-oss-120b）在长链智能体可靠性和工具使用上低一档。