4GB 这个数字的意义
NVIDIA 同时放出了两个模型：Nemotron 3.5 Super VL（120B 总参数、12B 激活、100 万 token 上下文、支持文本/图像/文档/视频）和 Nemotron 3.5 Bolt E4B 4GB（4GB 显存、64k 上下文、35 种语言）。
前者是能力展示，后者才是能真正铺开的东西。原因很直接：4GB 显存意味着几乎所有现役笔记本都能跑。RTX 3050 4G、MacBook 的统一内存、甚至 Jetson Orin Nano 这类边缘盒子，都在射程内。
过去"本地跑大模型"的门槛是 8-16GB 显存，把大量普通用户挡在门外。4GB 是一次量变引起质变的门槛下移。
Bolt E4B 的能力边界
官方定位很明确：对话智能体 + 工具调用，不是通用大模型。
- 64k 上下文：能塞进一整份中等长度的文档或一个模块的代码；
- 35 种语言：含中文，多语场景可用；
- 工具调用优化：这是重点，模型专门针对 function calling 做过训练；
- 完整开源：Hugging Face 上有权重、训练数据和微调配方。
最后一条被低估了。很多"开源"模型只给权重，不给数据，你想微调就得自己造数据集。给训练数据和配方，意味着你可以针对自己的工具集做定向微调——这对做垂直 agent 的团队价值极大。
Super VL 强在哪
如果你想了解上限，Super VL 的数据值得看：
- 120B 总参数、12B 激活
- 100 万 token 上下文
- 文本 + 图像 + 文档 + 视频四种输入
NVIDIA 的说法是它用约五分之一的参数量达到了自家最大推理模型的水平，并且比同类次优方案快 5 倍。这个"快 5 倍"在 agent 场景里比智能分数更实用——agent 要连续调用几十次，单次延迟会累积成分钟级的差别。
如果你需要处理图像，站内的 WeVisOne-VL 方案是另一个思路：更小、更专、多任务合一。两者可以按任务分工。
部署实操：三条路径
路径一：Ollama（最省事）
适合本机试用，一条命令拉起。优点是零配置，缺点是定制空间小，工具调用的参数控制不够细。适合先验证"这个模型能不能干我的活"。
路径二：vLLM / TensorRT-LLM（要吞吐）
如果要接多人使用或做服务化，用 vLLM 起 OpenAI 兼容接口。小模型在这里的优势是批处理效率极高——4GB 的模型在单卡上可以塞很多并发。
值得一提的是，同期 vLLM 公布了针对 DeepSeek-V4.1-Flash 的优化方案，用 Prefill/Decode 分离 + Wide-EP，在 GB300 NVL72 上单卡吞吐达到 95.4 万 token/s。这套方法论对小模型同样适用，只是收益比例不同。
路径三：Jetson Orin Nano（边缘）
官方明确提到的场景。适合做离线设备：工业终端、门店导购机、车载助手。这条路的门槛不在软件，在功耗和散热设计——要连续跑推理，机壳散热必须提前算。
工具调用：小模型最容易翻车的地方
必须提醒：小模型的工具调用失败率显著高于大模型。它们在参数格式、嵌套结构、多工具串联上容易出错。工程上要做三件事兜底：
- 结构化输出强约束：用 JSON Schema 或 grammar-based decoding 限制输出格式，别指望模型自觉；
- 工具描述写得极度明确：参数类型、必填/可选、枚举值全部写清，不要留解释空间；
- 失败重试 + 降级：调用失败时把错误信息回喂给模型重试一次，还失败就走规则兜底。
这三件事做好，4GB 模型的工具调用成功率能到 90% 以上；不做，可能只有 60%。
什么时候该用本地小模型
三个判断条件，满足两个就值得上：
- 数据不能出网：医疗记录、法务文档、企业内部代码；
- 延迟要求苛刻：需要 200ms 内响应，网络往返就吃掉一半预算；
- 调用量极大且任务简单：分类、抽取、路由这类任务，用云端大模型是浪费。
反过来，如果任务复杂、调用量小、数据不敏感，别折腾本地部署。云端 API 更省心也更便宜。想了解开源大模型的另一条路线，可以看 Muse Spark Open 的 816B 方案——那是"要不要自建"的另一个极端。
优点与不足
优点：4GB 显存门槛极低，普通笔记本可跑；64k 上下文对小模型来说很充裕；35 语言含中文；工具调用专门优化；权重 + 数据 + 配方全开源，可定向微调。
不足：绝对智能有限，复杂推理和多步规划容易断；工具调用需工程兜底；4GB 量化版本的精度损失在专业领域明显；中文能力弱于同尺寸国产模型。
适合谁用
适合做边缘设备 AI 的硬件团队、需要离线私有化的企业、以及想低成本跑 agent 原型的开发者。如果你的场景是中文为主的专业任务，同尺寸的国产开源模型通常更合适。
总结
Nemotron 3.5 Bolt 的真正贡献不是"又一个开源模型"，而是把本地 AI 的硬件门槛降到了消费级。当 4GB 显存就能跑一个能调工具的 35 语言智能体，"AI 必须联网"这个前提假设就开始松动了。