Base Labs（Baseten 旗下）发布了 joey-1：一个 20 亿参数的专用模型，基于 Qwen3.5-2B 后训练，任务很窄——做语义路由、分类和安全护栏。
它和普通小模型的不同
最关键的差别是输出形式。普通指令模型会给你一段解释性文字，你还得写正则去解析。joey-1 直接输出离散标签加校准概率，是个分类器而不是聊天机器人。
“校准”这个词很技术，但含义很实用：它说 0.9 的置信度时，长期看确实约 90% 是对的。这让“阈值”变成了可调的业务参数——比如置信度低于 0.7 就升级给大模型处理，高于 0.7 直接走便宜路径。没有校准的概率，这个阈值就是拍脑袋。
价格为什么是关键
定价 0.01 美元/百万 token。这个量级意味着你可以对每一个进站请求都先跑一遍路由判断，成本几乎可以忽略。
在多智能体系统里，这一步通常占掉大量预算：一个用户问题要不要检索？要检索几次？该交给哪个专用 Agent？以往这些判断要么写死在代码里（脆），要么交给旗舰模型（贵）。joey-1 把这一层变成了“便宜到可以随便调用”的基础设施。
三个典型用法
- 级联路由：先用 joey-1 分层，简单问题走小模型，复杂问题升级到旗舰模型。这是当前降本最有效的手段之一。
- 多 Agent 网关：把请求分发给检索、代码、数据分析等专用 Agent，替代硬编码规则。
- 输入护栏：在进主模型之前做一遍风险分类，命中即拦截，省下大模型的安全推理开销。
局限性要说清楚
- 它不会生成。指望它写回答是误用。
- 标签体系得你自己定。joey-1 提供的是能力，不是现成的业务分类法；标签设计得好不好，直接决定效果上限。
- 2B 参数的语义理解有天花板。高度依赖领域知识的路由（比如区分“退款政策咨询”和“退款申请”）需要微调或补充规则。
- 单点依赖风险。把路由层交给第三方 API，一旦超时或变更，整条链路都受影响。建议做降级兜底：路由失败就走默认大模型。
对做 AI 搜索与 Agent 的启示
过去一年行业的主线是“模型越大越强”，但从工程角度看，真正的成本优化发生在“把不该给大模型的活儿分出去”。路由层、分类层、护栏层，这三层用小模型覆盖，能把整体成本压掉一个数量级。
想了解企业级检索的完整形态，可以看 Glean 企业级 AI 搜索评测；主流搜索产品横评见 AI 搜索工具对比 2026。推理平台本身见 Perplexity Computer 这类 Agent 型工具作对照。
适合谁
正在搭多智能体网关、需要控制推理成本的工程团队；做内容审核与输入风控的产品；以及任何在“规则太脆、大模型太贵”之间纠结的团队。个人开发者用得上的场景不多。