为什么"合并"这件事比"更强"更重要
视觉任务过去十年的标准做法是一个任务一个模型:检测用 YOLO 系,OCR 用 PaddleOCR 系,分割用 SAM 系,抠图再单独一个。上线一个"看懂图片"的功能,背后往往要维护四五个模型、四套预处理、四套后处理,还要处理它们之间的坐标系对齐。
腾讯的 WeVisOne-VL 想解决的就是这个工程负担。它提供 2B 和 4B 两个版本,用同一个模型同时支持:
- 目标检测(返回边界框)
- 计数(问"有几只猫"直接给数字)
- OCR(读出图中文字)
- 语义分割(像素级掩码)
- 抠图 / matting(发丝级前景提取)
论文 10 月 22 日提交,权重与代码在腾讯 GitHub 项目页公开。
一个被低估的细节:支持"目标不存在"
这是我觉得最实用的设计。绝大多数视觉定位模型有个通病——你问什么它都给你框一个。问"图里的红色自行车在哪",图里根本没有自行车,模型也会硬框一块颜色相近的区域,因为它的输出空间里没有"没有"这个选项。
WeVisOne-VL 明确支持缺席响应:检测不到时直接回答"图中不存在该目标"。看起来只是加了一类输出,但对下游系统的影响是决定性的:
- 质检场景不会因为"幻觉框"造成误判;
- 库存盘点不会凭空多出一件商品;
- 审核系统不会把正常图片判成违规。
这条能力比跑分提升几个点有价值得多。
2B 还是 4B:怎么选
两个版本的定位差别很清晰:
- 2B:适合边缘部署、批量预处理、高并发场景。单卡甚至端侧可跑,适合做"第一道筛选"。
- 4B:适合精度优先的任务,复杂版面 OCR、细粒度分割、多目标计数。
实践建议是级联使用:2B 先跑一遍快速判断,置信度低的样本转 4B 复核。这套策略在文档处理场景里通常能把综合成本压掉一半以上,精度损失在 1% 以内。
和专用模型比,到底差多少
必须诚实说:单一任务的极致精度,专用模型仍然赢。SAM 系在复杂边缘分割上更稳,专业 OCR 在极小字号和手写体上更准,YOLO 在实时视频流上更快。
WeVisOne-VL 赢的是另外三件事:
- 工程复杂度:一个模型替代四个,部署和版本管理成本骤降;
- 跨任务推理:可以问"图里三个标签的文字分别是什么,对应哪个产品",这种跨检测+OCR+关联的问题,专用模型拼起来很难做;
- 自然语言接口:不需要写 prompt 工程去适配每个任务的输入格式,直接用人话描述需求。
换句话说,它是用 10% 的精度换 70% 的工程量。对大多数业务系统来说,这笔交易划算。
落地场景:哪些最值得先试
- 电商商品图处理:主体抠图 + 属性识别 + 卖点文字 OCR,一套流程走完,直接对接上架;
- 票据与合同:版面分割 + 字段 OCR,2B 做初筛、4B 做复核;
- 工业质检:缺陷检测 + 计数,配合"缺席响应"避免误报;
- 无障碍与内容理解:给视障用户描述图片,需要同时理解物体、文字和空间关系。
如果你的项目涉及图片生成侧的处理,可以配合 Canva Craft 的两阶段构图方案一起看——一个负责理解,一个负责生成,正好互补。
优点与不足
优点:多任务合一,大幅降低工程复杂度;支持缺席响应,减少幻觉框;2B 版本可端侧部署;中文场景(含中文 OCR)适配好。
不足:单任务极限精度不及专用模型;4B 版本高并发下成本不低;生态工具链刚起步,缺少成熟的推理加速方案;文档以论文为主,中文教程少。
适合谁用
适合需要同时处理多种视觉任务的应用团队、想减少模型数量的中台团队、以及做端侧视觉的硬件厂商。如果你的需求非常单一(只做抠图、只做 OCR),继续用专用模型更省心。想要更全面的视觉工具,可以去站内 AI 绘画分类看看现成方案。
总结
WeVisOne-VL 不是"最强视觉模型",它是最省事的视觉模型。当模型能力普遍过剩,工程效率就成了真正的竞争力。腾讯这次押的是这个判断,我认为方向是对的。