AI 研究助理

基于站内最新资料，回答 AI 前沿问题

回答带出处引用，支持多轮追问，当前页面内容会作为上下文

快速响应
AI 前沿跟踪
今日首页重点内容GitHub 趋势榜
领域
学术研究
大模型
具身智能
AI 基础设施
智能体 · Skill · MCP
机器人
多模态
自动驾驶
数据 / MLOps
AI 硬件
安全对齐
综述与报告
论文多模态VLM视觉感知开源多任务

WeVisOne-VL: Unified Visual Perception from Objects to Pixels

查看原文（PDF）
AI 解读已生成 · AI 生成，数字以原文为准
AI 全文总结值得深入基于论文全文 7.2 万字 · 完整阅读

腾讯发布 WeVisOne-VL，统一对象与像素感知；4B 在 Dense200 Mean F1 达 71.3。

腾讯微信视觉团队的 WeVisOne-VL 基于 Qwen3-VL，把检测、指称定位、计数、OCR、分割和抠图统一为结构化 next-token 预测，以坐标 token 编码框/点，并在每个框后生成 <OBJ> token 驱动轻量像素解码器输出 mask 或 alpha 抠图。数据引擎 WDE 用知识图谱组织概念与指称，融合检测、分割、抠图专家候选并由 VLM 验证，掩码与连续 alpha 监督经错误反馈迭代修正。训练先经三阶段课程 SFT——任务对齐、高分辨率密集感知、交替 token-像素优化，再对不确定性采样样本做 GRPO 混合任务强化学习。在多个基准上，4B 模型 COCO mean F1 为 57.1、RefCOCO testA cIoU 为 84.5、Ref-ZOM 拒绝率为 86.0%，均领先同规模 VLM 与专项基线；局限是通用能力低于底座、无 CoT 推理且仅支持单轮预测。

  1. 1统一框、点、掩码、alpha 为结构化 next-token 输出
  2. 2用 <OBJ> token 隐藏态接轻量像素解码器
  3. 34B 在 Ref-ZOM 负指称拒绝率达 86.0%

为什么重要　对数据闭环/具身视觉：单模型同时输出框、点、掩码、alpha，并拒绝缺失目标，省去 SAM 级联。适合　做 VLM 微调、数据标注流水线或具身视觉感知，需要统一检测/分割/抠图的团队。

来源
arxiv.org
发布
2026/10/22
作者
Tianming Liang、Junyi Pan、Yuxi Li、Canmiao Fu 等
社区投票
239

中文（AI 翻译）

现有视觉语言模型（VLM）在细粒度视觉感知方面仍然不可靠。在本报告中，我们提出 WeVisOne-VL（WeChat Vision All-in-One），这是一个强大的 VLM，通过结构化 next-token prediction 统一对象级与像素级感知。

它支持多种视觉任务，包括目标检测、referring localization、计数、OCR、分割和 matting，可实现任意用户指定粒度的定位，从点和框到 mask 与 alpha matte。在架构上，我们通过特殊 <OBJ> token 将一个轻量级 pixel decoder 集成到 VLM 中，以生成实例级像素输出。

我们使用三阶段课程 SFT，随后进行混合任务 RL 来训练模型。在超过 30 个基准上，WeVisOne-VL 在对象级和像素级任务中展示了领先性能，同时对对象缺失查询保持稳健拒绝。通过将 WeVisOne-VL 发布给开源社区，我们希望推动 VLM 从广泛的视觉理解走向真正可靠的感知系统，以用于真实世界部署。

原文

Existing vision-language models (VLMs) remain unreliable for fine-grained visual perception.

In this report, we present WeVisOne-VL (WeChat Vision All-in-One), a powerful VLM that unifies object-level and pixel-level perception through structured next-token prediction.

It supports multiple visual tasks including object detection, referring localization, counting, OCR, segmentation, and matting, enabling localization at any user-specific granularity, from points and boxes to masks and alpha mattes.

Architecturally, we integrate a lightweight pixel decoder into the VLM via a special <OBJ> token to generate instance-level pixel outputs.

We train the model with a three-stage curriculum SFT followed by mixed-task RL.

Across over 30 benchmarks, WeVisOne-VL demonstrates leading performance on both object-level and pixel-level tasks, while maintaining robust rejection for object-absent queries.

By releasing WeVisOne-VL to the open-source community, we hope to advance VLMs from broad visual understanding toward truly reliable perception systems for real-world deployment.

  • COCO
    57.1%
  • LVIS
    55.3%
  • Dense200
    71.3%
  • VisDrone
    44.7%

注释 · Mean 为 IoU 0.5–0.95 步长 0.05 的平均 F1；COCO/LVIS 为零样本设定。出自 表2

约 100M

训练图像

约 3.6B

bbox 标注

9.6M

解码器参数

250M

分割暖启

130M

抠图样本

注释 · 规模来自数据引擎 术语解释WeVisOne-VL Data Engine，统一数据引擎：知识图谱驱动采集、专家提议+语义验证生成框/掩码/alpha 标注。；解码器含 alpha 细化模块总共约 9.6M 参数。出自 引言 / §3.2

数据引擎主流程：共享知识图驱动采集，经检测/指称标注、掩码生成与反馈迭代。
统一任务格式示例：同一结构化输出支持框、点、掩码与 alpha 任务。
轻量像素解码器输入 <OBJ> 隐藏态、多级 ViT 特征与预测框，输出全分辨率掩码或 alpha。
像素解码器
Deformable DETR 六层，约 9.6M 参数

深度总结

1 / 8
统一对象与像素感知· 判断

WeVisOne-VL 用 9.6M 参数的轻量解码器输出掩码与 alpha，不依赖外部 SAM。

判断

对工程落地最有价值的一点：文本指称分割的负例拒绝率。现有分割模型 UniPixel-7B 仅 0.3%、Youtu-VL-4B 仅 1.3%，几乎总是输出掩码；WeVisOne-VL-4B 达 86.0%。这来自硬负例构造与 RL 奖励：负样本只有不预测任何对象才给奖励 1。

注释 · Ref-ZOM 拒绝率来自表 7；RL 负样本奖励规则见 §4.2。出自 §3.2 / 表7