数据源与状态仍在导航菜单中
arxiv.org·2026/10/09·Zhiyuan Shi / Xiang Li 等
为解释MLLM空间推理失败,作者在Molmo2-ER、Qwen3.6等模型中以相对空间问答logit差对查询与参照对象token激活的梯度反对称差跨模板平均,识别出三维线性子空间S-Space(左右、上下、近远轴)。读出的坐标在CV-Bench、EmbSpatial、SpatialTunnel上与直接回答相当,跨空间、单对象、非空间提示仍可读;因果编辑坐标改变空间判断而基本保留颜色判断。案例显示其能为不可见实体、观察者及政治左右等抽象概念赋位。在SpinBench上,显式旋转S-Space坐标使Molmo2-ER无前提准确率从60.96%升至94.52%、Qwen3.6有前提达99.31%,而原生推理仍错,说明瓶颈在感知后的视角变换;MMSI-Bench方向词读出还揭示east与right、north与above耦合。S-Space可作空间推理失败诊断工具,提示将可靠感知与外部变换工具结合。
为什么重要 为空间推理失败提供可解释诊断工具:分离感知与计算,定位视角变换瓶颈;对具身/自动驾驶MLLM调试有用。适合 侧重多模态模型可解释性与具身智能空间推理诊断的研究/工程人员。
多模态语言模型(MLLMs)展现出有前景的空间推理能力,但支持这些能力的内部机制仍不为人充分理解。我们发现了 S-Space,一个线性表示子空间,其中对象 token 表示沿水平轴、垂直轴和距离轴编码连续坐标。尽管我们是通过对对象 token 激活求空间答案分数的导数来识别这些轴,但 S-Space 是内在的,而不是由特定数据或提示诱导的,在非空间问题下仍然可读。
我们表明,S-Space 充当 MLLMs 的内部空间工作区。感知将物体位置编码到其中,形成可直接读出的空间表示,以支持准确的空间判断。内部推理会为改变视角而对其进行变换。言语响应选择性地访问它,因果干预在改变空间判断的同时基本保留非空间响应,证明了这一点。
案例研究进一步表明,S-Space 会为未见过的实体和观察者分配位置,并将物理方向与抽象语言含义联系起来,这既表明大规模语言训练的能力,也表明其局限。最后,我们将 S-Space 用作空间推理失败的诊断工具。方向词读出揭示了基本方向参考系与图像相对参考系之间的系统性耦合。
更重要的是,感知-计算分解揭示了一个关键瓶颈:MLLMs 能够形成能力充分的空间表征,但在跨视角变化进行可靠推理所需的空间变换方面存在不足。
Multimodal language models (MLLMs) exhibit promising spatial reasoning capabilities, yet the internal mechanisms supporting them remain poorly understood.
We uncover S-Space, a linear representation subspace in which object-token representations encode continuous coordinates along horizontal, vertical, and distance axes.
Although we identify these axes by differentiating spatial-answer scores with respect to object-token activations, S-Space is intrinsic rather than induced by specific data or prompts, remaining readable under non-spatial questions.
We show that S-Space functions as an internal spatial workspace of MLLMs.
Perception encodes object locations into it, forming spatial representations that can be directly read out to support accurate spatial judgments.
Internal reasoning transforms it for changing viewpoints.
Verbal responses selectively access it, evidenced by causal interventions that alter spatial judgments while largely preserving non-spatial responses.
Case studies further show that S-Space assigns locations to unseen entities and the observer, and connects physical directions with abstract linguistic meanings, suggesting both the capabilities and limitations of large-scale language training.
Finally, we use S-Space as a diagnostic tool for spatial reasoning failures. Direction-word readouts reveal systematic coupling between cardinal and image-relative reference frames.
More importantly, a perception-computation decomposition exposes a key bottleneck: MLLMs can form capable spatial representations, yet fall short in the spatial transformations required to reason reliably across viewpoint changes.



EVIDENCE / METHODS
要点
现有 MLLM 空间推理应用增多,但稳健性仍有差距,外部行为难以定位失败来源。
原版排版与图表 · 手机无法内嵌时可在浏览器打开。PDF 插件内选文不能传给网页助手。