Paper Reading: CV 2 - 三维匹配、持续重建与开放世界感知

Computer vision architecture map

这篇不按“模型更大、指标更高”的顺序阅读，而从机器人视觉的三个缺口出发：对应关系需要几何约束，深度需要可靠尺度，开放词汇输出需要稳定的结构化接口。每项方法都能补一部分能力，但也会把新的假设带入系统。

MASt3R

MASt3R 在 pointmap 几何表示之外增加局部描述子，使像素对应同时受三维结构和外观特征约束。互惠匹配进一步过滤单向近邻，减少重复纹理中的错误关联。

我会同时测匹配召回、外点率、显存和图像对数量增长后的耗时。短序列精度提升若伴随近二次计算增长，进入长期定位系统后可能得不偿失。

CUT3R 用循环状态逐步吸收新观测，并持续输出同一参考系下的 pointmap。这样无需每次重算全部历史，但过去的估计也会通过隐藏状态长期影响后续重建。

长序列测试应包含闭环返回、动态对象和突然遮挡，并观察误差是否随时间单调累积。若系统没有状态重置或全局校正接口，实时性优势可能换来不可恢复的地图漂移。

Depth Anything V2 先用精确合成深度训练大教师，再由教师为海量真实图像产生伪标签，学生模型由此兼顾几何细节与真实域覆盖。数据管线本身是性能来源之一，而非单纯依赖网络结构。

其相对深度适合排序和边界理解，但不能直接替代抓取所需的米制距离。使用时要明确尺度恢复方法，并单独验证遮挡边缘、透明表面和相机内参变化。

UniDepth 把相机表示也作为预测对象，使网络在未知内参条件下尝试恢复米制深度。self-promptable camera module 为深度分支提供成像几何条件，降低不同相机之间的分布差异。

部署前仍需校验相机模型适用范围。广角畸变、滚动快门、裁剪缩放和未知焦距都可能造成系统性尺度偏差，最好用已知尺寸物体建立在线 sanity check。

FoundationStereo 依靠大规模合成双目数据训练通用匹配能力，并以基础视觉特征提供单目语义先验。自筛选与 side-tuning 用于减少低质量合成样本和特征域差异，希望在新场景中直接推理。

“零样本”不等于无需相机验收。我会覆盖曝光差、弱纹理、反光、遮挡和左右相机色差，并把标定误差与网络视差误差分开测量。

Florence-2 把描述、检测、指代定位和分割统一成由任务 prompt 控制的序列生成。FLD-5B 提供多类型监督，使一个 seq2seq 模型可以通过输出格式切换视觉任务。

机器人侧应把生成文本视为不可信输入：使用严格 schema 解析坐标，检查范围与数量，再进行反归一化和置信度过滤。格式统一减少了模型数量，却没有取消接口验证。

YOLO-World 将区域特征与文本类别放到实时 YOLO 检测框架中对齐，RepVL-PAN 负责视觉语言融合，区域文本对比目标负责扩展可查询类别。其核心取舍是以较低延迟获得开放词汇能力。

部署时必须固定提示模板并重新标定阈值。同义词、复合短语和长尾对象会改变分数分布，开放词汇也无法自动处理未知物拒识，因此需要目标场景的负样本集。

输出能力	代表方法	接入系统前的检查
对应与重建	MASt3R / CUT3R	外点、漂移、回环与状态重置
深度与尺度	Depth Anything V2 / UniDepth / FoundationStereo	米制尺度、标定和传感噪声
开放视觉接口	Florence-2 / YOLO-World	schema、提示模板、阈值和拒识