AcmeX's Blog

Paper Reading: Embodied AI 3 - 高效 6D 抓取检测与候选排序

从候选召回、姿态评分到闭环执行,分析 EconomicGrasp、RNGNet、AnyGrasp、GSNet、HGGD 与 GtG 2.0 的取舍。

TABLE OF CONTENTS01 / 06

Embodied AI architecture map

阅读抓取论文时,我不把网络输出当成最终答案,而把它放回完整链路:目标区域是否被召回、候选是否覆盖可执行姿态、评分能否反映碰撞与任务偏好、机械臂执行后是否真正稳定夹持。六篇工作优化的是不同环节,只有明确接口才能进行公平比较。

EconomicGrasp

EconomicGrasp 关注监督投入与检测收益的比例:减少高歧义标签,把学习能力集中到更稳定的抓取线索,再组合多个评分信号筛出候选。这使研究问题从“继续堆标注”转向“哪些标注真正决定排序”。

EconomicGrasp 经济监督与抓取评分架构
架构阅读重点:有限监督如何分配到候选生成与质量估计。图源:论文原文
成本评估不能停在训练 GPU 小时。部署报告还应纳入点云整理、候选去重、碰撞过滤和坐标变换,以端到端抓取周期判断“经济”是否成立。

RNGNet

RNGNet 先缩小搜索范围,再把局部点云归一化后回归六自由度姿态。这样可以把计算预算用于任务相关区域,但也形成明显的两阶段依赖:前端区域漏检时,后端没有机会补救。

RNGNet 区域感知与归一化抓取空间
架构阅读重点:区域提议怎样改变后续六自由度搜索空间。图源:论文原文
因此我会额外报告目标区域 recall@K,并保留多个区域进入下游。单独提高最终 AP 可能只是评分器更保守,并不能证明系统更少错过可抓目标。

AnyGrasp

AnyGrasp 把抓取感知放到连续观测中处理,而不是每帧独立生成一组互不相关的姿态。时序关联能够减少候选跳动,也便于机械臂在相机或对象移动时维护目标。

AnyGrasp 空间时序抓取感知架构
架构阅读重点:单帧几何候选如何跨帧保持一致。图源:论文原文
平滑不能掩盖真实突变。执行前应使用最新深度重新做碰撞和可达性检查,并为跟踪丢失、对象被推动和相机外参变化设置显式重置条件。

GSNet

GSNet 学习点和视角的 graspness,用粗粒度概率先裁剪大量无效搜索,再在高潜力区域精细回归姿态。它更像一个计算预算分配器,而不是完整的任务级抓取决策器。

GSNet 抓取性发现与候选回归架构
架构阅读重点:graspness 如何控制粗到细的候选计算。图源:论文原文
下游仍需按夹爪宽度、机器人可达域、目标语义和搬运方向重新排序。几何上容易夹住的部位,不一定是当前任务允许接触的位置。

HGGD

HGGD 借助图像热图快速定位值得检查的区域,随后聚合对应三维点并进行非均匀姿态采样。这种二维引导三维的路线计算效率较高,但可靠性被 RGB 与深度的对齐质量绑定。

HGGD 热图引导的六自由度抓取检测
架构阅读重点:二维热区如何限定三维姿态候选。图源:论文原文
评测应单独建立透明、反光、细杆和深度边缘数据子集,并记录从热图到点云区域的投影偏差。否则平均指标会隐藏传感器失效带来的系统性漏检。

GtG 2.0

Grasp the Graph 2.0 不再把每个抓取候选孤立评分,而是构建候选关系图,通过集成推理利用相邻姿态的几何一致性。在杂乱场景中,这有助于压低局部看似合理、但与周围结构冲突的候选。

GtG 2.0 图神经网络抓取候选集成
架构阅读重点:候选之间的邻接关系如何参与最终排序。图源:论文原文
关系建模会增加图构建、显存访问和推理时间。我会用相同候选数比较普通排序器与图模型,并以感知到夹爪闭合的完整周期评价收益,而不是引用网络模块的峰值 FPS。
链路位置代表方法必须单独记录的指标
感兴趣区域RNGNet / HGGD区域召回、投影偏差
候选形成GSNet / AnyGrasp覆盖率、跨帧抖动
质量排序EconomicGrasp / GtG 2.0top-k 碰撞率、可达率
真机执行所有方法闭合成功、搬运保持、总周期