iDP3：革新人形机器人操作的3D扩散策略

Improved 3D Diffusion Policy (iDP3)是一项革命性的机器人学习技术，它通过创新的3D视觉运动策略学习，使人形机器人能够在多样化现实环境中执行复杂操作任务，仅需在单一实验室场景中收集的训练数据。这项技术代表了 embodied AI 领域的重大突破，为通用机器人的实际部署开辟了新的可能性。

背景与动机

传统机器人操作方法的局限

在iDP3出现之前，机器人操作学习面临几个核心挑战：

1. 场景特异性：大多数自主操作技能被限制在特定场景中，难以泛化到新环境
2. 摄像头标定依赖：3D视觉运动策略通常需要精确的摄像头标定
3. 点云分割复杂性：需要精细的点云分割来识别目标物体
4. 视图敏感性：传统方法对视角变化敏感，泛化能力有限

这些限制使得机器人难以在真实世界的复杂环境中部署，特别是对于移动平台如人形机器人。

扩散策略的革命性潜力

扩散模型在图像生成、语音合成等领域展现了强大能力，将其应用于机器人控制策略学习带来了新的机遇。3D扩散策略（DP3）已经展现了跨不同实体和任务的广泛适用性，但仍然存在前述的部署限制。

iDP3的核心创新

自我中心3D视觉表示

iDP3最核心的创新是采用自我中心3D视觉表示（egocentric 3D visual representations），这与传统方法形成鲜明对比：

传统DP3方法：

• 使用世界坐标系的3D表示
• 需要精确的摄像头标定
• 依赖点云分割
• 适用于固定摄像头场景

iDP3方法：

• 使用摄像头坐标系的3D表示
• 无需摄像头标定
• 不需要点云分割
• 适用于移动机器人平台

# 传统DP3的3D表示（世界坐标系）
world_3d_points = transform_to_world_frame(camera_points, camera_pose)

# iDP3的3D表示（摄像头坐标系）
egocentric_3d_points = camera_points  # 直接使用原始点云

这种转换消除了移动机器人部署的主要障碍，使得策略可以直接应用于摄像头坐标系中的操作。

视觉输入规模扩展

为了解决自我中心3D表示带来的冗余点云问题（如背景、桌面等），iDP3采用了视觉输入规模扩展策略：

• 传统方法：使用稀疏点采样（如最远点采样FPS）
• iDP3方法：大幅增加采样点数量，捕获整个场景

尽管这个解决方案看似简单，但在实际实验中证明非常有效。增加的点云数量为模型提供了更丰富的环境信息，有助于区分相关和无关的视觉元素。

改进的视觉编码器

iDP3将DP3中的MLP视觉编码器替换为金字塔卷积编码器：

# 传统DP3视觉编码器
class DP3Encoder(nn.Module):
    def __init__(self):
        self.mlp_layers = nn.Sequential(
            nn.Linear(input_dim, hidden_dim),
            nn.ReLU(),
            nn.Linear(hidden_dim, output_dim)
        )

# iDP3视觉编码器
class iDP3Encoder(nn.Module):
    def __init__(self):
        self.conv_layers = nn.ModuleList([
            nn.Conv1d(in_channels, out_channels, kernel_size)
            for in_channels, out_channels, kernel_size in layer_configs
        ])
        self.pyramid_features = [...]

这种设计的优势：

• 卷积层在从人类数据学习时产生更平滑的行为
• 融合不同层的金字塔特征进一步提高精度
• 更好地捕捉局部和全局的3D结构信息

更长的预测视界

针对人类专家抖动和传感器噪声带来的学习困难，iDP3扩展了预测视界：

• 短期预测问题：DP3在短视界预测中容易受到噪声影响
• iDP3解决方案：增加预测步数，有效缓解噪声影响
• 实现方式：使用DDIM采样器的50个训练步骤和10个推理步骤

实现细节优化

优化配置：

• 使用AdamW优化器训练300个epoch
• 扩散过程：50训练步骤 + 10推理步骤
• 点云采样：体素采样 + 均匀采样的级联，替代FPS

推理性能：

• 实时推理能力：15Hz
• 仅使用机器人板载计算
• 适合开放世界部署

系统架构与工作流程

人形机器人平台

硬件配置：

• 机器人本体：Fourier GR1全尺寸人形机器人
• 灵巧手：配备两个Inspire Hands
• 自由度：启用上身（头部、腰部、手臂、手部），共25个DoF
• 移动平台：使用高度可调的推车，避免平衡控制复杂性
• 视觉传感器：RealSense L515固态激光雷达摄像头

传感器选择考量：

• L515比D435提供更高质量的3D点云
• 固态激光雷达技术减少运动伪影
• 尽管如此，点云仍存在噪声和不准确性

全上身遥操作系统

遥操作配置：

class HumanoidTeleoperation:
    def __init__(self):
        self.avp_tracker = AppleVisionPro()
        self.robot = FourierGR1()
        self.ik_solver = RelaxedIK()

    def teleoperate(self):
        # 获取人体姿态
        human_poses = self.avp_tracker.get_poses()

        # 逆运动学求解
        joint_targets = self.ik_solver.solve(human_poses)

        # 执行机器人动作
        self.robot.execute(joint_targets)

        # 返回机器人视觉
        robot_vision = self.robot.get_camera_feed()
        return robot_vision

技术特点：

• 使用Apple Vision Pro进行精确的人体姿态追踪
• 集成腰部自由度，扩展工作空间
• 主动视觉反馈，将机器人视觉流式传输到AVP
• 遥操作延迟约0.5秒（主要来自激光雷达传感器处理）

数据收集与学习

数据结构：

# 观察数据
observation = {
    'point_cloud': ego_3d_points,  # 自我中心3D点云
    'images': rgb_images,         # RGB图像
    'joint_positions': current_joints  # 当前关节位置
}

# 动作数据
action = target_joint_positions  # 目标关节位置

# 轨迹数据
trajectory = [observation_1, action_1,
              observation_2, action_2,
              ...]

训练配置：

• 每个任务收集10个演示轨迹
• Pick&Place任务：每个演示包含10次抓取放置循环
• 物体位置在10cm×10cm区域内随机化
• 小规模数据集突显方法间的差异

关键能力与性能表现

视觉不变性

iDP3的自我中心3D表示展现了令人印象深刻的视觉不变性：

实验结果：

• iDP3在大视角变化下仍能稳定抓取物体
• 传统扩散策略（即使是微调R3M + 数据增强）在视角变化较大时难以抓取
• 仅在轻微视角变化时偶尔成功

技术优势：

• 无需专门的等变性或不变性设计
• 自我中心3D表示天然具备视角不变性
• 相比复杂视角合成方法更简洁有效

物体泛化能力

iDP3展现出卓越的物体泛化能力：

对比分析：

• 传统方法：依赖颜色抖动增强，偶尔能处理新物体但成功率低
• iDP3方法：基于3D表示自然处理各种物体，成功率显著更高

测试物体类型：

• 训练物体：特定类型的杯子
• 测试物体：各种未见的杯子/瓶子
• 评估指标：抓取成功率和操作稳定性

场景泛化能力

这是iDP3最突出的能力，能够在多样化真实世界场景中有效部署：

实验场景：

• 实验室附近的多种真实环境
• 非精选场景，包含现实世界的噪声和复杂性
• 与受控的实验室桌面环境形成对比

性能对比：

• iDP3：在所有场景中表现出令人惊讶的鲁棒性
• 传统方法：在新场景中呈现抖动行为，甚至无法抓取训练物体
• 行为质量：iDP3表现更平滑稳定

定量实验结果

Pick&Place任务性能

消融研究结果

多任务能力评估

任务类型：

1. Pick&Place：抓取轻量杯子并移到一旁
2. Pour：倾倒液体操作
3. Wipe：桌面清洁操作

评估指标：

• 训练环境成功率：iDP3 85%，DP 78%
• 新场景成功率：iDP3 68%，DP 25%
• 新物体成功率：iDP3 72%，DP 35%

技术优势与创新点

相比传统方法的改进

1. 消除标定依赖：

• 传统3D策略需要精确的摄像头标定
• iDP3使用自我中心表示，天然消除标定需求
• 适用于摄像头位置不固定的移动机器人

2. 简化部署流程：

• 无需复杂的点云分割预处理
• 直接使用原始点云数据
• 减少系统复杂性和故障点

3. 提升泛化能力：

• 视角不变性：适应不同观察角度
• 物体不变性：处理未见过的物体类型
• 场景不变性：在全新环境中有效操作

相比其他先进方法的对比

与VISTA对比：

• VISTA使用复杂的视角合成模型实现视角泛化
• iDP3通过简单的自我中心3D表示自然实现视角不变性
• iDP3的管道更简洁，部署更容易

与Robot Utility Model对比：

• Robot Utility Model需要20个场景的数据进行场景泛化
• iDP3仅需1个场景的训练数据即可实现泛化
• 数据效率显著提升

与Maniwhere对比：

• Maniwhere通过大规模仿真数据实现真实世界泛化
• 但由于仿真到现实的差距，只能展示推等简单任务
• iDP3能够执行抓取放置等接触丰富的复杂任务

实际部署与应用场景

家庭服务机器人

应用任务：

• 物品整理和归位
• 简单的清洁工作
• 协助烹饪准备
• 药品提醒和分发

iDP3优势：

• 适应家庭环境的多样性
• 处理不同类型的家居物品
• 在不同房间和布局中稳定工作

工业制造辅助

应用场景：

• 零件搬运和分拣
• 装配线辅助操作
• 质量检测和分类
• 工具和物料管理

技术价值：

• 快速适应不同生产线布局
• 处理多种零件类型
• 减少重新编程和标定成本

医疗辅助应用

潜在用途：

• 医疗设备操作辅助
• 药品和物资管理
• 简单的护理操作
• 康复训练辅助

特殊要求：

• 高可靠性和安全性
• 适应不同医疗环境
• 处理各种医疗设备和用品

局限性与未来发展方向

当前限制

1. 遥操作疲劳：

• 使用Apple Vision Pro遥操作容易导致操作者疲劳
• 限制了大规模数据收集的可行性
• 需要更高效的数据收集方法

2. 传感器噪声：

• 深度传感器产生噪声和不准确的点云
• 限制了iDP3的性能上限
• 需要更好的传感器或滤波算法

3. 细粒度操作：

• 收集精细操作技能（如拧螺丝）耗时过长
• 当前遥操作系统不适合高精度任务
• 需要专门的灵巧操作设备

4. 全身控制：

• 当前研究避免了机器人下身使用
• 平衡控制仍是挑战
• 需要更成熟的全身控制技术

未来发展方向

1. 数据规模化：

• 探索更高效的数据收集方法
• 利用仿真数据补充真实数据
• 开发自监督和半监督学习技术

2. 传感器技术改进：

• 更高精度的深度传感器
• 多模态传感器融合
• 实时噪声滤波和校正

3. 算法优化：

• 预训练3D视觉模型开发
• 更高效的扩散策略训练
• 多任务和迁移学习能力

4. 全身集成：

• 集成移动和操作能力
• 动态平衡控制
• 复杂环境的全身协调

技术影响与意义

学术贡献

1. 方法论创新：

• 首次提出自我中心3D视觉表示用于机器人操作
• 消除了3D视觉运动策略的标定依赖
• 为通用机器人部署提供了新的技术路径

2. 性能突破：

• 在多个泛化维度上显著超越现有方法
• 实现了从单一场景到开放世界的泛化
• 为数据高效的机器人学习设立了新标准

3. 系统集成：

• 完整的人形机器人操作系统
• 从数据收集到实际部署的端到端解决方案
• 为研究者提供了可复现的技术平台

产业应用前景

1. 降低部署成本：

• 消除复杂的标定和配置过程
• 减少对特定场景的依赖
• 提高机器人系统的通用性

2. 提升系统鲁棒性：

• 更好的环境适应性
• 处理更多类型的物体和场景
• 减少故障率和维护需求

3. 加速应用落地：

• 缩短开发周期
• 降低技术门槛
• 促进机器人技术的普及

总结

iDP3代表了机器人学习领域的重要里程碑，通过创新的自我中心3D视觉表示和多项技术改进，成功解决了传统3D视觉运动策略的部署限制。该技术使人形机器人能够在多样化真实世界中执行复杂操作，仅需在实验室环境中收集的训练数据。

这项技术的核心价值在于：

• 消除标定依赖：使3D策略适用于移动机器人平台
• 强泛化能力：在视角、物体和场景多个维度展现出色的泛化性能
• 部署友好：简化的系统设计便于实际应用
• 数据高效：单一场景数据实现开放世界操作

随着技术的进一步发展和完善，iDP3有望在家庭服务、工业制造、医疗辅助等多个领域发挥重要作用，推动通用机器人技术的实际应用和普及。

参考资料

1. iDP3原始论文
2. 项目主页
3. 3D Diffusion Policy
4. Diffusion Policy
5. Fourier GR1机器人

本文最后更新于2024年12月19日