项目

独立构建语言引导的具身操作系统，围绕抓取位姿偏移、复杂位姿规划失败与运输失稳，打通感知、规划、执行和验证闭环。

• 语义-执行分层：VLM 输出受 JSON Schema 约束的 pick_and_place，失败时自动回退重规划
• 多帧抓取感知：连续采集 RGB-D，融合 AnyGrasp 置信度、深度有效性和几何包围盒，以 Median/MAD 剔除时序离群并完成四元数姿态融合
• 分级运动规划：MoveIt 2 plan-only、task-space RRT 无解时降级 warm-start IK + c-space RRT
• 物理执行闭环：minimum-jerk 轨迹插值、15° 抓取倾角约束与 PhysX 接触反馈连续帧确认；模型运行时缓存并配套融合单元测试

面向双臂机器人长时序操作，构建 Expert → Data → ACT → Evaluation 训练闭环，系统处理专家数据质量、超参数选择和策略评测问题。

• 专家数据诊断：十阶段流程定位预检与执行目标不一致导致的 IK 无解，统一逻辑后采集成功率达 67%–92%
• 训练策略对照：系统评估 learning rate、batch size、chunk size 与 KL weight，小数据采用 warmup + cosine decay
• 评测闭环：统一双臂 16 维状态空间与三路相机顺序，HDF5 校验定位 dataloader off-by-one 时序错误
• 工程化评估：协调 3 台服务器，以固定 Seed rollout、分层评分和回放验证完成模型选择

主导 RoboMaster 视觉系统架构，面向高速对抗场景解决位姿抖动、目标跟踪和实时通信问题，构建从感知、估计到弹道补偿的 Real2Sim 验证闭环。

• 位姿优化：固定 pitch/roll，仅以 5 帧滑窗和 Cauchy 核优化 yaw，抑制 IPPE 初解抖动至 <1.5°
• 目标跟踪：9 维 EKF 建模位置、速度、高度、yaw 与半径，角度解缠避免 ±π 跳变导致滤波发散
• 实时系统：ROS2 intra-process 消除序列化开销，按链路采用 BEST_EFFORT/RELIABLE QoS 与分层延迟补偿
• Real2Sim 验证：打通 Isaac Sim/UE5 虚实环境，覆盖多赛季步兵、英雄和哨兵兵种

基于YOLOv10 + PnP + BA + PoseNet多模型融合的骰子6D姿态估计系统，训练损失MAE低至0.034 rad。支持图像、视频与实时屏幕捕获多源输入，PyQt5交互界面提供参数调节与结果检查。

• 多模型融合策略：YOLO目标检测 + PnP初始位姿 + Ceres BA优化 + PoseNet回归
• 多源输入：图像文件、视频流、Windows实时屏幕捕获
• PyQt5交互界面：参数调节、模式切换、3D轴投影可视化
• 模块化架构：易于扩展新算法与模型

基于CycleGAN实现任意风格图像的艺术风格迁移，并整合Blender自动化渲染管线，将迁移结果作为3D模型的纹理贴图完成高质量渲染输出。

• CycleGAN模型训练与调优，实现任意风格间的双向迁移
• Blender Python脚本自动化纹理贴图 + 批量渲染管线
• Docker容器化部署，保证环境一致性

为RoboMaster全国赛队伍的场地训练时间调度开发的Web应用，支持队员排班、时段预约和冲突检测，显著提升团队备场效率。

• Vue3响应式排班系统，支持多队伍、多时段灵活调度
• 冲突检测算法确保无重复预定