VTLA:视觉–触觉–语言–动作模型
LeRobot · ACT · π0 / π0.5 · Piper
融合视觉与触觉的机器人操作研究框架。基于 LeRobot 接入 Piper 数据采集,探索策略层触觉感知与动作层残差修正,包含 FTP-1 和 DreamTacVLA 原型。
|
|
我目前在香港城市大学攻读数据科学理学硕士学位。此前,我在广东医科大学获得生物医学工程工学学士学位,以优异成绩毕业,并获广东医科大学本科毕业生奖学金。 我曾在南方科技大学电子与电气工程系作为访问学生,开展视触觉感知算法研究,并参与传感器 SDK、触觉数据采集系统的开发与集成。此后,我作为初创实习生加入视塔机器人,从事视触觉算法与具身触觉系统研发,并负责传感器 SDK 团队管理。 研究兴趣:我的研究聚焦于如何构建在开放世界中可泛化的具身系统,统一触觉感知、物理状态表征,使机器人能够理解真实的物理世界,重点关注机器人的环境感知、任务规划、灵巧操作与动作修正。 研究问题:具身触觉与机器人灵巧操作,关注从传感器、物理表征到策略学习与闭环控制的完整技术链路,并且使机器人在非结构化环境中完成插拔、擦拭和装配等接触丰富型灵巧操作。 |
LeRobot · ACT · π0 / π0.5 · Piper
融合视觉与触觉的机器人操作研究框架。基于 LeRobot 接入 Piper 数据采集,探索策略层触觉感知与动作层残差修正,包含 FTP-1 和 DreamTacVLA 原型。
Isaac Sim · Isaac Lab · UIPC
面向机器人接触任务的触觉仿真平台。基于 Isaac Sim、Isaac Lab 与 UIPC 模拟柔性膜形变,生成触觉图像和力场数据,支持跨机器人、传感器与物体扩展实验。
稠密光流 · ONNX · RKNN · RK3588 · RV1126B
用于视触觉感知的轻量级稠密光流网络。通过幅值估计、方向重建与残差细化预测图像位移,配套工具支持模型导出、量化及 RK3588 / RV1126B 多路推理。
医学影像 · 3D 影像重建 · 模型评估
面向医学影像学习与研究的本地双语桌面工作台。集成影像查看、CT 重建实验、模型推理与评估,核心流程可离线运行,并提供引导式课程和可选 AI 助手。