资讯分类
全部资讯
最新活动
商城公告
行业信息
新品推荐
元器件知识
资讯标签
艾迈斯欧司朗(126) 艾为awinic(118) 英伟达NVIDIA(80) iCEasy商城(76) 萤火工场(61) 飞腾派V3(40) 兆易创新(31) 罗彻斯特电子(28) Jetson Orin Nano SUPER 开发套件(21) 资料下载专区(18) 赛昉科技(14) 小华半导体(13) 赛昉科技(StarFive)(13) 芯佰微(12) Seeed矽递科技(11) 灵动微电子(11) 日清纺微电子(9) 上海雷卯Leiditech(8) 微源半导体 LPSemi(8) NVIDIA(8) 飞腾派(8) 龙芯中科(7) GD32VW553-IOT(7) 物奇WuQi(7) 日清纺微电子Nisshinbo(5) 庆科(5) 航顺芯片(5) Geehy极海半导体(4) CEM5826-M11(4) TROQ创捷电子(4) 创捷电子(4) 开源口碑分享(4) GD32VW553-IOT-V2(3) 罗彻斯特(3) MM32SPIN060G(3) 中国星坤(3) 峰岹科技(3) 杭晶(HCI)(3) 飞腾派eMMC(3) FTHR-G0001(3) 飞腾派下载专区(2) 口碑评测(2) 教育优惠申请链接(2) 华润微电子(2) EVB-L0130(2) BeagleBoard.org®(2) iCEsay商城(2) 英伟达初创加速计划(2) 启明云端(2) 弈安云(2) 英迪芯微(2) 村田(2) 野火(2) 小华EVB-HC32F4A0开发板(2) 国产开源硬件(2) 极海半导体(2) 极海(2) 社区评奖活动(2) 芯佰微电子(2) NVIDIA品牌专区(2) 飞腾官网飞腾派(2) 技术问答专区(2) Mini-SPIN0230(2) 荣湃半导体(2Pai Semi)品牌专区(1) 下载专区(1) 瑞隆源产品(1) 雷克沙(1) CEM5881-M11(1) Jetson AGX Orin 64GB开发套件(1) Arduino UNO Rev 4 Minima开发板(1) 飞腾派专链(1) 世野(Khadas)(1) 中科云(1) NVIDIA Jetson Orin Nano 开发套件(1) Arduino品牌专区(1) NVIDIA NIM(1) 微雪电子(1) 海芯微(1) Jetson AGX Orin 64GB开发套件(1) 24GHz毫米波雷达模块(1) 飞腾派调研问卷链接(1) 小脚丫(1) CEM5861G-M11(1) 赛昉科技9折活动券(1) 天微电子商家页(1) 国产毫米波雷达模块(1) 品牌清仓(1) QCS8550 SOM EVB(1) EV Board (MM32L0136C7P)(1) 迈巨微电子品牌专区(1) 样片申请(1) 海凌科电子(Hi-Link)(1) NVIDIA Jetson Nano 模组(1) QCS6490 SOM EVB(1) 飞腾派试用申请链接(1) BeagleBone Black快速入门指南(1) 龙芯教育派(1) 轮趣科技(1) CEK8902-S905D3(1) 雷卯(1) Arduino品牌页(1) 野火RK3566开发板(1) Jetson AGX Thor 开发套件/模组(1) 618大促(1) 竞买活动(1) 极海半导体(Geehy)(1) 英伟达 NVIDIA品牌专区(1) GD32无线生态专区(1) 一件免邮专区(1) TagoreTech(1) SFH 7018B(1) 一件包邮专区(1) 飞腾派V3版本上新(1) 飞虹半导体(1) GD32VW553-IOT V2版本(1) 618大促专区(1) 欧达可(1) 萤火工场GD32VW553-IOT(1) 迈巨微(1) GD32VW553-IOT V2(1) 微碧半导体(1) 8月7日竞拍竞买(1) 教育优惠(1) COMBO模组 EMC3020-PZI5(1) 松科智能(1) 台容积电(1) 内存(1) VF202040-A0(1) CEM5825F(1) 庆科信息(MXCHIP)品牌专区(1) 附件(1) 乐动机器人(1) 英伟达 NVIDIA(1) 格力新元(1) 周年抽奖活动(1) QCS6490 SOM EVB开发板(1) 附件下载地址(1) B站风扇视频(1) Jetson AGX Xavier(32GB)(1) 润石(1) NVIDIA DGX™ Spark:桌面级AI超级计算机(1) 飞腾派PRO(1) 微源半导体(1) QCS8550 SOM EVB开发板(1) 申请样片:高光效红光OSCONIQ® P 3030, GR QSSPA1.23(1) 国产自主可控(1) Mini-F5333(1) JETSON_AGX_ORIN_64GB_DEVELOPER_KIT(1) 萤火工场品牌专区(1) 商城下载专区(1) 华大北斗(1) 开源社区(1) NVIDIA Jetson Orin Nano 开发套件(1)

傅利叶利用 NVIDIA Isaac Gym 训练适用于现实场景的人形机器人

发布时间:2025-02-18

本文和傅利叶研究团队合作完成。


训练人形机器人在需要高度交互性与适应性的领域作业,比如科学研究、医疗保健和制造业等,非常具挑战性且资源消耗很大。


总部位于上海的机器人公司傅利叶正在努力在该领域取得突破,开发先进的人形机器人,使其能够融入对精准度和灵活性要求极高的真实应用场景。


傅利叶于去年 9 月底宣布推出 GR-2,扩展了其 GRx 人形机器人系列。相较于上一代 GR-1(全球首款量产人形机器人),GR-2 进行了硬件设计升级,具备更强的适应性、更先进的灵活性,以及类似人类的活动范围。


利用 NVIDIA Isaac Gym

开发人形机器人 GR-2



为了开发和测试 GR-2,傅利叶团队采用了 NVIDIA Isaac Gym(现已弃用)进行强化学习。他们目前正在将其工作流迁移到 NVIDIA Isaac Lab,这是一个开源的模块化机器人学习框架,旨在简化机器人适应新技能的过程。


从仿真到真实的学习已成为机器人技术的关键,特别是对于坐下、起身甚至跳舞等复杂动作而言。借助 Isaac Gym,傅利叶能够实现对真实场景的仿真,最大限度地减少测试和维护的时间和成本。


团队仿真了复杂的多机器人场景和真实环境,从而增强了 AI 决策的鲁棒性,并提升了机器人在不可预测环境中的实际表现。傅利叶还利用 Isaac Gym 对抓取算法进行预训练,在实际部署前,对成功率进行仿真测算。这种方法显著减少了真实世界中的试错,节省了时间和资源。


通过优化 AI,

为真实世界的机器人应用赋能



在训练 GR-2 完成从地面躺姿到站立的动作时,傅利叶对在不同高度完成任务所需的物理条件进行了仿真。通过复制 GR-2 模型,他们测试了该模型在各种设置下的表现,并在约 15 小时内完成了 3,000 次迭代,与传统训练方法相比,时间显著缩短。当直接将模型应用于 GR-2 的物理控制时,模型的动作张量成功率达到了 89%。

100 次测试迭代后的检查点


500 次测试迭代后的检查点


1,600 次测试迭代后的检查点

3,000 次测试迭代后的检查点

图 1:傅利叶团队发现在进行 1,600 次测试迭代后,从躺姿到站立动作的成功率显著提高


为了优化开发流程,傅利叶团队还使用了 NVIDIA TensorRT 软件开发工具包进行实时推理优化,利用 CUDA 库进行并行处理,并使用 NVIDIA cuDNN 库加速 PyTorch 等深度学习框架。


迁移到 NVIDIA Isaac Lab 将使傅利叶能够在由 NVIDIA RTX 分块渲染技术支持的多物理虚拟环境中,训练更复杂的算法并进行更多仿真。


探索下一代机器人能力



通过采用 NVIDIA 技术,傅利叶显著缩短了模型训练时间,并提高了仿真的准确性,从而增强了工程和研发团队之间的协作。


NVIDIA 的工具还让复杂的 AI 功能,如语言模型和预测分析等成为了可能,这些功能以往因资源消耗过大而难以实现。


傅利叶 CEO  顾捷表示:“我们所取得的进展正在突破人形机器人技术的边界。通过改进机器人的实时运动控制和 AI 驱动的决策能力,我们正在为服务行业、学术研究和医疗康复等领域的人机交互设定新标准。”


了解更多关于傅利叶 GR-2 人形机器人的信息:

http://www.fftai.com/



开始进行开发


需要从 NVIDIA Isaac Gym 迁移到 NVIDIA Isaac Lab,请查看 Isaac Lab 迁移指南:

https://isaac-sim.github.io/IsaacLab/main/source/migration/migrating_from_isaacgymenvs.html


如果您是 Isaac Lab 的新用户,请参阅开发者入门指南:

https://isaac-sim.github.io/IsaacLab/main/source/tutorials/index.html#