资讯分类
全部资讯
最新活动
商城公告
行业信息
新品推荐
元器件知识
资讯标签
艾迈斯欧司朗(96) 英伟达NVIDIA(70) 艾为awinic(45) 飞腾派V3(37) 萤火工场(30) 罗彻斯特电子(28) Jetson Orin Nano SUPER 开发套件(21) 资料下载专区(18) 艾为 awinic(15) 进迭时空(15) 兆易创新(14) 赛昉科技(StarFive)(12) 灵动微电子(11) 日清纺微电子(9) 小华半导体(9) 上海雷卯Leiditech(8) 赛昉科技(8) 微源半导体 LPSemi(8) NVIDIA(8) Seeed矽递科技(8) 龙芯中科(7) GD32VW553-IOT(7) 物奇WuQi(7) 庆科(5) 开源口碑分享(5) 日清纺微电子Nisshinbo(5) 创捷电子(4) TROQ创捷电子(4) 航顺芯片(4) CEM5826-M11(4) Geehy极海半导体(4) 飞腾派(4) 罗彻斯特(3) 飞腾派eMMC(3) iCEasy商城(3) MM32SPIN060G(3) 一件包邮专区(3) FTHR-G0001(3) Mini-SPIN0230(2) NVIDIA品牌专区(2) 华润微电子(2) 口碑评测(2) EVB-L0130(2) 教育优惠申请链接(2) 启明云端(2) 飞腾官网飞腾派(2) 弈安云(2) 飞腾派下载专区(2) 村田(2) 英伟达初创加速计划(2) 极海(2) 中国星坤(2) 极海半导体(2) 小华EVB-HC32F4A0开发板(2) 国产开源硬件(2) 野火(2) 杭晶(HCI)(2) Jetson AGX Thor 开发套件/模组(1) Mini-F5333(1) 微源半导体(1) 周年抽奖活动(1) 庆科信息(MXCHIP)品牌专区(1) 附件(1) 迈巨微(1) 华大北斗(1) GD32无线生态专区(1) JETSON_AGX_ORIN_64GB_DEVELOPER_KIT(1) QCS6490 SOM EVB开发板(1) 附件下载地址(1) 台容积电(1) 雷克沙(1) GD32VW553-IOT V2版本(1) QCS8550 SOM EVB开发板(1) 申请样片:高光效红光OSCONIQ® P 3030, GR QSSPA1.23(1) GD32VW553-IOT V2(1) CEM5881-M11(1) NVIDIA Jetson Orin Nano 开发套件(1) 萤火工场品牌专区(1) 商城下载专区(1) 飞腾人才赋能(1) Jetson AGX Orin 64GB开发套件(1) 荣湃半导体(2Pai Semi)品牌专区(1) 进迭时空品牌页(1) B站风扇视频(1) Jetson AGX Xavier(32GB)(1) BeagleBoard.org®(1) 社区评奖活动(1) Arduino UNO Rev 4 Minima开发板(1) 下载专区(1) 国产自主可控(1) 英伟达 NVIDIA(1) CEM5861G-M11(1) 赛昉科技9折活动券(1) NVIDIA Jetson Orin Nano 开发套件(1) Arduino品牌专区(1) NVIDIA DGX™ Spark:桌面级AI超级计算机(1) 品牌清仓(1) QCS8550 SOM EVB(1) Jetson AGX Orin 64GB开发套件(1) 24GHz毫米波雷达模块(1) 技术问答专区(1) 英特尔(1) NVIDIA Jetson Nano 模组(1) QCS6490 SOM EVB(1) 天微电子商家页(1) 国产毫米波雷达模块(1) 飞腾派专链(1) 瑞隆源产品(1) 龙芯教育派(1) CEK8902-S905D3(1) EV Board (MM32L0136C7P)(1) 迈巨微电子品牌专区(1) NVIDIA NIM(1) 世野(Khadas)(1) 618大促(1) 竞买活动(1) 雷卯(1) 飞腾派试用申请链接(1) BeagleBone Black快速入门指南(1) 样片申请(1) 飞腾派调研问卷链接(1) 微雪电子(1) 一件免邮专区(1) SFH 7018B(1) 极海半导体(Geehy)(1) Arduino品牌页(1) 小脚丫(1) 618大促专区(1) 艾为(AWINIC)(1) 英伟达 NVIDIA品牌专区(1) MUSE Paper(1) 8月7日竞拍竞买(1) 飞腾派V3版本上新(1) 飞虹半导体(1) 野火RK3566开发板(1) 乐动机器人(1) 海凌科电子(Hi-Link)(1) VF202040-A0(1) 教育优惠(1) 萤火工场GD32VW553-IOT(1) 润石(1) 格力新元(1) CEM5825F(1) COMBO模组 EMC3020-PZI5(1) 松科智能(1)

傅利叶利用 NVIDIA Isaac Gym 训练适用于现实场景的人形机器人

发布时间:2025-02-18

本文和傅利叶研究团队合作完成。


训练人形机器人在需要高度交互性与适应性的领域作业,比如科学研究、医疗保健和制造业等,非常具挑战性且资源消耗很大。


总部位于上海的机器人公司傅利叶正在努力在该领域取得突破,开发先进的人形机器人,使其能够融入对精准度和灵活性要求极高的真实应用场景。


傅利叶于去年 9 月底宣布推出 GR-2,扩展了其 GRx 人形机器人系列。相较于上一代 GR-1(全球首款量产人形机器人),GR-2 进行了硬件设计升级,具备更强的适应性、更先进的灵活性,以及类似人类的活动范围。


利用 NVIDIA Isaac Gym

开发人形机器人 GR-2



为了开发和测试 GR-2,傅利叶团队采用了 NVIDIA Isaac Gym(现已弃用)进行强化学习。他们目前正在将其工作流迁移到 NVIDIA Isaac Lab,这是一个开源的模块化机器人学习框架,旨在简化机器人适应新技能的过程。


从仿真到真实的学习已成为机器人技术的关键,特别是对于坐下、起身甚至跳舞等复杂动作而言。借助 Isaac Gym,傅利叶能够实现对真实场景的仿真,最大限度地减少测试和维护的时间和成本。


团队仿真了复杂的多机器人场景和真实环境,从而增强了 AI 决策的鲁棒性,并提升了机器人在不可预测环境中的实际表现。傅利叶还利用 Isaac Gym 对抓取算法进行预训练,在实际部署前,对成功率进行仿真测算。这种方法显著减少了真实世界中的试错,节省了时间和资源。


通过优化 AI,

为真实世界的机器人应用赋能



在训练 GR-2 完成从地面躺姿到站立的动作时,傅利叶对在不同高度完成任务所需的物理条件进行了仿真。通过复制 GR-2 模型,他们测试了该模型在各种设置下的表现,并在约 15 小时内完成了 3,000 次迭代,与传统训练方法相比,时间显著缩短。当直接将模型应用于 GR-2 的物理控制时,模型的动作张量成功率达到了 89%。

100 次测试迭代后的检查点


500 次测试迭代后的检查点


1,600 次测试迭代后的检查点

3,000 次测试迭代后的检查点

图 1:傅利叶团队发现在进行 1,600 次测试迭代后,从躺姿到站立动作的成功率显著提高


为了优化开发流程,傅利叶团队还使用了 NVIDIA TensorRT 软件开发工具包进行实时推理优化,利用 CUDA 库进行并行处理,并使用 NVIDIA cuDNN 库加速 PyTorch 等深度学习框架。


迁移到 NVIDIA Isaac Lab 将使傅利叶能够在由 NVIDIA RTX 分块渲染技术支持的多物理虚拟环境中,训练更复杂的算法并进行更多仿真。


探索下一代机器人能力



通过采用 NVIDIA 技术,傅利叶显著缩短了模型训练时间,并提高了仿真的准确性,从而增强了工程和研发团队之间的协作。


NVIDIA 的工具还让复杂的 AI 功能,如语言模型和预测分析等成为了可能,这些功能以往因资源消耗过大而难以实现。


傅利叶 CEO  顾捷表示:“我们所取得的进展正在突破人形机器人技术的边界。通过改进机器人的实时运动控制和 AI 驱动的决策能力,我们正在为服务行业、学术研究和医疗康复等领域的人机交互设定新标准。”


了解更多关于傅利叶 GR-2 人形机器人的信息:

http://www.fftai.com/



开始进行开发


需要从 NVIDIA Isaac Gym 迁移到 NVIDIA Isaac Lab,请查看 Isaac Lab 迁移指南:

https://isaac-sim.github.io/IsaacLab/main/source/migration/migrating_from_isaacgymenvs.html


如果您是 Isaac Lab 的新用户,请参阅开发者入门指南:

https://isaac-sim.github.io/IsaacLab/main/source/tutorials/index.html#