资讯分类
全部资讯
最新活动
商城公告
行业信息
新品推荐
元器件知识
资讯标签
艾迈斯欧司朗(96) 英伟达NVIDIA(70) 艾为awinic(45) 飞腾派V3(37) 萤火工场(30) 罗彻斯特电子(28) Jetson Orin Nano SUPER 开发套件(21) 资料下载专区(18) 艾为 awinic(15) 进迭时空(15) 兆易创新(14) 赛昉科技(StarFive)(12) 灵动微电子(11) 日清纺微电子(9) 小华半导体(9) 上海雷卯Leiditech(8) 微源半导体 LPSemi(8) 赛昉科技(8) NVIDIA(8) Seeed矽递科技(8) 龙芯中科(7) GD32VW553-IOT(7) 物奇WuQi(7) 庆科(5) 开源口碑分享(5) 日清纺微电子Nisshinbo(5) 创捷电子(4) TROQ创捷电子(4) Geehy极海半导体(4) 航顺芯片(4) CEM5826-M11(4) 飞腾派(4) 罗彻斯特(3) 飞腾派eMMC(3) iCEasy商城(3) MM32SPIN060G(3) 一件包邮专区(3) FTHR-G0001(3) Mini-SPIN0230(2) NVIDIA品牌专区(2) 口碑评测(2) 华润微电子(2) 教育优惠申请链接(2) EVB-L0130(2) 启明云端(2) 飞腾官网飞腾派(2) 弈安云(2) 飞腾派下载专区(2) 村田(2) 英伟达初创加速计划(2) 小华EVB-HC32F4A0开发板(2) 极海(2) 中国星坤(2) 极海半导体(2) 国产开源硬件(2) 野火(2) 杭晶(HCI)(2) 周年抽奖活动(1) 庆科信息(MXCHIP)品牌专区(1) 附件(1) Jetson AGX Thor 开发套件/模组(1) Mini-F5333(1) 微源半导体(1) JETSON_AGX_ORIN_64GB_DEVELOPER_KIT(1) QCS6490 SOM EVB开发板(1) 附件下载地址(1) 迈巨微(1) 华大北斗(1) GD32无线生态专区(1) QCS8550 SOM EVB开发板(1) 申请样片:高光效红光OSCONIQ® P 3030, GR QSSPA1.23(1) 台容积电(1) 雷克沙(1) GD32VW553-IOT V2版本(1) CEM5881-M11(1) NVIDIA Jetson Orin Nano 开发套件(1) 萤火工场品牌专区(1) 商城下载专区(1) GD32VW553-IOT V2(1) Jetson AGX Orin 64GB开发套件(1) 荣湃半导体(2Pai Semi)品牌专区(1) 进迭时空品牌页(1) 飞腾人才赋能(1) Arduino UNO Rev 4 Minima开发板(1) 下载专区(1) B站风扇视频(1) Jetson AGX Xavier(32GB)(1) BeagleBoard.org®(1) 社区评奖活动(1) 赛昉科技9折活动券(1) NVIDIA Jetson Orin Nano 开发套件(1) Arduino品牌专区(1) 国产自主可控(1) 英伟达 NVIDIA(1) CEM5861G-M11(1) QCS8550 SOM EVB(1) Jetson AGX Orin 64GB开发套件(1) 24GHz毫米波雷达模块(1) NVIDIA DGX™ Spark:桌面级AI超级计算机(1) 品牌清仓(1) QCS6490 SOM EVB(1) 天微电子商家页(1) 国产毫米波雷达模块(1) 技术问答专区(1) 英特尔(1) NVIDIA Jetson Nano 模组(1) EV Board (MM32L0136C7P)(1) 迈巨微电子品牌专区(1) 飞腾派专链(1) 瑞隆源产品(1) 龙芯教育派(1) CEK8902-S905D3(1) 雷卯(1) 飞腾派试用申请链接(1) BeagleBone Black快速入门指南(1) 样片申请(1) NVIDIA NIM(1) 世野(Khadas)(1) 618大促(1) 竞买活动(1) 极海半导体(Geehy)(1) Arduino品牌页(1) 飞腾派调研问卷链接(1) 微雪电子(1) 一件免邮专区(1) SFH 7018B(1) 艾为(AWINIC)(1) 英伟达 NVIDIA品牌专区(1) 小脚丫(1) 618大促专区(1) 飞腾派V3版本上新(1) 飞虹半导体(1) MUSE Paper(1) 8月7日竞拍竞买(1) 教育优惠(1) 萤火工场GD32VW553-IOT(1) 野火RK3566开发板(1) 乐动机器人(1) 海凌科电子(Hi-Link)(1) VF202040-A0(1) CEM5825F(1) COMBO模组 EMC3020-PZI5(1) 松科智能(1) 润石(1) 格力新元(1)

NVIDIA Jetson :能瞄准、射门和得分的自主足球机器人

发布时间:2024-07-09

NVIDIA Jetson Nano模组,iCEasy商城热销中!现货充足,限时领券享优惠。智能边缘计算,性能卓越,助力您的创新项目。立即下单,体验NVIDIA的强大技术!

Jetson Nano 模组 ¥ 799.00(限时秒杀9折)


足球被认为是全世界最受欢迎的运动之一,这主要是因为足球比赛往往十分激烈,能够展现球员们出色的体能与技术,让观众看得惊心动魄。因此,自然会有人致力于向机器人传授足球比赛的精髓,包括如何抢球、瞄准球门、传球和进球得分等。

事实上,的确有一项专为这个想法而开展的赛事。RoboCup 小型机器人联赛 (Small Size League, SSL)之视觉封锁技术挑战赛,就在鼓励参赛团队“探索本地传感和处理方法,而非采用常见的板外计算机和全局摄像头感知环境的方法”。来自巴西累西腓伯南布哥联邦大学的学生 João Guilherme、其指导老师 Edna Barros 和其他 SSL 队友共同制造了一个由 NVIDIA Jetson Nano 开发者套件驱动的全向移动机器人,该机器人可以自主执行足球任务。

该团队所制造的全向移动机器人配有单目摄像头,可自主执行以下任务:

  • 定位
  • 找球和抢球
  • 坐标计算
  • 将球传给其他机器人队友
  • 射空门得分

团队制造这台机器人时,使用了平均处理速度为 30 FPS 的 AI 软件工作流,硬件功耗仅为 10.8 W 左右。

机器人前部有一个踢球装置,是一个四轮全向移动机器人。图 1 为机器人的几何形状。

图 1. 由 NVIDIA Jetson Nano 开发者套件驱动的全向移动机器人的运动能力可以自主执行足球任务

该团队在《制造 RoboCup 小型机器人联赛自主机器人》一文中解释道:“我们在抢球、进球和传球这三个足球任务上评估了系统,成功率分别达到 80%、80% 和 46.7%。”

比赛期间,各队将使用场外计算机执行大部分计算,去接收球的位置并采集场地几何信息和裁判指令。比赛队伍分成 6 个机器人组 (B 组) 和 11 个机器人组(A 组),机器人通过带宽最小的射频通信接收导航指令。机器人的直径和高度限制分别为 180 毫米(B 组)和 150 毫米(A 组),因此被称为“小型机器人联赛”。

RoboCup 小型机器人联赛分为四个阶段:

  1. 在赛场某处抓到一个静止的球
  2. 将球射入空门得分
  3. 将机器人移动到特定坐标
  4. 间接射门得分(需要两个机器人)

另外,该挑战赛还要求机器人能够检测场地中的物体、估算物体的位置、计算导航路径并记录经过的轨迹。

Guilherme 和他的队友在《制造 RoboCup 小型机器人联赛自主机器人》一文中表示:“SSL 比赛是一种机器人资源极��有限的高度动态化环境,这就要求解决方案必须考虑尺寸、功耗、精度和处理速度之间的权衡。我们在研究中提出了一种使这些机器人能够自主执行基本足球任务的架构,也就是说这些机器人不用接收任何的外部信息。”

项目硬件

该团队在项目中使用了以下硬件:

  • 一套 Jetson Nano 开发者套件,用于执行嵌入式视觉和制定决策
  • 一个全向移动机器人
  • 一个罗技 C922 摄像头,用于提供单目视觉
  • 惯性传感器,用于估算里程
  • 一个 STM32F767ZI 微控制器单元 (MCU),用于接收来自 Nano 的目标相对位置和导航标志,并使用惯性里程计执行底层控制和轨迹估计

图 2. 足球机器人的 AI 检测流程和运动规划

有关所使用硬件的更多信息,请参见 RobôCIn 2020 团队说明文件:https://ssl.robocup.org/wp-content/uploads/2020/03/2020_TDP_RoboCIn.pdf

技术挑战

在该赛事的视觉封锁挑战赛中,获胜机器人必须能够完成各种足球技能,包括抓住静止的球、射空门得分、移动到特定坐标以及间接进球得分(传球给另一个机器人)等。

机器人必须能够仅使用嵌入式传感和处理技术来完成这些技能。这项挑战没有高度限制,因此团队在普通机器人的顶部添加了一个板载摄像头、Jetson Nano 和一块电源板。

图 3. 团队为视觉封锁挑战赛改装的足球机器人(左)和他们原来的机器人(右)

此外,这项挑战还要求机器人能够探测场地中的物体、估算其位置、计算导航路径并记录经过的轨迹。SSL 足球比赛利用外部摄像头和板外计算机感知环境,并向机器人发送指令。

研究人员表示,该 SSL 视觉架构“存在一定的局限性,比如摄像头的视野、色彩分割、软件延迟和通信中断等,这迫使团队开发出能够应对复杂条件的解决方案。例如,球遮挡是比赛中的一个常见问题,即机器人在摄像头图像上的投影与球重叠。还有就是球和机器人的位置会发生偏移,偶尔会出现检测不到或检测错误的情况。”

在 SSL 比赛中,机器人和球的速度分别高达 3.7 m/s 和 6.5 m/s,这使得比赛的移动速度非常快,因此需要高吞吐量的解决方案。此外,受尺寸限制,再加上使用电池作为电源,解决方案的功耗必须较低。在比赛过程中,机器人还要做出精准的远射和长传,因此需要能够精确估算位置。

团队还注意到精确的电机控制的重要性,这样机器人就可以在足球场上移动,并保持其测量位置的准确性。他们需要一种方法,来降低机器人对位置的内部理解与实际物理位置之间偏离的比率。

图 4. 足球机器人的摄像头可帮助检测物体并提供视野,以便机器人作出决策和规划路径

项目软件和 AI

研究团队使用 OpenCV2 以及校准和姿势计算技术提取单目摄像头(固定在机器人上)的 “内在和外在参数”。他们使用 SSD MobileNet v2 检测摄像头帧画面上的物体 2D 边界框,还使用一个程序对 SSD MobileNet 创建的边界框坐标执行线性回归,用于估算出预校准摄像头参数。这将在场地上分配对应物体底部中心的点(代表物体与摄像头的相对位置),包括对应该机器人的点。

结果

团队对他们的机器人在今年挑战赛中的表现非常满意,主要包括:

  • 抓取静止的球:在 15 次尝试中,机器人有 12 次能够在球接触到运球器时将球停住,成功率高达 80%。
  • 进球:在 15 次跑动中,有 12 次进球。
  • 传球:在 15 次尝试中,成功传球 7 次,成功率为 46.7%。

团队自 2019 年起参加 RoboCup 小型机器人联赛,并于 2022 年赢得首个世界冠军(B 组)。他们目前还是三届拉丁美洲冠军。“RoboCup 2023 之 RobôCIn 小型机器人联赛团队介绍文件扩增版”(https://arxiv.org/abs/2307.10018)介绍了该团队为获得 7 月底在法国波尔多举行的 RoboCup 2023 小型机器人联赛 (SSL) B 组冠军而对其项目作出的改进。最终,他们如愿夺冠。

未来的计划

Guilherme 深入介绍了团队在比赛中遇到的挑战,以及可以在未来的赛事中作出的改进。他指出,大多数失败都是由于错误检测到场外物体造成的,“我们正在研究一种检测赛场边界,并使用掩码来屏蔽这些物体的解决方案。”

该团队需要更加快速的物体检测解决方案。Guilherme 表示:“尽管我们目前能够执行基本的技能,但 30 FPS 的处理速度对于 SSL 环境来说仍然很低。在主要比赛中,摄像头的运行速度通常为 70 FPS。”

该机器人��全是根据检测到的物体的相对位置来执行技能,也就是说,它并不知道自己在赛场上的位置。Guilherme 表示:“我们认为这些信息可以帮助优化在足球任务中的表现,同时还能让我们避免处罚,例如避免机器人进入守门员区域等。我们正在研究一种基于蒙特卡洛定位 (MCL) 的自定位算法,并将在未来几个月内发布相关信息。”

该团队计划在未来为该机器人的系统添加更多功能(如赛场线检测、定位算法和路径规划等),他们将努力优化系统的每个部分来满足这些需求。

此外,该团队还在继续研究检测赛场边界和赛场线,以及估算机器人自我位置的解决方案。他们还计划用 Jetson Orin Nano 替换 Jetson Nano ,从而提高机器人的处理速度。这一升级将帮助提高团队在联赛中的竞争力。

请访问开发者论坛和 GitHub,进一步了解该团队的原始项目。

开发者论坛:https://forums.developer.nvidia.com/t/ssl-detector-objects-detection-and-position-estimation-at-the-robocup-small-size-league-ssl/221385

GitHub:https://github.com/jgocm/ssl-detector

您还可以探索 Jetson 社区项目,从其他机器人开发者那里获得更多想法和灵感:https://developer.nvidia.com/embedded/community/jetson-projects