工业专题研究-人形机器人再探讨：训练数据的来源

　　从真实数据到合成数据，机器人预训练数据集迎来新突破
预训练数据集是影响大模型性能的核心要素，机器人大模型也不例外。由于机器人训练数据集对任务相关性和多样性要求较高，收集真实数据昂贵且耗时，目前最大的机器人数据集Open X-Embodiment 仅包含100 多万条真实机器人轨迹数据。近期，MimicGen 基于175 个人工示范数据，可以生成涵盖18 个任务、多种场景、任务对象和机械臂的5 万多个合成数据，且与等量真实数据的训练效果相当；RoboGen 可以无限生成任务、场景和训练数据，实现机器人7x24 小时全自动技能学习。我们认为，从真实数据到合成数据，预训练数据集来源的丰富将会加速机器人大模型的发展。
　　多样化的机器人训练数据集是机器人大模型泛化能力提升的基础经过大量文本语料库训练的大语言模型往往优于仅在特定数据集上训练得到的模型，机器人大模型也是一样。面对一项新任务时，最初版本的机器人大模型RoboCat 在经过500 次人工演示训练后，执行成功率仅为36%；经过自我生成的数据集训练后，其执行成功率提升至74%。RT-1-X 与RT-1架构相同，经过包含16 多万个任务的100 多万条机器人轨迹数据训练后，在特定任务上的平均性能较RT-1（经过包含700 多个任务的13 万条机器人轨迹训练）提升50%。由此可见，大量多样化机器人训练数据对提升大模型性能至关重要。
　　大模型对数据集的任务相关性和多样性要求高，真实数据昂贵耗时相关性高的任务数据帮助大模型实现正迁移（加入新的机器人数据集后，模型泛化能力提高）；丰富的任务种类可以增强大模型的通用性。在RT-1 中，Google 依靠自身强大的资金和科研实力，耗时17 个月，仅收集到包含700多个任务（任务种类少）的13 万条机器人数据，而且训练后得到的RT-1基本不具备泛化能力（任务相关性低）。目前最大的机器人数据集OpenX-Embodiment 仅包含100 多万条真实机器人轨迹数据。因此，我们认为仅依靠人工示范收集的真实数据难以满足具身大模型的训练需求。
　　合成数据与等量真实数据的训练效果相当，合成任务数量可为无限个在机器人合成数据最新进展方面，MimicGen 能够基于175 个人工示范数据，生成涵盖18 个任务、多种场景、任务对象和机械臂的5 万多个合成数据。
　　经过合成数据的训练，机器人在长期复杂任务和毫米级精度接触任务中的执行成功率显著提高；等量的人工示范数据和合成数据对机器人的训练效果相当。RoboGen 将大语言模型和生成式模型中蕴含的大规模知识与模拟世界中的物理信息相结合，可以自动生成任务、场景和训练数据，实现机器人7x24 小时全自动技能学习；其中机器人可学习的任务数量是无限个，包括刚性/关节操作和软体操作等，还能够学习长期复杂任务。
　　风险提示：模型泛化能力不足，数据集训练结果不及预期，机器人通用性不及预期。
【免责声明】本文仅代表第三方观点，不代表和讯网立场。投资者据此操作，风险请自担。

   【免责声明】本文仅代表第三方观点，不代表和讯网立场。投资者据此操作，风险请自担。