沉寂3年，大模型激活小度天貓精靈？
Tech星球（微信ID：tech618）文 | 何煦陽 沉寂了許久的智能音箱，在今年大模型橫空出世之后，又再次燃起了新的希望。 2月9日，小度宣布將融合文心一言，打造針對智能設備場景的AI模型&ldq
在機器人技術的前沿探索中，智元機器人近期推出了一項重大創新——AgiBot Digital World，一個專為機器人操作技能研究與應用量身打造的仿真框架。該框架不僅提供了靈活的仿真數據生成方案，還配套預訓練的大規模仿真數據和統一的模型評測標準，并慷慨開源了海量的仿真數據資源。
AgiBot Digital World框架集成了海量的高保真三維資產，涵蓋了多樣化的場景、物體和機器人模型。這些資產通過精細的人工建模、三維重建技術和前沿的生成式人工智能技術轉化而來，旨在滿足各類復雜機器人操作任務的仿真需求。借助NVIDIA Isaac-Sim仿真平臺，AgiBot Digital World能夠實現高度逼真的視覺渲染和精確的物理模擬，使得仿真環境與真實世界的差異微乎其微，無論是光影效果還是物理交互都顯得異常真實。
AgiBot Digital World的一大亮點是其豐富的三維資產庫。這些資產包括各種物體、場景和機器人模型，能夠滿足從簡單到復雜的機器人操作任務仿真。例如，光透過窗戶的投射效果、物體隨機器人動作而產生的倒影等，都呈現出極高的真實感。該框架還能模擬真實世界的物理效應，如機器人將小車放入籃子時產生的晃動，進一步增強了仿真的逼真度。
為了提升仿真的靈活性和多樣性，AgiBot Digital World引入了多模態大模型。這一功能支持基于資產庫自動生成操作任務，以及根據指定任務自動生成操作場景和物體布局。這意味著，根據實際的訓練需求，可以輕松地創建出多樣化、復雜度可調的仿真任務與環境，從而實現數據的閉環。例如，在書房場景中，如果機器人需要從桌面任務轉向書架上的立面操作，只需一鍵召喚取書任務，系統即可自動捕捉到環境中的書架，并根據需要調用資產庫補充物體或切換場景。
在數據生成方面，AgiBot Digital World提供了多元化的專家軌跡生成策略。這些策略包括真機操作數字孿生、具身智能體自動生成和仿真遙操作。通過這些策略，可以生成豐富多樣的專家軌跡數據，增強模型在真實環境中的泛化能力。同時，數據生成引擎還支持環境光照、物體材質和物理屬性的隨機化，以及多種操作軌跡增強方式，進一步提升了數據的多樣性和魯棒性。
智元機器人此次開源的仿真數據涵蓋了家居、商超、辦公、餐飲和工業五大場景，其中家居場景最為豐富，占比高達36%。數據集中包含了超過180種具體物品，涵蓋了9大品類和9種主要材質。還囊括了12種核心技能，如抓、放、插、倒等，使得數據集能夠靈活應對各種復雜任務。這些數據具有高質量、高泛化性、任務多樣性和應用靈活性等特點，為端到端模型的可靠訓練提供了堅實基礎。
本文鏈接：http://www.rrqrq.com/showinfo-45-11147-0.html智元機器人發布仿真框架AgiBot Digital World，海量數據集助力具身智能開發
聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：[email protected]
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯系：[email protected] 津ICP備18001702號
津公網安備 12010102000574號