資訊專欄INFORMATION COLUMN
這可能會是AI技術形態(tài)的一個轉折點,大模型的下一個形態(tài)，不再是人和模型一輪一輪的即時問答了。
當?shù)貢r間 7 月 29 日，在美國丹佛舉行的第 51 屆 SIGGRAPH 計算機圖形學會議上，英偉達創(chuàng)始人、CEO 黃仁勛與 Meta 創(chuàng)始人、CEO 馬克?扎克伯格進行了一場全球矚目的爐邊談話。
這場對話主要圍繞生成式 AI 技術，及其在各種領域上的應用展開。會議中，面向全球領先的機器人制造商、AI 模型開發(fā)者和軟件制造商，英偉達提供了一套全新服務、模型以及計算平臺，以幫助開發(fā)、訓練和構建下一代人形機器人。
這套產(chǎn)品包括用于機器人仿真和學習的全新 NVIDIA NIM 微服務和框架、用于運行多階段機器人工作負載的 NVIDIA OSMO 編排服務，以及支持 AI 和仿真的遠程操作工作流，該工作流允許開發(fā)者使用少量人類演示數(shù)據(jù)來訓練機器人。
英偉達創(chuàng)始人兼首席執(zhí)行官黃仁勛表示：“AI 的下一波浪潮是機器人，其中最令人興奮的發(fā)展之一是人形機器人。我們正在推進整個 NVIDIA 機器人堆棧的發(fā)展，面向全球人形機器人開發(fā)者和公司開放訪問，讓他們能夠使用最符合其需求的平臺、加速庫和 AI 模型。”
借助 NVIDIA NIM 和 OSMO 加速開發(fā)
NIM 微服務提供了由英偉達推理軟件提供支持的預構建容器，使開發(fā)者能夠將部署時間從數(shù)周縮短到幾分鐘。機器人專家將能夠通過兩項新的 AI 微服務，在 NVIDIA Isaac Sim（基于 NVIDIA Omniverse? 平臺構建的機器人仿真參考應用）中增強生成式物理 AI 仿真工作流。
MimicGen NIM 微服務可根據(jù) Apple Vision Pro 等空間計算設備記錄的遠程操作數(shù)據(jù)，生成合成運動數(shù)據(jù)。Robocasa NIM 微服務可在 OpenUSD（一個用于在 3D 世界中進行開發(fā)和協(xié)作的通用框架）中生成機器人任務和仿真就緒環(huán)境。
本次推出的 NVIDIA OSMO 是一項云原生托管服務，允許用戶跨分布式計算資源來協(xié)調和擴展復雜的機器人開發(fā)工作流，無論是在本地還是在云端。OSMO 大大簡化了機器人訓練和仿真工作流，將部署和開發(fā)周期從數(shù)月縮短到一周內。
用戶可以對各種任務進行可視化管理，包括合成數(shù)據(jù)生成、模型訓練、強化學習以及大規(guī)模的人形機器人、自主移動機器人和工業(yè)機械臂軟件在環(huán)測試。
為人形機器人開發(fā)者提供先進的數(shù)據(jù)捕獲工作流
訓練人形機器人的基礎模型需要大量的數(shù)據(jù)。遠程操作是獲取人類演示數(shù)據(jù)的方法之一，但這個過程正變得越來越昂貴和漫長。通過在 SIGGRAPH 計算機圖形大會上展示的 NVIDIA AI 和 Omniverse 遠程操作參考工作流，研究者和 AI 開發(fā)者能夠從極少量遠程捕捉的人類演示中生成大量合成運動和感知數(shù)據(jù)。
首先，開發(fā)者使用 Apple Vision Pro 捕獲少量遠程操作演示，隨后在 NVIDIA Isaac Sim 中仿真這些錄像，并使用 MimicGen NIM 微服務基于錄像生成合成數(shù)據(jù)集。開發(fā)者可以使用真實數(shù)據(jù)和合成數(shù)據(jù)對 Project GR00T 人形機器人基礎模型進行訓練，以節(jié)省時間和降低成本。
然后，他們可以使用 Isaac Lab 中的 Robocasa NIM 微服務（一個機器人學習框架）來生成經(jīng)驗并重新訓練機器人模型。在整個工作流中，NVIDIA OSMO 將計算任務無縫地分配給不同的資源，為開發(fā)者減少了數(shù)周的管理工作量。與此同時，英偉達也發(fā)布了一系列通用場景描述（OpenUSD）的重大成果。
這將擴大這一通用 3D 數(shù)據(jù)交換框架在機器人、工業(yè)設計和工程領域的應用，提高開發(fā)者為 AI 新一輪發(fā)展構建高精度虛擬世界的能力。通過基于 OpenUSD 的全新生成式 AI，以及在 Omniverse 平臺構建的英偉達加速的開發(fā)框架，越來越多的行業(yè)現(xiàn)在能夠開發(fā)出用于可視化工業(yè)設計和工程項目的應用，以及用于構建新一代物理 AI 和機器人的環(huán)境仿真的應用。
新推出的內容包括適用于 AI 模型的 NVIDIA NIM 微服務，這些微服務可生成回答用戶查詢的 OpenUSD 語言、生成 OpenUSDPython 代碼、將材質應用于 3D 物體、理解 3D 空間和物理學以幫助加快數(shù)字孿生的開發(fā)等。其他還包括可用于機器人和工業(yè)仿真數(shù)據(jù)格式的全新 USD 連接器，以及各種開發(fā)者工具，用戶可通過它們將海量 NVIDIARTX 全光線追蹤數(shù)據(jù)集傳輸?shù)?AppleVision Pro。
英偉達 NVIDIA Omniverse 與仿真技術副總裁 Rev Lebaredian 表示：“重工業(yè)的生成式 AI 潮已經(jīng)到來。直到最近，數(shù)字世界的主要用戶還是創(chuàng)意行業(yè)；而現(xiàn)在，借助 NVIDIA NIM 微服務為 OpenUSD 帶來的增強功能和可訪問性，各個行業(yè)都可以創(chuàng)建基于物理學的虛擬世界和數(shù)字孿生，在加快創(chuàng)新的同時，為機器人這次新一輪 AI 技術熱潮做好準備。”
通過 NVIDIA NIM 將生成式 AI 應用于 USD
英偉達開發(fā)的全球首個用于 OpenUSD 開發(fā)的生成式 AI 模型將以 NVIDIA NIM 微服務的形式提供。借助這些模型，開發(fā)者能夠將生成式 AI copilot 和智能體整合到 USD 工作流中，拓寬 3D 世界的可能性，幫助加快 USD 在制造業(yè)、汽車行業(yè)和機器人等新工業(yè)領域的應用。
USD 連接器為更多行業(yè)帶來生成式 AI
多款適用于機器人數(shù)據(jù)格式和 Apple Vision Pro 流式傳輸?shù)娜?USD 連接器將為更多行業(yè)帶來 OpenUSD 互操作性與高級創(chuàng)作能力。為幫助更多使用 OpenUSD 的工業(yè)工作負載，英偉達與全球工業(yè)自動化和軟件領先者西門子正在擴大合作。
西門子將把 OpenUSD 流水線與其 Simcenter 仿真技術組合集成，以支持基于證據(jù)的決策和關鍵利益相關方之間的協(xié)作。該集成可實現(xiàn)復雜仿真數(shù)據(jù)的高保真、實時、逼真可視化，讓企業(yè)能夠更加深入地了解產(chǎn)品在實際操作環(huán)境中的性能。西門子將把 Omniverse 納入到其 Teamcenter 產(chǎn)品生命周期管理軟件組合中，為這項工作打好基礎。
英偉達還發(fā)布了一個從統(tǒng)一機器人描述格式（Unified Robotics DescriptionFormat）到 OpenUSD 的連接器，讓機器人專家能夠將他們的機器人數(shù)據(jù)無縫導入到用于設計、仿真和強化學習等用途的各種應用中。
為了進一步推動 OpenUSD 生態(tài)系統(tǒng)的擴張，英偉達發(fā)布了 OpenUSD Exchange 軟件開發(fā)套件，幫助開發(fā)者創(chuàng)建出自己的強大 OpenUSD 數(shù)據(jù)連接器。新的開發(fā)者工具和 API 可通過 NVIDIA Graphics Delivery Network（GDN），將大規(guī)模 OpenUSD 場景從基于 Omniverse 平臺構建的應用流式傳輸?shù)?Apple Vision Pro。目前，這些新工具和 API 提供搶先體驗版本。
文章版權歸作者所有，未經(jīng)允許請勿轉載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉載請注明本文地址：http://m.specialneedsforspecialkids.com/yun/131143.html
摘要：近日，英偉達在蘇州舉行了技術大會。會上，英偉達宣布，將面向中國推出云。英偉達稱，針對推理工作負載，配備個的單個服務器最多可取代臺服務器。近日，英偉達在蘇州舉行了GPU技術大會。會上，英偉達宣布，將面向中國推出NVIDIA Turing T4云GPU。T4基于全新 NVIDIA TuringTM 架構，T4 GPU外形非常小巧，功耗只有70W，采用多精度 Turing Tensor Core和...
摘要：所以我必須基于自己現(xiàn)在的情況走出一條適合自己情況的成長路線。下位機上位機的思想下位機上位機這就是我自己探索出來的技術成長路線。對和嵌入式的朋友感興趣的朋友可以試一下我這條學習路線 ...
摘要：本文內容節(jié)選自由主辦的第七屆，北京一流科技有限公司首席科學家袁進輝老師木分享的讓簡單且強大深度學習引擎背后的技術實踐實錄。年創(chuàng)立北京一流科技有限公司，致力于打造分布式深度學習平臺的事實工業(yè)標準。 本文內容節(jié)選自由msup主辦的第七屆TOP100summit，北京一流科技有限公司首席科學家袁進輝（老師木）分享的《讓AI簡單且強大：深度學習引擎OneFlow背后的技術實踐》實錄。 北京一流...
摘要：阿里云推出國內首個基于英偉達的優(yōu)化容器月日，在云棲大會深圳峰會上，阿里云宣布與英偉達云合作，開發(fā)者可以在云市場下載云鏡像和運行容器，來使用阿里云上的計算平臺。阿里云成為中國首家與加速的容器合作的云廠商。 摘要： 3月28日，在2018云棲大會·深圳峰會上，阿里云宣布與英偉達GPU 云 合作 （NGC），開發(fā)者可以在云市場下載NVIDIA GPU 云鏡像和運行NGC 容器，來使用阿里云上...
摘要：在經(jīng)歷五年多的落后之后，如今美國終于在超級計算機領域再度超越中國，重奪頭名桂冠。這一消息在本周于德國法蘭克福舉行的年度國際超級計算機大會上正式公布。在經(jīng)歷五年多的落后之后，如今美國終于在超級計算機領域再度超越中國，重奪頭名桂冠。這臺由IBM公司為田納西州橡樹嶺國家實驗室建造的Summit超級計算機（如上圖所示）在本周一發(fā)布的全球超算五百強中位列第一（這份榜單每年發(fā)布兩輪，列舉世界上五百臺最為...
閱讀 2887·2025-01-02 11:25
閱讀 426·2024-12-10 11:51
閱讀 424·2024-11-07 17:59
閱讀 380·2024-09-27 16:59
閱讀 517·2024-09-23 10:37
閱讀 600·2024-09-14 16:58
閱讀 375·2024-09-14 16:58
閱讀 593·2024-08-29 18:47
