物理 AI 讓機器人、自駕車和智慧空間等自主系統，能夠在現實 (物理) 世界感知、理解並執行複雜的動作。因為它能夠生成深入解析與動作，因此也常稱為「生成式物理 AI」。
生成式 AI 模型 (GPT 和 Llama 這類大型語言模型)，經過多半從網路蒐集而來的大量文字與影像資料訓練。這類 AI 在生成人類語言與抽象概念方面的能力驚人，但是對於物理世界及其規則的理解力則有限。
生成式物理 AI 以目前的生成式 AI 為基礎，增加了理解空間關係及現實 3D 世界物理行為的能力。方法是在 AI 訓練過程中，額外提供包含現實世界空間關係與物理規則的相關資訊。
3D 訓練資料透過高精確度的電腦模擬生成；這類模擬既是資料來源，也是 AI 訓練場。
工廠這類空間的數位孿生，是符合物理定律資料生成方式的第一步。感測器與機器人這類自主機器會加入這個虛擬空間。此外會執行模仿現實世界情境的模擬，而且感測器會擷取各種互動，例如運動與碰撞等剛體動力學，或者光線在環境的互動方式。
強化學習在模擬環境指導各種在現實世界執行的自主機器技能。這種學習方式讓自主機器透過成千上萬或甚至是數百萬次試錯，安全快速學習技能。
這種學習技術會在模擬中成功完成所需動作時給予物理 AI 模型獎勵，因此模型會持續調整精進。自主機器經過反覆強化學習，最終便能因時制宜，應對突發狀況，為了進入現實世界準備就緒。自主機器能夠與時俱進，培養出適用於真實世界所需的精細動作能力，例如俐落打包箱子、協助組裝車輛，或是在無人協助的情況下在環境穿梭自如。
在過去，自主機器無法感知四周的世界。然而，機器人內建生成式物理 AI 後，經過訓練，便能在現實世界與四周環境順暢互動，並且靈活應變。
若要打造物理 AI，團隊需要符合物理定律的強大模擬技術，為訓練自主機器提供安全受控的環境。這樣一來，不僅提高了機器人執行複雜任務的效率和準確度，也讓人機互動更自然，進而在現實世界應用提升易用性與功能性。
生成式物理 AI 正在開啟新功能，翻轉所有產業。舉例而言：
機器人：機器人採用物理 AI 後，在各種環境的作業能力都突飛猛進。
自駕車 (AV)：自駕車利用感測器感知並理解四周環境，因此能在開放式高速公路或城市景觀等各種環境，根據資訊做出決策。利用物理 AI 訓練自駕車，可讓車輛更準確偵測行人、回應交通或天氣狀況，並且自主變換車道，有效應對各種突發情境。
智慧空間：物理 AI 正在強化工廠和倉庫等大型室內外空間的功能性與安全性，因為這些空間的日常活動都有人流、車流和機器人往來穿梭。團隊利用固定式攝影機和先進的電腦視覺模型，可強化動態路線規劃，並且追蹤這些空間內的多個實體與活動，將營運效率最佳化。影片分析 AI 代理自動偵測異常情況並提供即時警示，進一步提升安全與效率。
利用物理 AI 打造新一代自主系統的過程，必須在多部專用電腦之間協調。