Mobile Scan 已讓數位人體更容易取得。我們接著能帶它去哪裡?我想探索的,是具有動作、能與周圍產生關係的虛擬人。
這延續了我在LiveAvatar/QM的試衣與虛擬空間應用工作。以下談的是我接下來希望如何結合AI動作生成的方向。
擁有形狀,與能夠活動
從照片取得人體,與讓它動起來,是不同的工作。即使體形相近,關節對應與基準姿勢不同,也不能只傳入同一份動作資料,就期待得到相同結果。
我希望同時保留身體特徵與動作意圖。除了看起來會走路,也要確認接地、接觸,以及身體與環境之間的尺度關係。
從用途看三種動作生成
NVIDIA的Kimodo從文字與動作限制條件產生3D動作。ARDY處理指令持續改變時的互動式生成。MotionBricks則透過目標姿勢與物件互動來銜接動作。
我會先從製作動作、回應操作、與環境互動這三種需求開始考慮。先決定希望虛擬人做什麼,整合的目的就更清楚。
相容性,要在轉換之後確認
Kimodo提供不同人體表示所對應的模型,但這不等於可以直接接到QM虛擬人。
我想確認骨架對應、基準姿勢、尺度、接地與動作中的體形,同時確認採用的模型版本與使用條件。即使透過SMPL或MHR轉換,也需要看結果,不能把完成轉換當作品質保證。
第一步,我希望先在同一個虛擬人上比較站立、行走與坐下等短動作。這是我的下一項驗證方向。
讓人體與動作,成為影片的條件
我接下來想探索的,是把人體掃描或Mobile Scan取得的QM人體,與AI生成的動作一起帶入影片表現。讓動作適配人體之後,我希望嘗試以OpenPose骨架或深度作為影片生成的條件。若使用潛在表示,也需要考慮接收端模型所需的形式。
Kimodo、ARDY與MotionBricks是依體驗需求選擇的候選方案。我想驗證的是人體特徵與動作意圖能否保留到影片,而不是假設不同模型可以直接共用同一個潛在表示。
稱為數位分身之後
有了會動的虛擬人,並不代表已經重現那個人自己的動作。生成的步態,與本人實際走路的紀錄,是不同的資訊。
我希望建立的數位分身,是能依目的持續更新,並區分本人觀測、推估與生成資訊的人體。試穿衣服、參與虛擬空間、理解自己的身體,各自需要不同內容。我希望讓本人保有選擇呈現方式與用途的權利。
隱私掃描所提出的「希望如何呈現自己的身體」,在這裡仍然延續。這就是我想探索的Mobile scan之後。
橫幅是描繪人體與動作未來連結的 AI 概念插畫,並非與特定動作模型整合後的成果。說明圖同樣用於思考未來的應用。
