Mobile Scan 已讓數位人體更容易取得。我們接著能帶它去哪裡?我想探索的,是具有動作、能與周圍產生關係的虛擬人。

這延續了我在LiveAvatar/QM的試衣與虛擬空間應用工作。以下談的是我接下來希望如何結合AI動作生成的方向。

人體掃描與Mobile Scan連到灰色QM正面渲染,再構想與Kimodo、ARDY或MotionBricks接軌,經轉換與渲染,準備潛在表示、OpenPose骨架或深度條件,走向影片生成。虛線代表尚待驗證。
QM使用指定模型的正面渲染。虛線是我接下來想驗證的接軌;潛在表示、OpenPose與深度,是配合接收端模型準備的候選條件。 — 插圖: Enzoviz — original concept diagram with an author-supplied QM model render; prospective integrations

開啟原尺寸圖

擁有形狀,與能夠活動

從照片取得人體,與讓它動起來,是不同的工作。即使體形相近,關節對應與基準姿勢不同,也不能只傳入同一份動作資料,就期待得到相同結果。

我希望同時保留身體特徵與動作意圖。除了看起來會走路,也要確認接地、接觸,以及身體與環境之間的尺度關係。

從用途看三種動作生成

NVIDIA的Kimodo從文字與動作限制條件產生3D動作。ARDY處理指令持續改變時的互動式生成。MotionBricks則透過目標姿勢與物件互動來銜接動作。

我會先從製作動作、回應操作、與環境互動這三種需求開始考慮。先決定希望虛擬人做什麼,整合的目的就更清楚。

相容性,要在轉換之後確認

Kimodo提供不同人體表示所對應的模型,但這不等於可以直接接到QM虛擬人。

我想確認骨架對應、基準姿勢、尺度、接地與動作中的體形,同時確認採用的模型版本與使用條件。即使透過SMPL或MHR轉換,也需要看結果,不能把完成轉換當作品質保證。

第一步,我希望先在同一個虛擬人上比較站立、行走與坐下等短動作。這是我的下一項驗證方向。

讓人體與動作,成為影片的條件

我接下來想探索的,是把人體掃描或Mobile Scan取得的QM人體,與AI生成的動作一起帶入影片表現。讓動作適配人體之後,我希望嘗試以OpenPose骨架或深度作為影片生成的條件。若使用潛在表示,也需要考慮接收端模型所需的形式。

Kimodo、ARDY與MotionBricks是依體驗需求選擇的候選方案。我想驗證的是人體特徵與動作意圖能否保留到影片,而不是假設不同模型可以直接共用同一個潛在表示。

稱為數位分身之後

有了會動的虛擬人,並不代表已經重現那個人自己的動作。生成的步態,與本人實際走路的紀錄,是不同的資訊。

我希望建立的數位分身,是能依目的持續更新,並區分本人觀測、推估與生成資訊的人體。試穿衣服、參與虛擬空間、理解自己的身體,各自需要不同內容。我希望讓本人保有選擇呈現方式與用途的權利。

隱私掃描所提出的「希望如何呈現自己的身體」,在這裡仍然延續。這就是我想探索的Mobile scan之後。

人體系列

隱私掃描 — 我們希望如何呈現自己的身體?

LiveAvatar — 讓十年累積的人體,走向下一個體驗

Mobile scan — 用兩張照片,拉近人體數位化的距離

橫幅是描繪人體與動作未來連結的 AI 概念插畫,並非與特定動作模型整合後的成果。說明圖同樣用於思考未來的應用。