單純展示身體掃描,並不等於使用者想看到的樣貌。當時基於隱私考量採用的 Kinect、RealSense 等紅外線掃描器,可能因灰塵或毛髮而產生粗糙表面。使用者調查也出現「不想顯示自己的臉」「希望像模特兒的臉」等需求。我因此開始處理掃描模型的重建。

從粗糙幾何,走向人的樣貌

為了讓像黏土塊的掃描結果成為可辨識的人形呈現,我同時處理了四個面向。

  • 美感呈現
  • 臉部與手腳重建
  • 材質
  • 綁定

我以預先定義的模板,搭配 TG3D 身體量測的特徵點約束,進行迭代擬合與重新拓撲。手腕與頭部仍有問題,但身體大部分區域的網格分布已能改善。

模板映射結果

灰色原始掃描與膚色模板的疊合
灰色原始掃描與膚色模板的疊合 — 插圖: Enzoviz — Privacy Scan

灰色是原始掃描,膚色是模板映射後的模型。

處理資料缺陷

一:推估頭髮之下的頭部形狀

雜訊與毛髮會干擾幾何擬合。尤其長瀏海可能讓臉部網格投影到頭髮上而扭曲,若直接當作訓練資料,問題也會延續到後續階段。

我蒐集各國研究中的頭部與手部尺寸資料,參考其信賴區間,將模板頭部以剛體方式移植。

二:過濾異常資料,補回掃描範圍外的部位

運用統計資料重建頭部尺寸的比較
運用統計資料重建頭部尺寸的比較 — 插圖: Enzoviz — privacy-scan

參考統計資料重建掃描頭部尺寸的比較。

讓重建模型走向下一個用途

從重建模型可以擷取輪廓、法線、深度與量測值。我把這些資訊用於機器學習,支援不依賴專用掃描器的掃描。由實際模型產生的影像,也能送入 Stable Diffusion 的 ControlNet,運用在 AI 影像生成。