はじめに
ダンス動画からダンサーの動きをキャプチャーし、それを3Dモデルで再現するという試みは最近のモデルの流行りらしい。
github.com
最近では、こうしたモデルをバックエンドで動かすサービスが登場しつつある。
news.denfaminicogamer.jp
https://plask.ai/
少しこのサービスを触ってみたので使い方などについて語る。
Plask概要
このPlask、一言でいうとWebカメラや動画ファイルからのモーショントラッキングが可能である。
3Dモデルに対する簡単なキーフレームエディタも備えており、モーショントラッキングだけでなくアニメーションの編集も可能である。
importは3Dモデル(.glbというフォーマットがあるらしい)や.mp4など動画ファイル。exportは.fbxなど有名どころのフォーマットである。動画ファイルのimportでは動画に含まれるモーションの情報のみをエディタで扱う。今回はこの動画ファイルのimportを中心に取り上げる。
ちなみに韓国の企業が運営するWebサービスであるらしい。
動画から動きを抽出する
Plaskを使って動画から動きを抽出してみる。
動画ファイルのモーションを指定する
動画から動きを抽出するには、Libraryの「+」から動画ファイルを選択する。
動画を追加すると↓のような画面になる。
動画の長さは5s程度がよいらしい。長い時間の動画をお試しでimportしたところ、冒頭数秒のみがアニメーションとして抽出された。そのような場合、下部の黄色い枠をドラッグすることで任意の動きを指定できる。
モーションを抽出するのは「ExtractMotion」である。
抽出したモーションを確認する
モーションが追加されたので、次にどのようにExtractされたのかを確認する。
とはいえこれも単純で、予め用意されているモデルがあるのでそれにドラッグアンドドロップするだけ。
モーションをアタッチすると、エディタ上にアタッチ先のサンプルモデルが表示されるようになる。
後は下部の右三角を押すだけである。左三角は逆再生である。
注意点としてカメラの操作方法が独特な点がある。公式（3. Tutorial - Basic Navigation - YouTube）によると操作方法は以下のようである。
- 移動：Alt+右クリック
- 回転：Alt+左クリック
- 拡大：マウスホイール
モーションが満足いくものとなっていれば、モデル名を右クリックしてExportする。対応フォーマットは.fbx、.glb、.bvh。
