はじめに
どこまで安く、手軽にフルトラッキング目指せるの？って事での検証です。
これ大事なポイント。
③顔トラッキングで口パクする
※ただし別撮り★全身+顔を1台のカメラで高精度にするため
使用ソフト
・iriun webcam：無料
・TDPT：無料
全身トラッキング
・vseeFace：無料
顔トラッキング
・Vroom：無料
3Dアバター用の3D空間
手順
1.踊ってみた全身動画を撮影する
既存の踊ってみた動画で代用可能です。
※今回は筆者が踊ったわけじゃない
服装の色、背景色等はトラッキングソフトが認識しやすい条件が重要。
背景色に紛れない、全身のライン分かる服装、明るく鮮明な動画
2.TDPTで踊ってみた動画を読み込んでトラッキングする
撮影条件に問題なければ、高精度でちゃんとトラッキングするはず。
あまりにも激しい動作や、腕や足の交差、身体の回転があるのは難しい。
3.iriun webcamでPCとスマホをWi-Fiで繋いでwebカメラ化する
後述する表情や口パクを後付けするVseeFaseで顔トラッキングさせるための準備。
スマホをwebカメラ化するソフトは色々あるけど、これが安定してた。
4.VseeFaceで顔トラッキングする
このソフトだけで通常のVtuberらしく上半身+顔ができる海外勢定番ソフト。
前段でスマホをwebカメラ化できていれば、カメラを選択する際にiriun webcamが表示されているはず。
今回は顔のために使用。
詳細な設定は書かないけど、表情をキースイッチにするか顔トラッキングするか等、色々設定できる。
細かく設定するほど、暴発しやすく制御しにくいので今回は表情固定で口パクだけトラッキングにした。
5.TDPT⇒VseeFace⇒VroomへVRMプロトコルを繋ぐ
モーション情報をリレーしていく工程。
VRMプロトコルってのはアドレス番号みたいなので記載されてる。
例として、TDPT：VRMプロトコル「10000」って番号で送信したら、次のVseeFaceでは受信を「10000」にするって感じ。
VseeFaceでは「10001」で送信してVroomで「10001」を受信・・・みたいな。
6.VseeFaceでの設定
上記で繋いだだけだと、単にTDPTからVseeFaceを介してVroomに飛ぶだけ。
なのでプロトコルで飛ばす情報の設定で、顔関係のみ有効にしておく。
7.表情を別撮りする
この時点でうまくいってれば、最終的な出力先であるVroomで3Dアバターが踊っていて、かつ顔はリアルタイムに顔トラッキングしているはず。
8.録画する
録画はなんでも良い。
windowsにデフォルトで備わってるgamebar録画でも良いし、配信者なんかはOBSでも良い。
自分は配信者じゃないけどOBSで録画した。
さいごに
実はTDPTだけで全身トラッキングだけじゃなく顔も手指もいけるんや。
でも顔、手指は踊ってみた動画には向いてない。
かなり暴れてしまうので、手指は無しで、顔も別撮りにしたって感じ。
あとTDPTで表情をキースイッチで指定もできるんだけど、何故かVseeFaceやVroomに表情の情報が渡せず（？）怒り表情しかできないという謎現象が発生した。
このこともあり、VseeFaceを挟むことになったわけ（ついでに口パクしちゃおうって話）
今回、ここまでやるのに複数ソフトを立ち上げているのでマシンパワーはそれなりに必要だと思う。
ので、ただ全身だけやるならTDPT（あとVroom）だけでも良い。
で、上半身だけならVseeFaceか、今回書いてないけどWMCかな。
WMCはカメラだけで手指トラッキングできるって事で話題になったけど、表情トラッキングも良い感じ。
詳細な表情認識設定があって、結構分かりやすい。
今回、口パクだけにしてるけど、表情の認識精度高めた上で手指もいければ最強か？
VseeFaceをWMCにしてTDPTからモーション受け取って、表情+手指だけを送信できるのかって事をやってみたい。
