今回から、Unreal Engineに取り込んだ3Dモデルの表情を、人間の表情と対応させていきます
人間の表情を読み取るツールとしては、iPhoneを使用します
X以上のバージョンを入手しておきましょう
（残念ながら、本記事シリーズではAndroidを用いたVtuber作製方法は解説しておりません。ごめんなさい）
iPhoneを用意したら、App StoreからLive Link Faceをダウンロードしましょう
顔の輪郭のアイコンとなっています(図1)
アプリを開いたら、左上の歯車アイコンから設定画面に入ります
頭の回転をストリームを有効としておきましょう
また、Live Linkという設定項目内のサブジェクト名にはiPhoneの名前を、ターゲットには用いるPCのIPアドレスを入力します
IPアドレスを確認する際にはコマンドプロンプトを開き、ipconfigと入力します
ここで、PCとiPhoneは同一ネットワーク環境内にあることを確認しておきましょう
次に、PC側の設定をUnreal Engineで行います
Unreal EngineのMarketplaceでFace AR Sampleが公開されていますので、これを用います
プロジェクトを作製する、クリエイト、起動を順に選択し、FaceARSampleを開きます
ウィンドウからLive Linkを開き、接続したいiPhoneが認識されていることを確認してください
接続できている場合は、緑の丸アイコンが表示されます
このときLive Linkができていない場合は、以下の2点を確認しましょう
①iPhoneとPCが同一ネットワーク内にあること
②ファイアウォールでUnreal Engineが許可されていること
の2点となります
Unreal Engineを閉じてから開きなおすことで解決する場合もあります
自作Vtuberを試す前に、もともと用意されているサンプルのカイト君を用いて、自身の表情とリンクするかを確認しましょう
コンテンツ内Animationsディレクトリから、カイト君のAnimBPを開きます(図3)
ここでブループリントと呼ばれるノードのつながりを表す画面が表示されますが、Live Link Subject Nameからご自分のiPhoneを選択しましょう
そしてコンパイル、プレイを順にクリックすると、iPhoneで認識された自分の表情がカイト君に反映されます
【補足】
以前、Vtuberの表情に対応するシェイプキーの作製方法について解説しました
このとき、シェイプキーの名前は動作に応じて決定されていましたが、この動作の種類・名前についてはメッシュの項目から確認することができます
シェイプキーは、Unreal Engineにおいてはモーフターゲットと呼びます
カイト君のモーフターゲットの数値を動かしてみることで、どのような動作が起きるのかを確認してみましょう
例えば、browDownLeftの数字を0から1に変化させれば、眉毛が下に下がるはずです
このように動作と対応する名前を参考にしながら、Blenderにある自作キャラに対してシェイプキーを設定しておきましょう
カイト君を用いた動作確認ができたら、自作キャラの動作設定を3ステップかけて行っていきます(図4)
①「コンテンツ/ThirdPersonBP/自作キャラ名」のディレクトリにある、自作Vtuber本体のファイルを選択します
すると、Blenderで作製したシェイプキーがモーフターゲットとして一覧表示されます
browDownLeftなどといった各動作に紐づいた数値を動かし、対応する変化が3Dモデル上に反映されるかを確認しましょう
②続いては設定からプラグインの導入を行います
検索欄にarkitと入力し、Apple ARKitとApple ARKit Face Supportにチェックします
これら2つのプラグインに加えて、今度は検索欄にlive linkと入力し、Live Linkを有効にします
これで、自作シェイプキーは自動的にLive Linkに対応し、自分の表情がVtuberの表情に反映されます
③しかし、まだ終わりではありません
まだ、顔の傾きなどといったボーンの回転を伴う動作は、Vtuberの動作と関連付けられていません
そこで、このための作業を行っていきます
先ほどの①で開いたVtuberのファイルを右クリックします
表示されるメニューのスケルタルメッシュアクション下部から”作成する”を選択し、Animブループリントを左クリックしましょう
ここで新しくブループリント用ファイルが作られますので、「キャラクター名_BP」という名前に書き換えます
これでブループリントファイルの作製は終わりです
次回から本格的にVtuberのボーンの動作と人間の動作を対応付けていきます
コメントを残す
コメントを投稿するにはログインしてください。