「ミチコンPlus」を構成する技術
-「ミチコンPlus」ではどのような技術を主に使われているのでしょうか？
AIの技術の一つであるディープラーニングを活用した自社システムの「VisionPose」
で人間の骨格情報を検出して、3DCGキャラクターに動きを当てはめています。
VisionPoseはカメラ２台の視差を利用して深度を検出をしていましたが、Single3Dはカメラ１つだけで深度情報を解析し、人の動きを検出しています。
カメラ“1つ”で人間の骨格を検出する「VisionPose Single3D(以下 Single3D)」のiOS向けSDKを発売
-AI技術を利用することで、スマホ１台でモーションキャプチャーという高度な技術を実現しているわけですね。
-SNS上でフォロワーの方々からたくさんの意見をもらったとのことですが、今回実現は難しかったけれど次回搭載をしたいアイディアなどありましたか？
ミチコンをリリースさせていただいた際にいただいた、主なご意見としては、キャラを変更したいというのと、モーションデータを書き出したい、iPadに対応して欲しい、あとはAndroidも対応して欲しい、の主に4つですが、残念ながらAndroidはハードのスペック不足や端末数の関係で新作待ちです。ちょうど良い端末がでてくれるといいんですけど。あとの3つは実現できています。
今後はAndroidの対応は実現したいですし、他の意見として要望のあった、上半身のみの認識がしたいですね。
-上半身だけでの認識はできないのですか？
現状ですと、映っていない下半身の方が崩れてしまったりするので、今後やっていきたい部分ですね。
上半身だけ動かせるVTuberの配信アプリはいくつかすでにあるのですが、弊社は全身を検出できるところにユーザーの皆さまは新しさを感じてくれています。
でも配信をしようと思うと一人でインカメを使って配信することが多いのですが、やはり顔のアップもやりたいと思うんですよね。上半身のみの検出はすでに開発が進んでいて、一応できそうなところまではきているので、今後アップデートで応えていきたいです。
また今回もユーザーの皆さまの反応をみて追加する内容を考えていきたいと思います。
既存動画からの動作トレースも可能に
-SNSで意見をもらえるのはいいですね。アンケートを書き込むより、どの意見が重要で、実現できるかをお客様となる方々に応えていける。
そうですね。ユーザーの皆さまのリアルな声を聞けるものとして、活用しています。
-「ミチコンPlus」は動きを表情に反映することもできますか？
表情の反映は現状できないです。今後ユーザーからの要望が多ければ実装について検討をすることも考えております。
-端末に搭載されたカメラでは、表情の検出は難しい、ということでしょうか？
顔をトレースするということは技術的には可能ですが、VisionPoseという製品はあくまでも骨格を検出するシステムで、表情の検出となるとまた別のシステムが必要となります。リアルタイム性が損なわれる可能性もあり、検討段階です。
ただ、表情ではありませんが、リップシンクの機能は付けました。こちらは要望があったわけではないですが、配信に使うならあった方がいいかなと思い、搭載した機能です。
-いいですね。キャラクターの口が動くと、より自然な感じが出せそうです。アプリの操作は難しいですか？
機能もシンプルですし、簡単ですよ。
UIは何度も使いやすい形を検討したので、そこまで難しくはないと思います。
こちらにデモを用意しておりますので、是非ご体験ください。
-ありがとうございます。では早速、体験させていただきます！