VTuberとのリアルタイムMRライブが可能に！新たなエンタメ体験を紹介

VTuberのファンにとって夢のような体験が現実になりました。株式会社stuとANYCOLORが共同開発した新しいMRライブシステムが、VTuberに特化した新たなライブ体験を提供します。2025年1月8日から9日にかけて行われた「ANYCOLOR/にじさんじ新技術実証実験イベント ver.2025.01」では、このシステムの実証実験が行われ、多くの参加者がその新しい体験を享受しました。

MR（複合現実）でのライブ体験

従来、VTuberのパフォーマンスは、会場のLEDモニターに映し出された映像を観客が観るという形が一般的でした。しかし、今回のシステムでは、ヘッドマウントディスプレイやスマートフォンを通じ、観客が自分の視点でリアルタイムにVTuberのパフォーマンスを楽しむことができる新しい形のエンターテイメントが現れました。これにより、VTuberと観客がリアルタイムで交流できるようになり、ライブの魅力がさらに増しました。

具体的には、音声はイヤホンではなく、会場のスピーカーから出力されるように設計されており、臨場感あふれる体験が提供されています。ちなみに、実証実験では、にじさんじ所属の人気タレント「加賀美ハヤト」とMCの「百花繚乱」がトークや音楽ライブを行いました。

リアルタイムMRライブシステムのメリット

このシステムが持つ大きな特徴は、VTuberがまるで目の前に存在しているかのような没入感を提供することです。動きのリアルタイム性や、観客とのコミュニケーションのスムーズさは、このシステムの技術的な革新によるものです。

データ伝送技術の新たな試み

リアルタイムでのコミュニケーションを実現するためには、キャラクターの動きや照明の演出信号を、複数のデバイスに低遅延で伝送する必要があります。そこで、ANYCOLORとstuは、VTuberライブ用に特化したデータ圧縮技術を開発し、映像の遅延を最小限に抑えた新しい伝送システムを導入しました。

映像合成技術の革新

また、映像合成においても高度な課題がありました。実写とCGの合成がリアルタイムで行われ、正確な照明や舞台美術が必要でした。しかし、従来のAR/MR技術ではその実現が困難でした。この問題を克服するため、ライブイベント向けの新しい合成手法が開発され、音や照明と連動するVTuber専用のMR合成技術が実現しました。

確立されたネットワークインフラ

さらに、安定したデータ伝送を行うために会場のネットワークを再設計しました。一般的な無線環境では大量のデバイスへのリアルタイムでのデータ送受信が難しいため、新しいネットワーク機材の導入によりデータの流れを最適化。オペレーターの負担も軽減し、より良い体験を提供しています。

今後の展望

今回の開発により、VTuberとの距離が一気に縮まり、観客は新たな形式でのコンテンツを楽しむことができるようになりました。この技術はライブイベントにとどまらず、ゲーム、展示会、テーマパーク、ショッピングモールなど、様々なエンターテインメント分野に応用されることが期待されます。

私たちは、この技術の進化を通じて国内のキャラクターコンテンツ全体の発展を支援し続けていく所存です。

次回のイベントでは、ぜひこの新たな体験を楽しんでみてください！