小寺・西田の「金曜ランチビュッフェ」より

VRコンテンツをサポートするAdobeの戦略

※メールマガジン「小寺・西田の金曜ランチビュッフェ」2018年6月1日 Vol.175 <嵐の前は静かじゃない号>より

5月の連休明けに日本でもオーダー可能となったOculus Goの人気は、今だ衰えないようだ。いわゆるアーリーアダプター向けのメディア記事が一周したところで、今度は一般ニュースメディアでも取り扱うようになってきている。これが一過性のブームに終わるのか、それともここをステップに新しいビジネスのウインドウが開くのかは、国産のコンテンツの充実度次第だろう。

大きく期待されるのは、スポーツやコンサート、ショーイベントなど、実写VR動画コンテンツの充実だ。ただし360度カメラで撮影しただけではダメで、キチンとした演出およびオーサリング、言うなればマネタイズまで含めたフォーマッティングが必要となるのは言うまでもない。

こうした実写VRコンテンツをサポートするのが、AdobeのAfterEffectsやPremiere Proといった動画系ツールである。

昨年6月にAdobeは、VR系プラグインを開発するMettle社のSkybox関連技術を買収した。

最先端メディア分野におけるアドビの地位を強化

このプレスリリースにも登場するプロフェッショナルビデオ担当ディレクターのクリス・ボボティス氏が今回イベントのために初来日し、Adobe本社にてプレス向けの説明会を開催した。今回はそこで知り得た情報を共有しておこう。


・日本のAdobe本社で講演するプロフェッショナルビデオ担当ディレクターのクリス・ボボティス氏

 

没入型コンテンツは何が違うのか

元々Mettleという会社は、カナダのモントリオールにあるモーショングラフィックススタジオであり、映像処理用のプラグインを多数リリースしている。その中でもSkyBoxシリーズは、VR映像を処理するための7つのプラグインから構成される。

Adobeはこれらを吸収し、今後はAdobe Immersiveとして展開していく事になる。Immersiveとは「没入型」という意味で、HMDによるVRおよび180度、360度映像コンテンツ全般を指す言葉だという認識でいいだろう。

クリス・ボボティス氏は、こうしたImmersiveコンテンツ制作のポイントは、ストーリーの概念を考え直す必要があるという。これまでの映像制作では、まずフレーム(枠・構図)があり、360度の世界の中のどこをどのように切り出していくかで意味付けを行なっている。

一方Immersiveコンテンツでは、視聴者が自由なポジションや構図、視点で映像を見るため、カット割りによる注視や感情、体験がコントロールできなくなる。ある意味、視聴者は非常に集中力を欠くことになるわけだ。その中でどうやってユーザーの注意を引きつけ、誘導し、ストーリーを展開させていくのか。

ボボティス氏は、Immersive環境においては、「見える」よりも「聞こえる」ほうが大事だという。視界と違い、音は360度聴くことができる。これは人間に限らず生物にとっては危険察知のための重要な要素であり、死角の状況を把握するのに重要だ。したがって、ビジュアルは360度あるのにオーディオが360度ないと、非常に違和感があるのだという。


・VR収録用マイクとしてスタンダードとなっているゼンハイザーAMBEO VR MIC。右はこれと組み合わせて使えるTASCAMの4chレコーダ

 
先日のAdobe Maxで、オーディオ制作向けの新機能が発表された。ただしまだ開発中の技術であり、最終的にどのような形で製品に反映されるかはまだ未定だという。

これは360度環境を集音できるマイクを使った4トラックの音声の「方向」を、映像の「方向」とマッチングさせるための機能である。この機能では、オーディオ空間の中で鳴っている特定の音が、ビジュアル的に示される。これと360度の映像を編集画面上で一致させることで、絵と音の空間の位置合わせを、「見た目で」合わせることができる。

・画面上の4色のドットが、4トラックを演算して得られた音の方向を表わしている。この位置を映像内の音が出ている位置に合わせることで、画音の空間の位置を合わせていく

従来このような作業は、VR用HMDを付けて、さらにヘッドホンも付けて、人間が感覚で合わせるしかなかった。だが音の方向というのは、人間はそれほど完璧に判断できるわけではない。例えば部屋を移動しながらのショットでは、音源が自分の移動によってどの方向へ移ったのかといったことを、音を聴いただけで判断するのは困難である。こうした音源のポイントが視覚的に示されることで、マッチングがより楽に、確実になるわけだ。

 

3Dにおける喫緊の課題

実写VR映像の課題は、データが肥大化することである。現在主流なのは、4Kの360度映像だが、いくら4Kとは言え360度全球に展開すれば、実際に視聴者が見ることができる範囲はそこからの「切り出し」となるので、それほどの解像度にはならない。せいぜい720p程度だろう。部分切り出しでも十分な解像度を得るには、16Kぐらい必要なのではないかと言われている。

さらにこれが3Dのステレオ映像になれば、データ量は2倍になる。加えてデプスデータ(奥行き情報)やメッシュデータも加えていけば、データ量もさることながら、その管理コストも膨大なものとなり、クリエイティブな思考に割けるリソースが減少する。つまり、技術的には新しくても、面白くはないというコンテンツになってしまう。

こうしたことをデータフォーマットで解決できないか、というのが今後のテーマとなる。例えば3Dコンテンツ制作のために2台のカメラで撮影しても、立体視のためのデータは片側の実写データとデプス情報を組み合わせて、もう片側のデータをレンダリングによって作り出すことは可能だ。こうすることで、制作や配信に必要なデータ量を半分近くまで削減できる。

元々奥行き情報は、視聴者の移動を演算するのに必須だ。例えばOculus GoはXYZのローテーションしか検知しないが、Mirage Soloはゴーグル前方のセンサーによって、ユーザーの移動を検知できる。この位置移動による視界の変化を演算するために、ステレオイメージから奥行き情報を生成するわけだ。

・デプスデータを使って視点移動による視界の変化を演算するデモ

ストレージやインフラが十分な状況に追いつくまでは、片眼イメージ+デプスデータという格好で、プレイヤー側の演算処理に投げられるようなデータの持ち方というのは、現実的だろう。そしてこれらのデータを格納するコンテナ/データフォーマット形式を、VDF(Volumetric Data Format)と定義し、今後は標準フォーマットとして普及に努めていくという。

なお、このVDFフォーマットに対応するImmersiveコンテンツ用プラグインのパブリックベータ版が、Mettleのサイトで無償公開されている。

Facebook Collaborates with Mettle for 360° Depth Related VR FX Software

facebookとMettleで共同開発したという技術をベースに7つのプラグインがある。AfterEffectsとPremiere Proで動作するが、将来的にVDFは、Adobe全製品で扱えるようになるはずだ。

少し前の3Dブームのおかげで、現在ステレオ撮影用のカメラやリグ、レンズなどはそこそこ揃っている。コンテンツ制作は、やってみて覚えるのが一番早いものだ。皆さんもお手持ちの機材で、テストしてみてはいかがだろうか。

 

小寺・西田の「金曜ランチビュッフェ

2018年6月1日 Vol.175 <嵐の前は静かじゃない号> 目次

01 論壇【西田】
 メディアの変化で「音楽コンテンツの命」はどう変わったのか
02 余談【小寺】
 VRコンテンツをサポートするAdobeの戦略
03 対談【西田】
 丹治吉順さんに聞く「#私かわいい」の底にあるもの(3)
04 過去記事【西田】
 速度は正義……は非常識?!
05 ニュースクリップ
06 今週のおたより
07 今週のおしごと

12コラムニスト小寺信良と、ジャーナリスト西田宗千佳がお送りする、業界俯瞰型メールマガジン。 家電、ガジェット、通信、放送、映像、オーディオ、IT教育など、2人が興味関心のおもむくまま縦横無尽に駆け巡り、「普通そんなこと知らないよね」という情報をお届けします。毎週金曜日12時丁度にお届け。1週ごとにメインパーソナリティを交代。   ご購読・詳細はこちらから!

その他の記事

なぜ、旅人たちは賢者のような眼をしているのか–旅こそが最良のソロタイム(名越康文)
女の体を食い物にする「脅し系ナチュラル」との戦い方(若林理砂)
津田大介×石田衣良 対談<前編>:メルマガは「アナログ」なメディアである(津田大介)
変化のベクトル、未来のコンパス~MIT石井裕教授インタビュー 後編(小山龍介)
思い込みと感情で政治は動く(やまもといちろう)
「言論の自由」と「暴力反対」にみる、論理に対するかまえの浅さ(岩崎夏海)
僕がザハ案の国立競技場の建設に賛成していた、たった一つの理由(岩崎夏海)
「有休を使い切ったうえで生理休暇って、アリなんでしょうか?」(城繁幸)
あらためて「アメリカ放題」を解説する(西田宗千佳)
ようやく到着 ポータブル原稿書きマシン「Gemini」(小寺信良)
今週の動画「飇拳(ヒョウケン)」(甲野善紀)
アマゾンマナティを追いかけて〜赤ちゃんマナティに授乳する(川端裕人)
「暗い心」から脱するための、あまりにもシンプルな指針(名越康文)
Amazonプライムビデオの強みとは(小寺信良)
「ローリング・リリース」の苦悩(西田宗千佳)

ページのトップへ