※メールマガジン「小寺・西田の金曜ランチビュッフェ」2018年6月1日 Vol.175 ＜嵐の前は静かじゃない号＞より

5月の連休明けに日本でもオーダー可能となったOculus Goの人気は、今だ衰えないようだ。いわゆるアーリーアダプター向けのメディア記事が一周したところで、今度は一般ニュースメディアでも取り扱うようになってきている。これが一過性のブームに終わるのか、それともここをステップに新しいビジネスのウインドウが開くのかは、国産のコンテンツの充実度次第だろう。

大きく期待されるのは、スポーツやコンサート、ショーイベントなど、実写VR動画コンテンツの充実だ。ただし360度カメラで撮影しただけではダメで、キチンとした演出およびオーサリング、言うなればマネタイズまで含めたフォーマッティングが必要となるのは言うまでもない。

こうした実写VRコンテンツをサポートするのが、AdobeのAfterEffectsやPremiere Proといった動画系ツールである。

昨年6月にAdobeは、VR系プラグインを開発するMettle社のSkybox関連技術を買収した。

・最先端メディア分野におけるアドビの地位を強化

このプレスリリースにも登場するプロフェッショナルビデオ担当ディレクターのクリス・ボボティス氏が今回イベントのために初来日し、Adobe本社にてプレス向けの説明会を開催した。今回はそこで知り得た情報を共有しておこう。

・日本のAdobe本社で講演するプロフェッショナルビデオ担当ディレクターのクリス・ボボティス氏

 

没入型コンテンツは何が違うのか

元々Mettleという会社は、カナダのモントリオールにあるモーショングラフィックススタジオであり、映像処理用のプラグインを多数リリースしている。その中でもSkyBoxシリーズは、VR映像を処理するための7つのプラグインから構成される。

Adobeはこれらを吸収し、今後はAdobe Immersiveとして展開していく事になる。Immersiveとは「没入型」という意味で、HMDによるVRおよび180度、360度映像コンテンツ全般を指す言葉だという認識でいいだろう。

クリス・ボボティス氏は、こうしたImmersiveコンテンツ制作のポイントは、ストーリーの概念を考え直す必要があるという。これまでの映像制作では、まずフレーム(枠・構図)があり、360度の世界の中のどこをどのように切り出していくかで意味付けを行なっている。

一方Immersiveコンテンツでは、視聴者が自由なポジションや構図、視点で映像を見るため、カット割りによる注視や感情、体験がコントロールできなくなる。ある意味、視聴者は非常に集中力を欠くことになるわけだ。その中でどうやってユーザーの注意を引きつけ、誘導し、ストーリーを展開させていくのか。

ボボティス氏は、Immersive環境においては、「見える」よりも「聞こえる」ほうが大事だという。視界と違い、音は360度聴くことができる。これは人間に限らず生物にとっては危険察知のための重要な要素であり、死角の状況を把握するのに重要だ。したがって、ビジュアルは360度あるのにオーディオが360度ないと、非常に違和感があるのだという。

・VR収録用マイクとしてスタンダードとなっているゼンハイザーAMBEO VR MIC。右はこれと組み合わせて使えるTASCAMの4chレコーダ

 
先日のAdobe Maxで、オーディオ制作向けの新機能が発表された。ただしまだ開発中の技術であり、最終的にどのような形で製品に反映されるかはまだ未定だという。

これは360度環境を集音できるマイクを使った4トラックの音声の「方向」を、映像の「方向」とマッチングさせるための機能である。この機能では、オーディオ空間の中で鳴っている特定の音が、ビジュアル的に示される。これと360度の映像を編集画面上で一致させることで、絵と音の空間の位置合わせを、「見た目で」合わせることができる。

・画面上の4色のドットが、4トラックを演算して得られた音の方向を表わしている。この位置を映像内の音が出ている位置に合わせることで、画音の空間の位置を合わせていく

従来このような作業は、VR用HMDを付けて、さらにヘッドホンも付けて、人間が感覚で合わせるしかなかった。だが音の方向というのは、人間はそれほど完璧に判断できるわけではない。例えば部屋を移動しながらのショットでは、音源が自分の移動によってどの方向へ移ったのかといったことを、音を聴いただけで判断するのは困難である。こうした音源のポイントが視覚的に示されることで、マッチングがより楽に、確実になるわけだ。

 

3Dにおける喫緊の課題

実写VR映像の課題は、データが肥大化することである。現在主流なのは、4Kの360度映像だが、いくら4Kとは言え360度全球に展開すれば、実際に視聴者が見ることができる範囲はそこからの「切り出し」となるので、それほどの解像度にはならない。せいぜい720p程度だろう。部分切り出しでも十分な解像度を得るには、16Kぐらい必要なのではないかと言われている。

さらにこれが3Dのステレオ映像になれば、データ量は2倍になる。加えてデプスデータ(奥行き情報)やメッシュデータも加えていけば、データ量もさることながら、その管理コストも膨大なものとなり、クリエイティブな思考に割けるリソースが減少する。つまり、技術的には新しくても、面白くはないというコンテンツになってしまう。

こうしたことをデータフォーマットで解決できないか、というのが今後のテーマとなる。例えば3Dコンテンツ制作のために2台のカメラで撮影しても、立体視のためのデータは片側の実写データとデプス情報を組み合わせて、もう片側のデータをレンダリングによって作り出すことは可能だ。こうすることで、制作や配信に必要なデータ量を半分近くまで削減できる。

元々奥行き情報は、視聴者の移動を演算するのに必須だ。例えばOculus GoはXYZのローテーションしか検知しないが、Mirage Soloはゴーグル前方のセンサーによって、ユーザーの移動を検知できる。この位置移動による視界の変化を演算するために、ステレオイメージから奥行き情報を生成するわけだ。

・デプスデータを使って視点移動による視界の変化を演算するデモ

ストレージやインフラが十分な状況に追いつくまでは、片眼イメージ+デプスデータという格好で、プレイヤー側の演算処理に投げられるようなデータの持ち方というのは、現実的だろう。そしてこれらのデータを格納するコンテナ/データフォーマット形式を、VDF(Volumetric Data Format)と定義し、今後は標準フォーマットとして普及に努めていくという。

なお、このVDFフォーマットに対応するImmersiveコンテンツ用プラグインのパブリックベータ版が、Mettleのサイトで無償公開されている。

・Facebook Collaborates with Mettle for 360° Depth Related VR FX Software

facebookとMettleで共同開発したという技術をベースに7つのプラグインがある。AfterEffectsとPremiere Proで動作するが、将来的にVDFは、Adobe全製品で扱えるようになるはずだ。

少し前の3Dブームのおかげで、現在ステレオ撮影用のカメラやリグ、レンズなどはそこそこ揃っている。コンテンツ制作は、やってみて覚えるのが一番早いものだ。皆さんもお手持ちの機材で、テストしてみてはいかがだろうか。

 

小寺・西田の「金曜ランチビュッフェ」

2018年6月1日 Vol.175 ＜嵐の前は静かじゃない号＞ 目次

01 論壇【西田】
　メディアの変化で「音楽コンテンツの命」はどう変わったのか
02 余談【小寺】
　VRコンテンツをサポートするAdobeの戦略
03 対談【西田】
　丹治吉順さんに聞く「#私かわいい」の底にあるもの（3）
04 過去記事【西田】
　速度は正義……は非常識?!
05 ニュースクリップ
06 今週のおたより
07 今週のおしごと

コラムニスト小寺信良と、ジャーナリスト西田宗千佳がお送りする、業界俯瞰型メールマガジン。 家電、ガジェット、通信、放送、映像、オーディオ、IT教育など、2人が興味関心のおもむくまま縦横無尽に駆け巡り、「普通そんなこと知らないよね」という情報をお届けします。毎週金曜日12時丁度にお届け。1週ごとにメインパーソナリティを交代。   ご購読・詳細はこちらから！

その他の記事

	主役のいない世界ーーCESの変遷が示すこと（本田雅一）
	ピダハンとの衝撃の出会い（甲野善紀）
	「逃げる」というのは「努力しない」ということじゃないよ（家入一真）
	戸田真琴の青春を黒い雨で染める～『コクウ』（『ほくろの女は夜濡れる』）監督榊英雄＆主演戸田真琴ロング座談会（切通理作）
	広告が溢れるピカデリー・サーカスで広告が一切ない未来都市の光景を想像する（高城剛）
	週刊金融日記 第313号【カード自作とSpaced Repetitionによるパワフルな暗記メソッド、トランプさんに振り回される世界経済他】（藤沢数希）
	心のストッパーを外す方法（岩崎夏海）
	コロナ渦で大きく変わってしまったシアトルの街（高城剛）
	健康的な耳を取り戻す（高城剛）
	『外資系金融の終わり』著者インタビュー（藤沢数希）
	目的意識だけでは、人生の中で本当の幸せをつかむことはできない（名越康文）
	観光業の未来を考える（高城剛）
	快適な心地よい春を過ごすための用心（高城剛）
	ついにアメリカがペンス副大統領の大演説で対中対立の道筋がついてしまう（やまもといちろう）
	「爆買いエフェクト」と沖縄が抱えるジレンマ（高城剛）