※メールマガジン「小寺・西田の金曜ランチビュッフェ」2018年6月1日 Vol.175 ＜嵐の前は静かじゃない号＞より

5月の連休明けに日本でもオーダー可能となったOculus Goの人気は、今だ衰えないようだ。いわゆるアーリーアダプター向けのメディア記事が一周したところで、今度は一般ニュースメディアでも取り扱うようになってきている。これが一過性のブームに終わるのか、それともここをステップに新しいビジネスのウインドウが開くのかは、国産のコンテンツの充実度次第だろう。

大きく期待されるのは、スポーツやコンサート、ショーイベントなど、実写VR動画コンテンツの充実だ。ただし360度カメラで撮影しただけではダメで、キチンとした演出およびオーサリング、言うなればマネタイズまで含めたフォーマッティングが必要となるのは言うまでもない。

こうした実写VRコンテンツをサポートするのが、AdobeのAfterEffectsやPremiere Proといった動画系ツールである。

昨年6月にAdobeは、VR系プラグインを開発するMettle社のSkybox関連技術を買収した。

・最先端メディア分野におけるアドビの地位を強化

このプレスリリースにも登場するプロフェッショナルビデオ担当ディレクターのクリス・ボボティス氏が今回イベントのために初来日し、Adobe本社にてプレス向けの説明会を開催した。今回はそこで知り得た情報を共有しておこう。

・日本のAdobe本社で講演するプロフェッショナルビデオ担当ディレクターのクリス・ボボティス氏

 

没入型コンテンツは何が違うのか

元々Mettleという会社は、カナダのモントリオールにあるモーショングラフィックススタジオであり、映像処理用のプラグインを多数リリースしている。その中でもSkyBoxシリーズは、VR映像を処理するための7つのプラグインから構成される。

Adobeはこれらを吸収し、今後はAdobe Immersiveとして展開していく事になる。Immersiveとは「没入型」という意味で、HMDによるVRおよび180度、360度映像コンテンツ全般を指す言葉だという認識でいいだろう。

クリス・ボボティス氏は、こうしたImmersiveコンテンツ制作のポイントは、ストーリーの概念を考え直す必要があるという。これまでの映像制作では、まずフレーム(枠・構図)があり、360度の世界の中のどこをどのように切り出していくかで意味付けを行なっている。

一方Immersiveコンテンツでは、視聴者が自由なポジションや構図、視点で映像を見るため、カット割りによる注視や感情、体験がコントロールできなくなる。ある意味、視聴者は非常に集中力を欠くことになるわけだ。その中でどうやってユーザーの注意を引きつけ、誘導し、ストーリーを展開させていくのか。

ボボティス氏は、Immersive環境においては、「見える」よりも「聞こえる」ほうが大事だという。視界と違い、音は360度聴くことができる。これは人間に限らず生物にとっては危険察知のための重要な要素であり、死角の状況を把握するのに重要だ。したがって、ビジュアルは360度あるのにオーディオが360度ないと、非常に違和感があるのだという。

・VR収録用マイクとしてスタンダードとなっているゼンハイザーAMBEO VR MIC。右はこれと組み合わせて使えるTASCAMの4chレコーダ

 
先日のAdobe Maxで、オーディオ制作向けの新機能が発表された。ただしまだ開発中の技術であり、最終的にどのような形で製品に反映されるかはまだ未定だという。

これは360度環境を集音できるマイクを使った4トラックの音声の「方向」を、映像の「方向」とマッチングさせるための機能である。この機能では、オーディオ空間の中で鳴っている特定の音が、ビジュアル的に示される。これと360度の映像を編集画面上で一致させることで、絵と音の空間の位置合わせを、「見た目で」合わせることができる。

・画面上の4色のドットが、4トラックを演算して得られた音の方向を表わしている。この位置を映像内の音が出ている位置に合わせることで、画音の空間の位置を合わせていく

従来このような作業は、VR用HMDを付けて、さらにヘッドホンも付けて、人間が感覚で合わせるしかなかった。だが音の方向というのは、人間はそれほど完璧に判断できるわけではない。例えば部屋を移動しながらのショットでは、音源が自分の移動によってどの方向へ移ったのかといったことを、音を聴いただけで判断するのは困難である。こうした音源のポイントが視覚的に示されることで、マッチングがより楽に、確実になるわけだ。

 

3Dにおける喫緊の課題

実写VR映像の課題は、データが肥大化することである。現在主流なのは、4Kの360度映像だが、いくら4Kとは言え360度全球に展開すれば、実際に視聴者が見ることができる範囲はそこからの「切り出し」となるので、それほどの解像度にはならない。せいぜい720p程度だろう。部分切り出しでも十分な解像度を得るには、16Kぐらい必要なのではないかと言われている。

さらにこれが3Dのステレオ映像になれば、データ量は2倍になる。加えてデプスデータ(奥行き情報)やメッシュデータも加えていけば、データ量もさることながら、その管理コストも膨大なものとなり、クリエイティブな思考に割けるリソースが減少する。つまり、技術的には新しくても、面白くはないというコンテンツになってしまう。

こうしたことをデータフォーマットで解決できないか、というのが今後のテーマとなる。例えば3Dコンテンツ制作のために2台のカメラで撮影しても、立体視のためのデータは片側の実写データとデプス情報を組み合わせて、もう片側のデータをレンダリングによって作り出すことは可能だ。こうすることで、制作や配信に必要なデータ量を半分近くまで削減できる。

元々奥行き情報は、視聴者の移動を演算するのに必須だ。例えばOculus GoはXYZのローテーションしか検知しないが、Mirage Soloはゴーグル前方のセンサーによって、ユーザーの移動を検知できる。この位置移動による視界の変化を演算するために、ステレオイメージから奥行き情報を生成するわけだ。

・デプスデータを使って視点移動による視界の変化を演算するデモ

ストレージやインフラが十分な状況に追いつくまでは、片眼イメージ+デプスデータという格好で、プレイヤー側の演算処理に投げられるようなデータの持ち方というのは、現実的だろう。そしてこれらのデータを格納するコンテナ/データフォーマット形式を、VDF(Volumetric Data Format)と定義し、今後は標準フォーマットとして普及に努めていくという。

なお、このVDFフォーマットに対応するImmersiveコンテンツ用プラグインのパブリックベータ版が、Mettleのサイトで無償公開されている。

・Facebook Collaborates with Mettle for 360° Depth Related VR FX Software

facebookとMettleで共同開発したという技術をベースに7つのプラグインがある。AfterEffectsとPremiere Proで動作するが、将来的にVDFは、Adobe全製品で扱えるようになるはずだ。

少し前の3Dブームのおかげで、現在ステレオ撮影用のカメラやリグ、レンズなどはそこそこ揃っている。コンテンツ制作は、やってみて覚えるのが一番早いものだ。皆さんもお手持ちの機材で、テストしてみてはいかがだろうか。

 

小寺・西田の「金曜ランチビュッフェ」

2018年6月1日 Vol.175 ＜嵐の前は静かじゃない号＞ 目次

01 論壇【西田】
　メディアの変化で「音楽コンテンツの命」はどう変わったのか
02 余談【小寺】
　VRコンテンツをサポートするAdobeの戦略
03 対談【西田】
　丹治吉順さんに聞く「#私かわいい」の底にあるもの（3）
04 過去記事【西田】
　速度は正義……は非常識?!
05 ニュースクリップ
06 今週のおたより
07 今週のおしごと

コラムニスト小寺信良と、ジャーナリスト西田宗千佳がお送りする、業界俯瞰型メールマガジン。 家電、ガジェット、通信、放送、映像、オーディオ、IT教育など、2人が興味関心のおもむくまま縦横無尽に駆け巡り、「普通そんなこと知らないよね」という情報をお届けします。毎週金曜日12時丁度にお届け。1週ごとにメインパーソナリティを交代。   ご購読・詳細はこちらから！

その他の記事

	「直らない癖」をあっという間に直す方法（若林理砂）
	部屋は「あなた」である――掃除をするか、旅に出るか（名越康文）
	なぜ母は、娘を殺した加害者の死刑執行を止めようとしたのか？～ 映画『HER MOTHER 娘を殺した死刑囚との対話』佐藤慶紀監督インタビュー（切通理作）
	浜松の鰻屋で感じた「食べに出かける」食事の楽しみと今後の日本の食文化のヒント（高城剛）
	ITによって失ったもの（小寺信良）
	準備なしに手が付けられる、ScanSnapの新作、「iX1500」（小寺信良）
	コタツ記事問題（やまもといちろう）
	最近ハゲ関連が熱い、あるいは新潟日報と報道の問題について（やまもといちろう）
	隣は「どうやって文字入力する」人ぞ（西田宗千佳）
	ネットによる社会の分断は、社会の知恵である「いい塩梅」「いい湯加減」を駄目にする（やまもといちろう）
	少ない金で豊かに暮らす–クローゼットから消費を見直せ（紀里谷和明）
	インドのバンガロール成長の秘密は「地の利」にあり（高城剛）
	クラウドファンディングの「負け戦」と「醍醐味」（西田宗千佳）
	所得が高い人ほど子どもを持ち、子どもを持てない男性が4割に迫る世界で（やまもといちろう）
	ブラック企業に欠けているのは「倫理」ではなく「合理性」！？　ーーホットヨガスタジオ「LAVA」急成長を支えた人材育成戦略（鷲見貴彦）