note読者諸賢、ごきげんよう。ここに久闊を叙す。
日経イノベーション・ラボ上席研究員の山田です。

前回の記事では国立新美術館で開催中の「オルセー美術館特別企画　ピエール・ボナール展」で展示されているArt Immersion Technology(AIT)の現地での取材や、世界三大ピエールについて書かせて頂きました。

AITは8K 360度動画の撮影、独自のAIを用いた画風変換技術、5面プロジェクションマッピングなどの技術を組み合わせ、画家が絵を描いた、まさにその場所に立つ仮想体験ができる新しい展示手法です。

画家がどうして風景の中からここを切り抜いたのか、この風景の後ろには何が広がっていたのか。実際にその場所に立つ事で、画家の創作プロセスについて理解を深める事ができるはずです。

今回は前回に続きAITの技術的な側面についてお話させて頂きます。

もくじ
1.「ボナール風」とは
2.画風変換について
3.ボナ度を求め、作業は進む
4.ついに展示作業へ
5.これからのAIT

1. ボナール風とは

AITには様々な要素技術が詰まっているのですが、今回最も時間がかかったのはボナールの画風を再現するAIの作成でした。ある画像を絵画風に変換するような技術はカメラアプリなどでも一般的ですよね。この技術は画風変換、スタイル変換などと呼ばれます。

ある画像をボナール風に変換すると言えば、皆様もやりたい事はなんとなくイメージできる事でしょう。

例えばある風景の写真がボナールのような色彩で変換される。
ある人物の写真がボナールの肖像画のように変換される。
白い猫の写真の足が伸びる、かどうかはさておき、
誰もがなんとなく「ボナール風」をイメージできるのではないでしょうか。

さて、ここで改めてnoet読者諸賢に想像して頂きたい。
そもそも「ボナール風」とはなんなのでしょう？
ある画像がボナール風なのか、果たしてそうではないのか。
その境界はどこにあるのでしょうか？

かつてマルセル・デュシャンが既製品の便器にサインをして展覧会に出展した時、多くの鑑賞者は「こんなものは芸術ではない！」と批判をしました。
しかしその批判は「それでは芸術とは何なのか？」という自らに対する問いを内包する事となります。

芸術の定義とは一体なんなのか。
ボナール風と非ボナール風の境界はどこにあるのか。
ミラノ風ドリアはミラノにあるのか。
ドーナツの穴を残してドーナツを食べる事は出来るのか。
様々な問いを僕の心の中のボナールが投げかけます。

変換された画像を見て「これはあまりボナール風じゃないな」と思うと同時に、「それではボナール風とは一体なんなのかね...？」と心の中のボナールが何度も問いかけてきました。

今回は実際にボナールが絵を描いた場所の8K 360度動画とボナールの絵という正解のセットがあります。つまりその場所の写真をボナールの絵に近づける事ができれば、ボナ度を測れるのではないか。そんな定義からこのAI作成プロジェクトはスタートしたのです。

2.画風変換について

画風変換は多くの先行研究が存在し、利用可能なライブラリも多く存在します。まずは各種ライブラリを実際に動かしてみるところから調査を始めました。

世界中の様々な画風変換の情報を収集し、そのほとんどを試したのですが、
カジュアルに楽しむには十分なものの、扱える画像解像度に制限があったり処理時間が長すぎるなど細かな問題があるものが大半でした。

画風変換界の中で有名な論文がImage Style Transfer Using Convolutional Neural Networks(Gatys et al. 2016)です。多くの応用研究を生み出したのでご存知の人も多いかもしれません。今回のAI作成にあたってもこの論文を大いに参考にさせて頂きました。

改めて画風変換を説明すると上記のように、左上の「オリジナル画像」に対して様々な画風の「スタイル画像」を反映させる事でオリジナル画像を変換する手法です。

オリジナル画像とスタイル画像が同じようなサイズ、比率である場合、画風変換はわりとうまく行きます。しかし今回は8K 360度の非常に大きな解像度の画像であり、オリジナル画像をスタイル画像に近づけていく手法の画風変換は困難です。

一度の処理ではサイズが大きすぎ、かと言って分割して処理を行うと、局所的に類似したパターンが繰り返される事になるため、全体としては大きな違和感を生み出す原因となります。どのような処理を行い違和感のない全体像を作っていくかは大きな課題でした。

8K 360度の画像を平面に投影する手法は様々な方法があるのですが、今回使ったのは正距円筒図法と呼ばれる手法です。地球を平面で表すメルカトル図法の一種で、地図と同じく周辺部分がゆがんでおり、周辺は面積が大きい割に情報が少なくなる傾向があります。

単純にこのように展開された画像を使うと、投影時に周辺部分の画風変換の品質が低くなる傾向があるため、プロジェクション後を想定し、4面の壁面、天井、床の6画像に分け、それぞれに対して変換を行う事で多少問題は軽減されました。細かな工夫の積み重ねが大事なのです。

3.ボナ度を求めて

今回は8K 360度の動画を扱うためフレーム数を考慮すると処理すべき画素数は膨大なものになります。処理を迅速に行うためにGPUを効率的に利用する必要がありましたが、画風変換は処理サイズがGPUメモリに依存するため、
処理可能な画像サイズの上限を求め、ライブラリが動作するサイズにオリジナル画像やスタイル画像を分割するなど様々な工夫をする必要がありました。

しかしあまり細かいスタイル画像にしてしまうと、8K解像度に適用するとスタイル変化の影響がほとんど失われてしまうという結果になります。スタイル変化と処理する画像サイズの大きさはトレードオフの関係にあるため最適なスタイル画像作りも重要な仕事必要でした。

色の変化を重要視すると形状の変化はあまり起きない。
色を取るか形をとるか。
そのうち心の中では色彩原理主義 vs 形状変化連合の合戦がはじまります。どちらが勝つのか、一進一退の攻防ですがどちらが勝ってもいけないのです。色彩も形状もうまく調和する必要があります。

出力される画像を確認し、「ボナっているか、ボナっていないか」と自問自答を繰り返す日々。

「あ、この色かなりボナ度が高くない？」
「この木のあたりの形状はボナりが足りないな...」

様々な試行錯誤を繰り返して徐々にボナ度は上がっていったのです。

4.ついに展示作業

そしてすべての準備が整った後はいよいよAIT展示室設営の作業です。
プロジェクションマッピングは単にプロジェクターで投影するだけではなく非常に繊細な技術です。

展示を行う部屋の広さ、壁の高さ、プロジェクターの焦点距離、光量、投影角度。そのすべてを事前にシミュレーションした上でコンテンツを制作し、プロジェクターを設置する場所を厳密に計算する必要があります。プロジェクター設置のための什器は事前に設計して設置する必要があるため、その場で動かしながら決める事はできないのです。

設置した後は歪みの調整です。レンズの歪み、壁の歪み、床の歪み、ほんの少しの歪みが重なり合って人の目には違和感となります。

どんなレンズでも、どんな強固な壁であっても歪みは発生するため、最終的には投影しながら人の目で違和感がないように水平、垂直を取る必要があるのです。

そしてようやく壁に投影しながらの確認となります。
しかし会期中にも温度や振動で少しずつプロジェクターの位置がずれたり、壁が歪んて行くため調整には細心の注意が必要になります。

AITはアプリ上で完結するデジタルコンテンツではないため、最後の仕上げとしてコンテンツに合わせて現実空間をキャリブレーションする必要があるのです。

5.これから

AITは仮想現実を複数人数で同時体験できる展示です。
しかし、ヘッドマウントディスプレイをかぶったり、スマートフォンをかざす必要はありません。目に見える形でのテクノロジーの介在は、美術鑑賞におけるユーザー体験を損ないます。

今後VR/ARはパーソナルな体験から、ソーシャルな体験へと変化していく事でしょう。

AITでも今後は3Dプリンタを使って絵画の中にあるモノを再現したり、時間や季節による見え方の変化の表現などに挑戦していきたいと考えています。

「オルセー美術館特別企画　ピエール・ボナール展」は2018年12月17日までです。みなさま是非足を運んでみてください。

山田剛（日経イノベーション・ラボ　上席研究員）