BLOG
2018年04月24日 10時22分 JST | 更新 2018年04月24日 10時22分 JST

「記憶の解凍」:白黒写真のニューラルネットワークによる自動色付け

デジタルアースや人工知能技術を応用して,この試みを進めてきました。

渡邉英徳研究室は,4月より東京大学大学院・情報学環に移籍しました。首都大学東京のメンバーのうち4名も一緒にお引っ越し。ようやく環境の変化に慣れてきたところです。

今回の記事では,ここ1年半のあいだ取り組んできた「ニューラルネットワーク(人工知能技術)による白黒写真の自動色付け」による「記憶の解凍」の活動について説明します。

これは,100年以上前の日本,1908年にArnold Gentheによって撮影された写真です。オリジナルの白黒写真は,アメリカ議会図書館のデジタルアーカイブで公開されています。右側は,早稲田大学の飯塚・シモセラ・石川先生のチームが公開しているAI技術「ディープネットワークを用いた白黒写真の自動色付け」でカラー化したのち,さらに画像処理ソフトによる色補正を加えたものです。

左側の白黒写真では背景と同化し,静止していた人物が,右側のカラー化写真では息づきを得て,前景に浮かび上がってくるような印象を受けないでしょうか。カラー化することによって,一世紀前の「過去」を生きた人々が,「現在」を生きる私たちと同じく,人間であったことが強調されます。最新技術でつくりだした「過去にひらく窓」を通して,向こう側の人々に思わず語りかけたくなるような衝動にかられます。

さらに,こうした色付け写真をツイートすると,リツイート,リプライ,いいねを含む多くの反響があります。例えばこの写真は,現在までに2400回以上リツイートされ,4500以上のイイネが付いています。

また,たくさんの方々から,さまざまなリプライが付いています。こうしたコミュニケーションはおそらく,アメリカ議会図書館のデジタルアーカイブの奥底で「凍っていた」白黒写真のデータからは,得られなかったものではないでしょうか。

「凍って」いた資料の印象を人工知能技術で「溶かし」,ソーシャルメディアのタイムラインに「流す」ことによって,人々の対話が生まれています。このプロセスは,ケヴィン・ケリーが「〈インターネット〉の次に来るもの 未来を決める12の法則」で述べた「FLOWING」のコンセプトとも符号しています。

われわれの関心は,形のある品々から手に触れられないコピーのようなモノの流れに移っている。モノを構成する物質だけでなく,その非物質的な配置やデザイン,さらにはこちらの欲求に応じて適応し流れていくことに,われわれは価値を見い出すのだ。

われわれは常にツイッターの流れやフェイスブックのウォールに流れる投稿を注視している。写真や映画や音楽をストリーミングで楽しんでいる。(中略)流れの中のある瞬間に対してタグ付けしたり,「いいね!」や「お気に入り」を付けたりしている。

ここまでに述べたような「社会に"ストック"されていた資料を情報デザインによって"フロー"化し,そこから創発したコミュニケーションによって,過去を未来に継承する営み」のことを,私たちは「記憶の解凍(Reboot Memories)」と呼んでいます。

私たちの研究室では,デジタルアースや人工知能技術を応用して,この試みを進めてきました。

2011年に発表した「ヒロシマ・アーカイブ」などの"多元的デジタルアーカイブズ"についても,この「記憶の解凍」のコンセプトに基づいて説明することができます。デジタル「アーカイブ」から,身の回りの「フロー」へ。技術とコンテンツが社会に果たす役割は,時代にあわせて,少しづつ進化していきます。

こうした「記憶の解凍」の成り立ちについては「立命館平和研究(立命館大学国際平和ミュージアム紀要)第19号」の巻頭論文で詳しく解説しています。以下はCC-BYで公開している草稿へのリンクです。ぜひご活用ください。

以下のツイートは,2016年10月30日に,私がはじめて早稲田大学のチームのカラー化技術を試した際に,驚きを込めてつぶやいたものです。

その後,このサービスにどっぷりハマり,「ニューラルネットワークによる自動色付け」という注釈付きで,日々カラー化写真のツイートを続けてきました。その間,戦前〜戦後の呉にまつわる写真の色付けを通して,「この世界の片隅に」の片渕須直監督との交流も生まれるなど,活動は多方面に広がっています。

呉の写真のカラー化,その後の片渕監督とのやり取りについては,以下のTogetterまとめをご覧ください。

この活動を続けるなかで生まれたのが「記憶の解凍」のコンセプトです。特に,断絶された過去と現在をつなぐことを意図した「○○年前の今日」にまつわる色付け写真のツイートは,毎朝の日課となっています。「いま」が流れてくるTwitterのタイムラインに「むかし」を流し込む試みです。

さて,こうした「白黒写真のニューラルネットワークによる自動色付け」のうち,特にご好評をいただいているのが「戦前の沖縄」シリーズです。

1935年に朝日新聞のカメラマンが撮影した写真をもとに,人工知能技術と取材による考証を組み合わせ,カラー化を続けています。これは,私の研究室に所属する記者兼大学院生の與那覇里子さんが主軸となり,朝日新聞・沖縄タイムスとの共同プロジェクトとして進めているものです。

これらの写真に写し出されているように,「戦前」の沖縄には,いまと変わらぬ平和な日常がありました。このことは,私たちがふだんは意識していないことかも知れません。沖縄戦の「鉄の暴風」が時の流れを切断し,「戦前の沖縄」の記憶を「凍らせた」のではないでしょうか。ヒトとAIのコラボレーションによりカラー化された写真は,その記憶を「溶かし」,私たちの時代につなげてくれるように思います。

これらの写真と與那覇さんによる取材報告は,朝日新聞・沖縄タイムスの朝刊やウェブ版で特集され,大きな反響がありました。與那覇さんによるwithnews記事をぜひお読みください。

一部のカラー化写真について,現在,横浜の日本新聞博物館で開催中の「よみがえる沖縄 1935」展で展示中です。現在,3点のカラー化写真が大判印刷されて展示されています。5月の連休から展示がリニューアルされ,さらに多くのカラー化写真が展示される予定です。

また,5月26日と6月23日(沖縄慰霊の日)には,白黒写真のカラー化の体験ワークショップを開催する予定です。ぜひ,ご参加ください。