エバンジェリストが語るICTの未来

現実世界を言語・数値・音声・画像・動画などで記述したのがデータ、それらを構造化および抽象化したのがモデルであるとすれば、生成AIやそのモデルを理解するには多様な視点が役立つのではないか?今回は、イタリア、特にアートとその周辺での実体験から得た学びを、AIとデータサイエンスとのアナロジーや仮説を交えて整理する。(全3部作の第1弾)

Why イタリアアート?

ボスコ・ヴェルティカーレ(Bosco Verticale)ミラノにある建築と植栽が一体となった超高層マンション
ボスコ・ヴェルティカーレ(Bosco Verticale)
ミラノにある建築と植栽が一体となった超高層マンション

ルネサンスが14世紀にイタリアで始まり、それがAIやデータサイエンスへと連なる自然科学の誕生に繋がったことを踏まえれば、イタリアアートから学びを得ることは理にかなっているのではないか。そのイタリアには目的こそ異なるが何度か行っている。結果、肝心のイタリア語はなかなか上達していないものの、トラブル回避方法やデータサイエンス(DS)に必要な視点を大いに学ばせてもらった。

アートに限らず、建築物のメンテナンスや保全は非常に重要である。これはAIやデータサイエンスの世界でも同様で、データやモデルがその保全対象にあたる。

最近では生成AIのモデルの重みの管理、特にFine-tuningで学習済みの重みをどのように管理し、新規データ、あるいは追加データとどのように整合させるかが重要になっている。

全ての道はローマに通ず

学生時代のバイトは主に家庭教師だった。家庭教師のゴールは教え子の第一志望の合格であり、そのために、教え子のモチベーションの維持と高揚は欠かせない。

そこでご登場願ったのは本棚にあった世界史の資料集である。その資料集に掲載されていたDying Gaul※1の写真を指しながら、「これはどういう状況なんだろうね?」と尋ねる。一方で、自分で聞いておきながら「どういう状況なんですか?」と聞き返されたら困ると思っていた。当然、私も知らない。むしろ、資料集の数ページ後に掲載されているバチカンにあるLaocoon※2の方が、より切迫した状況が伝わってくる。

その状況の答え合わせはローマにあるMusei Capitolini(カピトリーニ美術館)に行くまで待たなければならなかった。教え子達の合格報告とお礼を兼ね美術館に向かい、そこでDying Gaulを自分の目で見てはじめて、全てが氷解した。

資料集の二次元データかつほぼモノクロで見えなかった痛々しい傷を三次元のリアルから確認することで状況を把握でき、のちの作品の背景の理解にもつながった。

一次データに当たることの重要性を再認識させてくれた。詳細は割愛するが、博士論文も同じくローマから提出した。全ての道はローマに通じていることを痛感した。

編集部注
  • ※1. 瀕死のガリア人。カピトリーニ美術館所蔵の大理石像。戦いに敗れ、胸に深い傷を負って地面に崩れ落ちた戦士の像
  • ※2. ラオコーン群像。バチカン美術館所蔵の古代彫刻。トロイの神官ラオコーンと二人の息子が海蛇に襲われる場面を表す。

Synchronicity

サン・ピエトロ大聖堂(Basilica di San Pietro in Vaticano)
サン・ピエトロ大聖堂
(Basilica di San Pietro in Vaticano)

ローマを訪れて、サン・ピエトロ大聖堂(Basilica di San Pietro in Vaticano)に足を運ばない人はいないと思われる。サン・ピエトロ大聖堂に行けば、必ず目にするのがミケランジェロ(Michelangelo di Lodovico Buonarroti Simoni)が制作したピエタ※3の一つである。

彼の「私は作ったのではない、石の中にある形を取り出している」という趣旨の発言をどこかで目にしたが、大理石を超越し温かみさえ感じさせる実物を目の前にしてこの言葉を反芻せずにはいられない。これはプラトン的存在論でもあり、「石の中にある形がイデア」の解釈が許されれば、生成AIにおける「Lottery Ticket Hypothesis(宝くじ仮説)」 (J. Frankle & M. Carbin, ICLR 2019)の概念にシンクロしているのではないか?

ミケランジェロはこれ以外にも未完を含めて複数のピエタを残したが、未完のピエタからさえも、そこに埋め込まれている完成形を自由に想像できる。ということは、彼の作品は引き算によって出来たといえなくもない。

サンタ・マリア・デランジェリ・エ・デイ・マルティーリ聖堂(Santa Maria degli Angeli e dei Martiri)
サンタ・マリア・デランジェリ・エ・デイ・マルティーリ聖堂
(Santa Maria degli Angeli e dei Martiri)

同じローマ市内には彼が設計したSanta Maria degli Angeli e dei Martiri※4がある。この建築は一見すると、まるで渓谷の岩壁に埋め込まれたように見えるが、古代ローマ時代のディオクレティアヌス帝の浴場跡を利用した教会である。遺跡を利用した建築ということで、そこには引き算だけでなく足し算も組み込まれているだろう。これは構造的にはTransformerを、概念的にはContinual learningあるいはFine-tuningを強く想起させる。

彼は建築でも多くの作品、例えばピエタを包むサン・ピエトロ大聖堂やフィレンツェのサン・ロレンツォ聖堂の関連施設などを手掛け、そこでも重要な役割を果たした。彼は石の中からピエタを引き出しただけでなく、石を積み上げて美しい聖堂も生み出した。それぞれの視点で彼は優れた作品を残し、レオナルド・ダ・ヴィンチ(Leonardo di ser Piero da Vinci)と並び現代までその作品を通じアーティストらにも影響を与え続けている。ローマの中にミケランジェロの作品があるのではなく、ミケランジェロの世界にローマがあるとさえ思わずにいられない。

フィレンツェ サンタ・マリア・デル・フィオーレ大聖堂のクーポラ
フィレンツェ サンタ・マリア・デル・フィオーレ大聖堂のクーポラ

そうなるとフィレンツェはフィリッポ・ブルネレスキ(Filippo Brunelleschi)の世界にあるのだろうか?コンテキストや視点を変えれば、同じものを見てもそこから得られるものが変わってくることを体感した。一方で、ミケランジェロの絵画は彼が彫刻家でもあったことを実感させてくれる。

同じ学習済みのモデル、例えば生成AIにしてもPromptやコンテキストを変えるだけで出力が全く異なってくる。ルネサンス後に誕生したバロック芸術においてローマではジャン・ロレンツォ・ベルニーニ(Gian Lorenzo Bernini)も外せない。彼の代表作の一つであるApollo e Dafneを見ると、固定されたモデルやネットワークにダイナミクスを埋め込むことは可能では?との思いを強くする。

編集部注
  • ※3. 亡きキリストを抱く聖母マリアを描いたミケランジェロの彫刻。
  • ※4. 古い遺構を16世紀に活かした建築で、古代ローマの公衆浴場跡をミケランジェロが教会へと改修したローマの聖堂。

Attention please

美術館ではガイドツアーと一緒になることがある。その時に、ツアー参加者でもないのについつい聞き入ってしまうことがある。印象的なのは「青」の重要性だった。聞けば、青は高価な顔料であり、中でも高級顔料として有名なウルトラマリンはラピスラズリから精製されるという。従って、宗教的、社会的意味だけでなくスポンサーの財力の証明でもあったという。そう聞くと絵画を見る度に私のAttentionは青に向かうようになった。
また遠近法や空間表現としても、二次元空間に距離感を出す等、重要な役割を果たしている。これもまた意味・関係構造・マルチモーダルなどの高次元の特徴量の幾何学をモデル内部でどのように表現するかという表現学習のヒントになりそうである。

ローマのインフラ設計と管理から学ぶネットワークの誤差管理と制御

カラカラ浴場 (Terme di Caracalla)
カラカラ浴場 (Terme di Caracalla)

イタリアに数日滞在すると、「何故ローマ帝国には公衆浴場があったのに、今は無いのか?」と思う。実際、イギリスにはBathやトルコにはPamukkaleにも作っていたので、現在のイタリアでは高級リゾートやスパがその延長にあるのかもしれないが、日本でいうスーパー銭湯に相当する温浴施設はないのだろうか?社交場としての役割はバールに受け継がれたのだろうか?イタリアの遺跡を巡るとたまにTHERMAE※5の表記を見かける。その度に残すだけでなく再現できないものかと思う。
イタリアには火山も存在する。ローマ帝国の水道設備およびその実現に寄与した傾斜計算、流体力学および排水エンジニアリングを考えれば、温泉の実現のみならずTHERMAEの再現は十分可能であり、生成AIを構成するモデルやフレームワークの設計にも寄与しそうである。というのもローマ帝国の水道設備は水源から何十kmも離れた供給先である都市まで莫大な量の水を、重力を用い供給し続けていたからだ。途中、谷があれば水道橋、それが難しい場合は逆サイフォンで越えている。
生成AIを構成するモデルやフレームワークは多くの場合、多層のNeural Networkで構成されている。そこで流れるのは水でなく数値データであり、推論時は入力から出力への順伝播、訓練時ではこれに加え、逆向きの誤差に基づく勾配が逆伝播として流れる違いがある。この訓練時に数値データの勾配爆発あるいは消失という問題があり、傾斜管理の失敗にシンクロする。傾斜がきつければ早々に高度を失い遠くまで水は届けられないし、平坦であれば水は滞留する。水道設備の驚異の傾斜管理や建設に要した計測技術とエンジニアリングには安定化、残差接続や正規化などの問題解決のヒントがあるかもしれない。

編集部注
  • ※5. 巨大な公営浴場。カラカラ浴場 (Terme di Caracalla)はその代表例。

考古学におけるバージョン管理

オスティア・アンティーカ (Ostia Antica)
オスティア・アンティーカ
(Ostia Antica)

ローマから日帰り可能な遺跡に、オスティア・アンティーカ(Ostia Antica)がある。ここでも他の遺跡同様にTHERMAEや半円形の劇場跡がある。円形闘技場のような遺跡はなかったと思う。保存状態の良さからもう一つのポンペイとも呼ばれる遺跡であるが、一瞬で火山灰に埋もれたポンペイと異なり、放棄され土砂に埋もれていった遺跡である。昔は港湾都市だったようだが、海岸から随分と離れているため、土砂に埋もれたということは理解できる。またのちにローマのコロッセオのように大理石の採石場となった可能性もあるが、保存状態は良好である。
住居や商業施設の床にはモザイクが施されている。「ガラスで保護しなくていいのか?サッカー帰りの人がスパイクのまま歩いたら傷つくのではないか?」と心配になった。また、劇場のバックヤードのような場所にはレンガが山積みになっている。恐らく補修用のストックなのだろうが、それを見ると、遺跡のどこからどこまでが当時のものなのだろう?という疑問が湧いてきた。
データだけでなくモデルのバージョン管理や開発でも似たような課題に直面する。どれだけ多くのエンジニアが協力して完成させたのかも興味深い。モデル開発で不用意なライブラリのインストールでそれまでの検証を無効化してしまうことがあるが、ここではそのようなことがないようにどのような役割分担やリスク回避をしていたのだろうか。

技術は石化しないで進化する

南のシチリアで見たのはカタコンベ(地下墓地)にあるRosalia Lombardo※6(ロザリア)のミイラだった。ミイラとはいうものの、ロザリアを何の事前知識もなく見ると、生きている人間が眠っているように見える。ロザリアは1920年に亡くなり、パレルモのAlfredo Salafiaが薬液注入による保存処置を施したとされる。アプローチは異なるが、このような処置の先人としてGirolamo Segato※7(セガト)と彼の石化技術が知られている。セガトは自然学者、解剖学者、地図製作者そしてエジプト学者で、エジプト旅行の際に砂漠でミイラ化した動物を見てこの技術のヒントを得たと聞いたことがある。この技術はセガトの死とともに消滅し、セガトの肉体も石化して残ることはなかった。AIでもデータサイエンスでも新しいコンセプトやモデルが出てくるが、それを要素分解すると既知の枯れた技術だったりする。技術も知識も過去の延長にあるならば、この半ばブラックボックス化した石化技術もいつか再現できるのではないだろうか?

セガトの墓はフィレンツェのサンタ・クローチェ教会(Basilica di Santa Croce)にある。彼によって石化された遺体もフィレンツェに保存されている。そのなかには1966年のアルノ川の洪水に流されてしまった、あるいは何らかの理由で落下した技術の痕跡があるかもしれない。アルノ川にかかるヴェッキオ橋の上から、ピッティ宮の方面を見て200年前の技術にまだ現代の技術が追いつけないことに感銘を受けるとともに、データから知識が獲得できるのならば、流された石化技術がこのアルノ川にあるのなら探せばそのエビデンスも見つかるのでは?と想像せずにはいられない。

編集部注
  • ※6. 生前の姿を保ち続けるとされる少女のミイラ。
  • ※7. 1792年-1836年。イタリアの博物学者、地図製作者、エジプト学者、解剖学者。

ZANZARA

日本語で蚊。文字数も違うが、音韻的印象も違う。こうした表層的に違う表現を意味的に整合させるのがAlignment。日本では「蚊が出た!」と言うときに使うが、この単語を最初に知った時はまず使うことが無いと思った。しかし、南イタリアに行ってホテルで使うことになった。宿泊した部屋の天井が高く、いつもの方法で仕留めることが難しい。ホテルのフロントに相談したところ、笑顔で蚊取り線香と電気蚊取を取り出してくれた。イタリアにもあることに感動した。どちらも日本発祥のアイテムらしい。有効成分も変化しているのだろうが、それ以上に届け方を変えていることが面白い。蚊取り線香は棒状から渦巻状に、電気蚊取もマットからリキッドになり、寝ている途中で遮断されることなく、長時間の使用にも耐えられるように進化した。
前者はトポロジーを折り畳むことで燃焼経路をコンパクトに収納し一回当たりの持続時間を稼ぎ、後者は出力の安定化を実現している。これらの持続性、安定性はネットワークの設計に参考になりそうだ。
翌日、お昼にシーフードパスタをオーダーしたら、蟹でなくカニカマが入っていた。日本とイタリアは距離こそ離れているが、生活や文化では近いのかもしれない。

ProntoはPromptから

イタリアの移動の際にPendolino、それもETR600?に乗車したかった。それでItaloと迷ったが、Eurostar Italia(当時)を利用した。※8 フィレンツェで列車を待っていると、一時間後にローマを出た列車が先に到着した。どのような運用をしているのか不明だが、少なくとも私が行った限りでは珍しいことではない。乗車後、検札に来た車掌に「ミラノには何時頃に到着するの?」と聞くと「あと1時間ぐらい。でも、どうしてそんなに急ぐの?」とありがちな答えが返ってきた。そこで「Tutta Milano sta aspettando」と答えた(と思う)ところ、車掌からは「Superato!(と思う)」と頂戴した。何に合格(Superato)したのか分からないが、このように車内の雰囲気も変わる。しかも因果関係は不明だが、列車は少し早く55分後に到着した。
鉄道網も複雑なネットワークとみれば、安全な運行や運用にも学びがあるに違いない。

編集部注
  • ※8. Pendolino(ペンドリーノ)はイタリアで開発された振り子式車両ファミリー、Italo(イタロ)はNTV社が運行する高速鉄道サービスブランド、Eurostar Italia(ユーロスター・イタリア)は当時のTrenitaliaの高速列車ブランド。

印象派の印象は?

ルネサンスから時代を経て芸術の中心はイタリアからフランスへ。イタリアからフランスへの移動は飛行機が一般的だが、EuroNight※9もよく利用した。逆ルートではTGV※10で入ることもある。
このルートには青く煌めく地中海を眺め、ニースの喧騒とカンヌの荘厳さを感じる経路とアルプスを経由する経路がある。どちらのルートもパリから始まる専用線を通過する区間では、日本でいう新幹線のようにTGVの性能をいかんなく発揮できる。一方で、線路脇に防音壁などの物理的障壁が無いのが心配になる。実際、おいしいパンの原料になりそうな小麦畑が広がる。空気感と金波銀波を想像させる光の粒子を強く感じる印象派のモチーフになりそうな芳醇な大地である。一方で動物が線路に迷い込んだらどうなるのだろう?と心配になる。
私が乗車した時に地中海を経由するルートはそうでもなかったのだが、アルプスを経由するルートでは信号待ちが多かった。その上、明らかにローカル列車の通過待ちまであり、ずいぶん待たされた印象だった。パリからトリノまで8時間かかったのではないか?専用線の開通が待たれる。データ処理にはボトルネックやタスクの優先度の問題があり、インフラに人がかかわる以上、ランダム性やユーザが受ける印象は無視できない。ここでもルートの輻輳化と選択の重要性を再認識させられる。

イタリア縛りでAIとデータサイエンスに関してこれだけ多くのことを自分は学ぶことができた。他にも学びがあれば再び整理してみたい。

編集部注
  • ※9. EuroNight(ユーロナイト)はヨーロッパ各国を結ぶ国際夜行列車ブランド。寝台車やクシェットを備え、夜間に国境を越えて運行される。
  • ※10. TGV(Train à Grande Vitesse)は、フランス国鉄(SNCF)が運行する高速鉄道サービスおよびその列車群の総称。

川前 徳章 [かわまえのりあき]
エバンジェリスト
(データサイエンティスト)

2009年入社。大規模データの分散処理基盤の調査・導入から始まり、レコメンドシステム、情報検索、機械学習、自然言語理解と生成、AI等データサイエンスの研究開発とその導入に従事。現在は生成AIやマルチモーダルに向けたAIの研究開発を行っている。
各種データサイエンスに関する講演など対外的な活動も多く、KDD2021-、ICLR2022-、NeurIPS2021-、ICML2022-、AAAI2024-、WSDM2024-等のトップカンファレンスのPCや査読委員など、国内外でAIやデータサイエンス系の論文審査委員も多く担当している。2023年9月より上智大学大学院 非常勤講師も務める。

エバンジェリスト(データサイエンティスト)

川前 徳章
NTTドコモソリューションズ株式会社
エンタープライズソリューション事業本部

コラム一覧