AI動画生成ツールKaiber.aiを使用して映像を作成した。使用感と考察の備忘録。
今回制作したのはnora NYA-ITE CLUB.のMV。
Kaiber.aiの他の作例
RINKIN PARKのMVなどで使用されている。
考察
アートアニメーション的作風
現在の商業アニメーションは、その商業的な成功に伴って日進月歩リッチになっており、Kaiberの出力は未だその領域には達していない。
Kaiberが出力する映像は、よりプリミティブなアートアニメーションを連想させる。
無論、アートアニメーションはアートとして評価されるべきものであって、表現技術とその作品の持つ物語的な批評性は(そこを主題とする一部のミニマルな作品やメディアアートを除けば)不可分だ。しかしKaiberの出力する映像は前フレームと近似する再生成でしかなく、出力そのものに物語的な要素はない。
生成された映像をカット割りし、最終フレームを初期値として与え、物語の微分的なプロンプトを改めて与えることでナラティブ性を擬似的に付加することは可能だ。
しかし、あえてAI生成を用いるのであれば、ナラティブな表現では、単にアニメーターのリソースの置換になり、逆説的に技術的な面でアニメーターに叶わない現状ではビハインドとなる。そのような表現では、技術的な話題性が失われる数年後には凡庸な作品になってしまうだろう。
むしろ人間が介在しない出力にこそ鑑賞価値があるのではないか。
アニメーターのリソース置換という側面では、商業的な需要が高まり、計算機リソースが資本的に充足されることで、そう遠くない未来に達成されるように思われる。
慣性の法則がゆるい世界
AIが生成する映像の興味深い点は、n-1フレームとnフレームの時間的接続が曖昧であるように感じることだ。
１フレーム毎のキャプチャが上の図である。左上の車列が白線に変わり消滅している。
我々の時空間では、外力が加わらないものは通常その場に静止し続ける、もしくは運動し続けるという前提がある。
その為、通常のアニメーションでは前フレームとの差異を描画し、変化のない画題は前フレームをトレースする。そうすることで現実の時空間を模倣する形で成立してきた。これによって時空間の連続性を感じている部分は大きいと思う。
もし、1フレーム(1/29.97秒)毎に目の前の自動車が消滅したり、道路の白線に変化するようなことが同時多発的かつ連続的に発生したら、1フレーム前とは別の空間に来たと感じるのではないだろうか。
また、MPEG-2などの圧縮形式ではこの前提の元、変化箇所のみを記録することで容量の圧縮を行なっている。
情報が多いため、静止画像の圧縮方法に加えて、更に「変化があった情報のみを送る」方法で、情報量を減らしています。
https://www.fujitsu.com/jp/about/research/techguide/list/image-compression/#anc-04
例えば、尻尾を振っている猫の映像があった場合、変化のある尻尾の情報だけを送ります。すると、全体の情報が少なくてすみます。
一方、現状のAIが生成する映像ではフレーム全てを近似するイメージで再生成するため、フレーム間の時間的連続性が曖昧で、n-1フレームの世界に存在したものが消滅したり、見た目の近似する別のものに変化したりする。
慣性の法則はその物性とは切り離され、ある視点からの視覚的な印象にのみ働いているのだ。タイムベースドメディアにおける印象派的な表現とは言い過ぎかもしれないが、印象に基づいて変化する異空間である。
テレポーテーション実験
空間認識の連続性についてテレポーテーション実験というものがあるらしい。
https://cbs.riken.jp/jp/public/tsunagaru/fujisawa/03/
この実験は全方向を囲う映像が視覚的に変化した場合、ラットは非常に素早いスピードで別の空間として認識することを示唆している。
AIが生成した映像を見続けると数秒毎に空間が大きく変化しているように見えるが、生成方法(≒撮影方法)そのものに変化はないので、異空間の中では従来とは異なるテレポーテーションが起こっている、と言えるかもしれない。