ドールサイトでAIフレーム補間は活用できるのか？
前回の記事で書いた360度写真の話の続きです。
ちなみに裏ブログのほうでは、「AIフレーム補間で三面図の回転と歩きアニメーションのテスト」と題して実験しており、三面図程度では実用に耐えるアニメーションにならない、という結論に至っています。
しかし、今回は12分割されている…ッ！ さて、結果はいかに。
Google FILMによるAIフレーム補間
お！…おぉ………ぉぉぅ………ぅーん………おしい。
ぬるぬる感あって面白いですが、微妙に破綻していますね。
AIフレーム補間とはなんぞや
ご存知ない方のために軽く説明しておくと、これはGoogle Researchが2022年2月頃発表したAIの学習モデルを使ったフレーム補間技術です。フレーム補間というのは2つの画像から中間フレームを合成する技術のこと。
20年くらい前だったでしょうか。アニメ界隈では120fps化とか流行っていたのご存知ありませんか？
テレビ番組は30fps（秒間30フレーム）アニメに至っては24fpsしかないので、どうしても動きがカクカクしがちですが、存在しないフレームを補間してあげることで、ぬるぬる動くようにしようぜ、というわけ。
10年くらい前に買ったうちのテレビにすら120fpsモードがあったりしますが、完ぺきとは言い難い機能です。
テキストが縦に流れるスタッフロールなど、目に見えて美しく動くようになる場面もありますが、少し複雑な動きだとけっこう破綻します。
30fpsを120fps、つまり4倍にするだけでも目に見えて破綻する部分があるわけです。
さて、今回の例ではドールさんは12個の角度に分割されています。そして1周まわるのに3秒。
つまり、4fps（12フレーム÷3秒）しかないわけですね。これを動画のように30fpsにしようとしたら7.5倍のフレーム数が必要です。
今まではそんな大きな中間フレームは作れなかったのですが、今回使ったGoogle FILMではそれを実現している。
だから、Frame Interpolation for Large Motion、略してFILMと呼ばれているのです。
オープンソースなので興味のある方はぜひ使ってみてください。
https://github.com/google-research/frame-interpolation
尚、一応IT業界の住人である自分でも面倒くせーなと思うくらいには導入難易度は高いです。
前提となるアプリ類が多すぎるんですよね。AIに興味がある人なら、ほとんど揃えてあるとは思いますが、Git、Python、CUDA、cuDNN、tensorflow、ffmpegあたりは必須。それもCUDA 11.2じゃないと動かないとかバージョンの選り好みも激しいので詳しい人でもハマるかも。
あと物理的にGPUも必須。うちのRTX4070で上記のAIフレーム補間をするのに1～2分程度ですが、CPUだけで実行すると早くて30分～下手すると1時間以上かかるかも知れません。正直待ってらんない。
PC初心者に1から説明するのはちょっと無理ですが、Windowsでコマンドプロンプトの作業くらいできらぁ！という人であれば助言出来るかもなのでハマったらコメント欄からでも問い合わせフォームからでも聞いてください。
着衣でもAIフレーム補間試してみたい
IROKEBIJIN 110cmのKoharuちゃんのときは肩の痛みで転倒させてしまったので反省し、今回は布製で軽量なさくらドールズのリリーちゃん。
………なのですが、うちのリリーちゃん微妙に、ほんの1cm未満だと思うんだけど、足の長さが違ってさ……キチッと直立させるのがムズいんですよね。なので途中、写真の角度が変わってしまいました。
…が、それはそれでどんなフレーム補間になるのか興味深いのでこちらもGoogle FILMさんで動画にしてみました。
酔う！酔う！ｗｗｗ
2か所くらい破綻しているところも気になりますが、なにより角度の調整にミスるとこんなにぐわんぐわん酔うような動画になるのかとあらたな発見がありました。
おまけ
家に等身大ドールがあれば、パンチラ見放題なんだよな……………そんな考えで初のラブドールのお迎えを決心したぼくとしてはやはり、パンチラ写真は外せない。ということで、
↓これが
↓こう
もっとひどい予想してたんだけど、思ってたよりイイかも！
AIイラストでは失敗続きだったたくし上げのAIフレーム補間だけど、実写だとわりとイケるなぁ。
やはり元となっている学習モデルが実写だからか。
まとめ
ドールサイトでAIフレーム補間を活用できるかどうかは知らんけど、おもしろい技術なのは確か。
今はこんなもんだけど、将来的には等身大ドール使ったアニメーションとか出てくるんじゃないかな？
