ドールのコマ撮り写真をぬるぬる動かす方法
edollsの投稿写真で時折コマ撮り再生機能を使ってくださるのを見るたび、実装して良かった～と嬉しくなっているジジでございます。こんばんは。
昨年の12月頃、「ドールサイトでAIフレーム補間は活用できるのか？」と題してコマ撮りのフレーム補間について話題にしましたが、最近はFlowframesというフリーソフトのおかげで、Windows PCさえあれば誰でも導入しやすくなったので、あらためてドール写真で遊んでみようかと思った次第です。
3枚のコマ撮り写真を用意
ジジの落書き（裏）でよくやっている手抜き手法ですが、わずか3枚の差分だけでループ動画を作っていきます。
2枚でも良いのですが、3枚あるほうが2枚目を4枚目にコピーするだけで、4コマ分の差分※になるから費用対効果が高いかな、という理由です。
※1枚目→2枚目→3枚目→2枚目→1枚目…以下ループ
そのまま連続再生すると、下記のとおりカクカクアニメになります。
このままでも面白いですが、せっかくなのでヌルヌル動くようにしてみます。
フレーム補間の手順
下記URLからFlowframesをダウンロードしてインストール。
https://nmkd.itch.io/flowframes
※ダウンロード時、5ドル寄付しないか？と聞かれますが、No Thanksで断ることが可能。気に入ったら払ってあげて。
- Input Videoに先ほど作成した4枚の差分が入っているフォルダを指定。
- Output FPSに「4」を入力（4枚なので）
- フレーム補間の倍率はx2～x10（2倍～10倍）まで好きに設定（多いほど枚数が増える）
- Quick SettingsタブでLoopにチェックを入れる（ループ動画だから）
- 最後に「Interpolate!」を押下して完了
※nVidia製のGPUを積んでいない場合、Interpolation AIのプルダウンからnVidia Only!と書かれていないモデルを選択する必要あり
フレーム補間された手コキ動画
首振りが小刻みすぎて怖いｗ
物体が交差する動きはフレーム補間の苦手な部分なので、ちょっと違和感ありますが、フレームは1枚1枚出力することもできるので、こだわるなら破綻した部分を画像編集するのも手です。
1枚の写真を画像編集だけで動かす
撮影環境が整っていないとコマ撮りって案外難しくて、三脚がないとほぼほぼ不可能な上、自然光だけだと各フレームの明るさが変わって動画が明滅してしまうという問題もあります。
そこで、最初の1枚目の写真だけを画像加工して動かした例がこちら。
手抜きして2～3分で加工したので手の動きがアレですが、真面目に加工すれば大きくストロークさせることも可能です。
まぁたぶん、この程度の動画ならスマホアプリでも作れそうな気もしますが、そっち方面は全く知識がないので、いつもGIMPで加工して遊んでいます。
詳細が気になる奇特な方はこちらの動画をご参照ください。
https://www.youtube.com/watch?v=2hymhvjnJf4
まとめ
クレイアニメーションという太古の技術が、AIフレーム補間という最新技術により、あらためて別の味付けがされた感があってワクワクします。
せっかく触れられるのがドールの良いところなのに二次元に閉じ込めてどうする、と考える方もいらっしゃるでしょうし、事実ぼくも昔はそう思っていました。しかし、デッサンモデルや写真のモデルとして等身大ドールを購入される方がいらっしゃるように、ドールとの向き合い方は十人十色。
どこで見かけたのだったか記憶があいまいですが、恋人とのハメ撮り動画をAIイラストに変換して、エロアニメ化する試みをされている方がいました。現時点では（一般人が扱える中では）まだそのクオリティはいまひとつですが、将来的にラブドールとのハメ撮りを録って、まったく別人（3Dキャラだったりアニメキャラだったり）と差し替える動画も出てくると予想されます。
そこまでしなくとも、ドールの写真を撮って衣装だけAIイラストで生成した服に着替えさせることも現時点の技術で可能です。
節操なしがいるため、著作権やディープフェイクの問題ばかり取り上げられがちですが、技術的な観点から見ると作画技術も3Dモデリング技術も俳優のツテもなくても、自分の作りたい！を形に出来る可能性を感じる技術なので、まっとうな人がまっとうな使い方をして広まって欲しいなぁと思う今日この頃です。
…ロリコン向けのエロアニメばかり作っているぼくが言えたことじゃないですがｗ
おまけ
MOZUDOLL130のAIイラスト化
