はじめに

本記事は、XRや生成AIといった先端技術を活用したコンテンツ制作を行っている筆者が、夏目漱石の短編小説『夢十夜』を生成AIの力を借りて映像化する、実験的な制作プロセスを記録したものです。

制作サンプル

2025年4月現在、ChatGPT 4o（DALL·E）による画像生成の性能は大きく向上し、これまで課題とされていた「同一人物の再現性」や「背景・構図の連続性」が大幅に向上しました。今回のトライアルは、そうした技術的進化を背景に、どこまで映像作品として成立させられるのかを試すことを目的としています。

取組みの経緯

本プロジェクトは、私が主催メンバーとして関わっているTOPPAN GENERATIVE TRIALという、生成AIと創作の可能性を探る実験的な活動の一環として始まりました。

もともとは、映画好きのエンジニアが「エンジニアでも映画は作れるか？」というテーマで取り組んでいましたが、当時はまだ技術障壁が多く、完成には至っていませんでした。私自身も『夢十夜』はとても好きな作品で、技術アップデートによる実現可能性が見えてきた今、「自分だったらこう表現してみたい」という想いのもと、同じテーマに再び取り組むことにしました。

一貫性が担保されやすくなった画像生成の活躍

ここからは、具体的な制作プロセスと考察についてまとめていきます。

役者のリファレンス画像作成

まずは役者の画像を出力します。時代感の雰囲気、女性のはかない空気感など、イメージを伝えながら修正を加え、登場人物を決定。これまでDALL-Eが出力する人間はCG感が強くなりがちだったのであまり使っていませんでしたが、かなり洗練されてきた感があります。

連続するカットの作成

出力した登場人物の画像を使って、カットの画像を生成します。

おそらく少し前までであれば「和室の中で布団で眠る女性とその傍らで見守る男性」を思ったように複数カット出力するだけでも、挫折していたと思います。ChatGPT 4o (DALL·E) の画像生成アップデートにより、同一人物の一貫性を担保しやすくなったことで、一気に進めることができました。

画像のカスタマイズ

使用カットをカスタムして別カットに応用したケース。以下の例は、男性の年齢変化や、枯れる百合の花のイメージを画像加工しています。

まだ苦手とする表現は理解する必要がある

ChatGPT 4o (DALL·E) による画像生成のアップデートが画期的であったとはいえ、魔法のように全て何でもできるわけではなく、苦手とする表現は踏まえた上で構成演出を考える必要があります。

特殊なシチュエーション・構図

おそらくAIの学習が足りてない・補完しづらい特殊な構図や非現実的なシチュエーションでは、画像が一気にCGっぽくなります。リアルなカットとの差もあまりに大きく、断念したカットは多々。

素材集も活用、全てAIである必要はない

すべてがAIで作られている必要もないので、イメージに近い画像がある場合には、素材集も活用しました。

意外とちゃんと構造が正しく画像出力されなかった風鈴などは、素材集の画像を活用して動画化

ディテールは実はつながっていない

前後カットの連続性をシビアに考えるならば、男性女性の位置や細かい部分での整合性は取れていません。これらは、画像を後から修正するなど複数テクニックを組み合わせてレベル上げするのが現実的かもしれません。

動画生成：偶発的な動画素材と向き合う

動画生成は１ショットはよくできたものが作れるものの、意図する動画を出力するのは難儀なので、絵コンテに沿ってカットを作成するフローは基本的に取りません。ある程度の想定はしつつ生成を繰り返してベストショットを選定、偶発的に集まったカットで編集しています。

成功しやすいカット

カメラのシンプルな動き、人物アップの表情変化などは、比較的精度の高い動画が出ます。手持ちカメラのブレのような生感ある動画も最近は出やすくなりました。

工夫して近づけた表現

今回の映像では、百合の花を象徴的に使って「死」と「再会」を表現しています。映像冒頭では、抽象的なイメージから徐々に百合の花が現れるカットで、夢に見た白百合を表しています。
これは１ショットの動画生成ではうまく生成できなかったので、複数生成したカットを組み合わせて、つなぎを誤魔化しながら作っています。

無念にもボツになったカット

思いがけず良いカットが出ると、ついつい映像内で使いたくなりますが、編集のつなぎが悪くてボツにしたものもたくさんあります。裏を返せば、そのくらい、思った通りに出来る訳ではないのだとも言えます。

断念した表現

従来の撮影やCGでは簡単に出来ない表現の高みを、AIならサクッと作れないのか、という気持ちになりがちです。ですが、さすがに現状、そうも簡単にはいきません。

具体例を出してみます。今回でいえば、百年の時間経過をどう表現するか、は考えどころのひとつです。自由に発想していいのであれば、たとえばこういったアイデアが考えられます。

演出アイデア①

男性が座っていて、周囲の景色が春から冬へと移り変わる様子をタイムラプスのように表現。固定カメラではなく、ローアングルからスタートしてドローンのようにカメラをダイナミックに移動させる。

演出アイデア②

男性が見つめる新緑の葉っぱにクローズアップ。葉が落ちてて紅葉になり、雪が降り、桜が舞う様子を繰り返し、最後に再び葉っぱが男性の傍らに落ちる。カメラを上に向けると、男性が年老いている。しかもここまで１カメラで。

普通にCGで作ったらしんどそうですが、残念ながらAIでもかなり辛い作業になりそうです。今回は、たくさん生成したカットのうち意味がつながりそうなものを編集で工夫しました。

脚本・セリフ・編集

今回、原作本文そのままではなく、映像作品として再構成をしていますが、その過程でもChatGPTを活用しています。

構成・編集

生成AIで長尺の動画を作るのは現実的ではないので、おおよそ3分程度に収まる構成を再考します。ただしここは、現状、ほぼ人間仕事。ChatGPTに構成アイデアを考えてもらっても、それに対応する動画を制御して作ることが難易度が高いためです。

漱石風のセリフ生成

原作からの引用をそのまま貼っても映像としてはまらないので、セリフを考え直します。ChatGPTに漱石風の台詞を考えてもらい、良さそうなものを選定したりカスタムしたりしました。ここは●●風を生成するのに強いChagGPTは優秀だなと感じてます。

待つことが日々となり、日々が、ただの風となって過ぎていった。
あれから、どれほど経ったのか。数えるのをやめてから、月日は音もなく流れた。

『夢十夜』第一夜について

原作文章はこちら。青空文庫でも読めますし、文庫本もぜひ。

夏目漱石 夢十夜

夢十夜・草枕 (集英社文庫)

ボイスと効果音の躍進

環境音・効果音

今回、楽曲は使わずに、効果音をBGMのようにして充てています。これは仏教的な世界観や時間感覚を表現する意図で、シンギングボウルや鐘、太鼓などの音を複数生成して重ね、環境音とのバランスもカットごとに人間の手で調整を入れています。
従来、効果音は毎回ライブラリで理想の音を集めてくるのが大変でした。AIの効果音生成は結構優秀で、作品のレベル上げにとても有益だと思っています。

ボイス

にじボイス | AIによる感情豊かな音声生成サービス

ボイスは日本語で感情ある声の出る、にじボイスを使いました。ただし、これは現状のAIボイスサービスいずれを使っても、どうも吹き替え音声っぽくなってしまうのが悩みです。

使用ツールまとめ

▶画像生成：ChatGPT、Pixabay、Midjourney
▶動画生成：Luma Dream Machine、Kling を中心にPika,Vidu,Runwayなど
▶SE（効果音）：ElevenLabs
▶ボイス：にじボイス

最後に

これまでも生成AIを使った表現には継続的に取り組んでいましたが、思うような映像をつくることが難しく、挫折を重ねてきました。それが、技術的アップデートを経て、ようやくやりたいことに手が届く実感が得られつつあります。

自分の専門は3DCG (しかもリアルタイムレンダリング)の分野にいて、実写映像制作はまったくの畑違いです。カメラの知識もなければ、演技指導もできないし、そもそもロケ地や役者を探す時点で挫折してしまうでしょう。

CGならCG、実写には実写ならではの、伝えられる表現と役割がそれぞれあります。これまで作れなかった表現を作れるかもしれない新鮮味、表現の幅を広げられるワクワク感は、作り手にとっては楽しいものです。AIがその間をゆるやかにつないで、未踏の表現領域を探るためのもうひとつの手となってくれるだとすれば、歓迎したい考えです。

夏目漱石『夢十夜』をAIと共に描く映像化の記録

2025年4月20日

…