SORA: OpenAIの革命的な動画生成AIの実践

SORAはOpenAIによって開発された画期的な拡散モデルで、動画生成に特化しています。2月に発表され、テキストプロンプトから最大1分間の一貫した動画を生成することができます。SORAは、一時的に視界から外れても被写体の一貫性を維持する能力があり、競合他社と差別化されています。このモデルの可能性は、動画の拡張やシームレスなブレンドにまで及び、AI生成コンテンツの重要な進展を示しています。

Shy Kidsは、革新的なメディアアプローチで知られるカナダの制作会社で、SORAへの早期アクセスを許可された数少ないチームの一つです。ウォルター・ウッドマンとパトリック・セダーバーグが率いる「パンクロック・ピクサー」チームは、SORAを使用してAIの能力を示す短編映画「Air Head」を制作しました。彼らの体験は、SORAの現状と創造的な映画制作における可能性について貴重な洞察を提供します。

2024年4月中旬現在、SORAはまだ開発中で、Shy Kidsのような初期ユーザーからのフィードバックに基づいて改善が進められています。パトリック・セダーバーグは、SORAを強力なツールであり、巨大な可能性を秘めていると述べていますが、制御が最も望ましく、かつ手に入れにくい側面であると指摘しています。このモデルは実質的にプレアルファ段階にあり、まだリリースされておらず、ベータテストも行われていません。

SORAのユーザーインターフェースでは、テキストプロンプトを入力することができ、ChatGPTがそれを拡張してクリップ生成のための長い文字列に変換します。現在のシステムはマルチモーダル入力を欠いており、複数のショット間での一貫性を維持するのが難しいです。ユーザーは、ある程度の連続性を達成するために、非常に詳細なプロンプトに頼る必要があります。このモデルは、明示的な画像データベースを使用するのではなく、概念の暗黙的な理解に基づいてクリップを生成します。

SORAは最大720pの解像度で動画を生成でき、1080p機能が開発中です。「Air Head」では、チームは480pクリップを使用して高速レンダリングを行い、その後外部AIツールを使用してアップスケーリングしました。このモデルでは、ユーザーがアスペクト比を選択でき、SORAがネイティブに生成できない特定のショットを作成するのに役立ちました。

SORAの現在の制限の一つは、映画的なカメラの動きを理解することです。「トラッキング」、「パンニング」、「ティルティング」といった用語は、モデルによって常に正確に解釈されるわけではありません。Shy Kidsチームは、カメラの方向に関するプロンプトが約60%の成功率で機能したことを発見し、今後のバージョンでの改善が必要な領域を浮き彫りにしています。

SORA生成のクリップのレンダリング時間は、さまざまな要因に応じて通常10分から20分の範囲です。要求されたクリップの長さは、3秒から20秒の範囲内ではレンダリング時間に大きな影響を与えません。Shy Kidsチームは、使用可能な映像を得る可能性を高めるために、しばしば長いクリップを生成しました。

SORAの印象的な出力にもかかわらず、「Air Head」にはかなりのポストプロダクション作業が必要でした。これには、カラーグレーディング、スタビライゼーション、アップスケーリング、不要なアーティファクトの除去が含まれます。編集プロセスはドキュメンタリー映画制作に似ており、約300:1の高い撮影比率がありました。多くのクリップは、SORAがスローモーションのような映像を生成する傾向があるため、再タイミングが必要でした。

SORAは、複数のショット間での一貫性を維持し、特定の映画用語を解釈することに課題を抱えています。また、既存のプロパティにあまりにも類似したコンテンツの生成を防ぐための著作権保護が組み込まれています。印象的ではありますが、この技術は一貫した最終製品を生成するために、依然としてかなりの人間の介入と創造性を必要とします。

SORAが進化し続ける中で、制御、一貫性、映画的言語の理解における改善が期待されています。Shy Kidsチームは、SORA生成の要素を実写映像と合成する新しい技術をすでに探求しています。SORAが従来の映画制作方法をすぐに置き換えることはないかもしれませんが、AI支援のコンテンツ制作において重要な前進を示しており、映画制作者やコンテンツクリエイターに新たな可能性を提供しています。