Le chemin de Sora vers la production : de l'aperçu de la recherche aux capacités vidéo ChatGPT et à ses défis physiques non résolus

Sora est le modèle vidéo généré par texte d'OpenAI qui génère des vidéos d'une durée maximale d'une minute tout en conservant la qualité visuelle et en suivant les invites de l'utilisateur. En tant que l'une des étapes de recherche les plus influentes dans le domaine de la génération vidéo, le chemin qu'elle a emprunté (d'un aperçu de recherche en février 2024 à son intégration actuelle dans le système de produits ChatGPT) est en soi un microcosme de l'industrie de la vidéo IA.

Base Technique : Modèle de Diffusion + Vidéo "Patch"

Le parcours technique de Sora peut être résumé en deux niveaux. Premièrement, il s'agit essentiellement d'un modèle de diffusion : générez d'abord une vidéo similaire au bruit statique, puis transformez-la progressivement en une image cohérente grâce à un débruitage itératif en plusieurs étapes. Deuxièmement, il utilise l'architecture Transformer pour représenter les vidéos et les images sous la forme d'une collection de « patch » – un jeton similaire à GPT. Cela apporte plusieurs fonctionnalités utiles :

• Générez la vidéo entière en même temps, ou développez et générez des vidéos existantes ;
• Animer et ajouter des cadres aux images/vidéos existantes ;
• Génération multi-plans et compréhension de scènes multi-personnages.

Production : de la recherche à une partie de ChatGPT

Sora a désormais été inclus dans le système de produits ChatGPT (sora.com pointe vers sora.chatgpt.com) et est devenu un élément important de la matrice multimodale OpenAI (GPT-5.6, Codex, Sora, Whisper). Cela signifie qu'il ne s'agit plus d'un aperçu de recherche uniquement à tester par les équipes rouges et les artistes, mais d'une fonctionnalité de produit accessible aux utilisateurs ordinaires.

Problèmes de physique non résolus

En guise de révision, il est également nécessaire de souligner les limites pratiques de Sora : il présente encore des défauts évidents en termes de simulation physique complexe, de causalité (comme les biscuits mordus devraient laisser des marques de morsure) et de détails spatiaux (comme les directions gauche et droite). Ce sont des manifestations typiques de « l'image mais pas assez juste » du modèle de génération vidéo : l'image est belle, mais les règles de fonctionnement du monde ne sont pas vraiment comprises par le modèle.

D'un point de vue industriel, la valeur de Sora ne réside pas seulement dans le produit lui-même, mais aussi dans la voie technique qu'il définit pour « Wensheng Video » : alors que plus tard Seedance, Kling et Veo les ont tous surpassés dans leurs domaines respectifs, le pionnier de Sora réside toujours dans sa première preuve de la faisabilité de la voie « diffusion + transformateur + patch ». Pour les chercheurs nationaux, l'évolution de Sora appelle également une norme de jugement : la prochaine étape dans la génération vidéo n'est probablement pas une durée plus longue, mais la modélisation correcte des lois physiques.

Plusieurs orientations à suivre dans le futur :

1. Percée dans les capacités de simulation physique : les versions ultérieures de Sora peuvent-elles résoudre les problèmes de causalité et de cohérence spatiale.
2. Profondeur d'intégration dans le système ChatGPT : scénarios de liaison de Sora avec GPT-5.6 et Codex.
3. L'augmentation de la limite supérieure d'une minute : la génération de vidéos longues deviendra-t-elle au centre du prochain cycle de concurrence en matière de capacités ?
4. Écart avec Seedance, Kling et Veo : OpenAI s'efforcera-t-il de rattraper son retard en matière de capacités de génération vidéo ?