Meta vient de présenter Movie Gen, son application de création video à partir de texte ou image. Beaucoup de fonctionnalités, qu’on retrouvera sur les plateformes du groupe. Pour l’heure, il est en phase de test.

Une photo, un texte, et un prompt simple pour les transformer en vidéo créative, ajouter sur une vidéo un skateur en action puis en un clic lui ajouter une cape rouge… Ca y est, Meta l’a fait ! La firme californienne créée par Mark Zuckerberg, a franchi une nouvelle étape dans le domaine de l’intelligence artificielle générative avec la présentation de Movie Gen, son nouveau modèle d’IA capable de créer des vidéos à partir de simples requêtes textuelles ou visuelles. Ce qu’on appelle désormais les applis « Text to video ».

Dévoilée ce vendredi 4 octobre à New York, elle s’inscrit dans une série d’innovations lancées par Meta en matière de génération de contenus multimédias, faisant suite à deux précédents modèles dédiés à la génération d’images, sortis en 2022 et 2023. Apparemment très efficace, puissant et simple d’utilisation, Movie Gen, qui arrive sur marché déjà bien occupé (Synthesia, Sora, Lumen 5, Imagen, Phenaki,…), ne sera pas immédiatement disponible pour le grand public ; il est pour l’instant testé par un groupe restreint de créateurs et de réalisateurs, dans l’optique d’améliorer ses fonctionnalités avant sa mise sur le marché.

Génération de vidéos à partir de texte et d’images

La principale fonctionnalité de Movie Gen est sa capacité à générer des vidéos à partir d’une simple requête textuelle (prompt). En entrant une description en langage courant, l’utilisateur peut obtenir une vidéo entièrement générée par l’IA. Cette approche est similaire à celle utilisée pour la génération d’images par IA, mais étend la complexité aux contenus audiovisuels complets.

De plus, Movie Gen permet de créer des vidéos à partir d’une seule image. Cela signifie que même une simple photo peut être transformée en une séquence animée, offrant ainsi des possibilités créatives impressionnantes.

Édition et enrichissement de vidéos existantes

En plus de la génération ex nihilo, Meta propose avec Movie Gen une fonction d’édition de vidéos préexistantes. Les utilisateurs peuvent ainsi modifier ou enrichir une vidéo en fonction de directives formulées en langage naturel. Cette capacité à éditer des séquences vidéo, que ce soit pour ajuster des éléments visuels ou intégrer de nouveaux effets, est l’une des forces de cette interface. Par exemple, il serait possible de modifier la météo ou l’ambiance d’une scène simplement en décrivant le changement souhaité.

Ajout de bande-son

Une autre fonctionnalité clé de Movie Gen est son aptitude à ajouter une bande-son aux vidéos générées. Comme pour les éléments visuels, il suffit de formuler une demande pour que l’IA intègre une musique ou des effets sonores à la séquence. Dans une démonstration publiée par Meta, une simple phrase a permis d’accompagner la vidéo d’un quad roulant dans le désert avec le bruit du moteur et un fond sonore de guitare. Cette capacité à synchroniser image et son élargit les possibilités créatives et simplifie grandement le processus de création vidéo pour les utilisateurs.

Perspectives d’intégration sur les plateformes de Meta

Si Movie Gen reste pour l’instant en phase de test, Meta laisse entrevoir des applications futures sur ses propres plateformes. Il est ainsi envisageable que cette IA soit intégrée à des réseaux sociaux comme Instagram et Facebook, ou encore dans des outils de messagerie comme WhatsApp, des plateformes propriétés de Meta. Par exemple, un utilisateur pourrait éditer une vidéo via Movie Gen avant de la publier directement sur ses réseaux, tout cela à partir d’instructions en langage courant. Cette potentielle intégration pourrait transformer la manière dont les vidéos sont créées et partagées sur les réseaux sociaux, offrant aux utilisateurs un outil puissant pour enrichir leur contenu sans nécessiter de compétences techniques avancées. Avec le risque d’une surproduction de video et l’accroissement du temps passé à scroller sur les réseaux…

Comparaison avec les autres acteurs de l’IA vidéo

Meta n’est pas la première entreprise à se lancer dans la génération de vidéos par IA. Runway, par exemple, une start-up new-yorkaise spécialisée dans l’intelligence artificielle, propose Gen-3, un modèle similaire qui permet de créer de courtes vidéos à partir de requêtes textuelles ou de transformer une série d’images fixes en séquences animées, de changer les fonds… De même, OpenAI a lancé en février 2024 son propre modèle vidéo, baptisé Sora, et Google a dévoilé un mois plus tôt Lumiere. Il faut compter avec PixVerse, Creatus AI ou encore Luma Dream Machine.  Malgré cette concurrence, Meta affirme que Movie Gen « surpasse » ces concurrents, notamment lorsque la qualité des vidéos est évaluée par des humains, ont expliqué les promoteurs de chez Meta en présentant Movie Gen.

Cette assurance montre la confiance du géant des réseaux sociaux dans la capacité de son modèle à s’imposer – et pour cause ! – comme une référence dans le domaine de la génération vidéo par IA.