Voici tout ce que vous devez savoir sur le dernier rival de Sora, Dream Machine, de Luma AI

OpenAI a conquis le monde entier en lançant ChatGPT en 2022, impressionnant tout le monde par les capacités du chatbot à rechercher des informations et à répondre à des questions tout en conservant le contexte de la conversation. L’entreprise a ensuite réitéré cet exploit en dévoilant Sora, qui peut créer des vidéos de haute qualité en utilisant simplement des invites textuelles.

Mais cette fois, la concurrence est devenue intense, avec des entreprises rivales annonçant des produits similaires. Et la dernière en date est Dream Machine de Luma AI. Connue pour sa plateforme qui permet aux utilisateurs de créer des modèles 3D avec des entrées de texte, d’image ou de vidéo, la nouvelle Dream Machine de l’entreprise vise à rendre la génération de vidéos IA plus simple et accessible à tous.

Qu’est-ce que Dream Machine ?

Dream Machine est un générateur de texte en vidéo universel conçu par Luma AI et s’appuie sur des algorithmes avancés qui lui permettent de générer des vidéos de haute qualité à l’aide d’invites simples fournies par les utilisateurs. C’est un outil très utile pour les créateurs de contenu, les entreprises, les spécialistes du marketing et autres et peut être utilisé pour créer des vidéos d’une durée maximale de cinq secondes et dans différents styles.

Contrairement à de nombreux autres générateurs de vidéos, les vidéos générées à l’aide de Dream Machine sont assez proches des descriptions fournies dans les invites. De ce fait, il est possible de créer des vidéos avec des scènes incroyablement détaillées, des animations complexes et des mouvements de personnages réalistes. Dream Machine est basé sur un modèle de transformateur et a été directement formé sur des vidéos.

Image de Stormtroopers tirée d’une vidéo créée par Dream Machine. Source : Luma AI

Caractéristiques de Dream Machine

La Dream Machine de Luma AI est dotée de certaines fonctionnalités qui lui permettent de défier de grands acteurs comme Sora dans le paysage de la génération vidéo IA.

Génération vidéo haute résolution

Dream Machine peut produire des vidéos de qualité cinéma en résolution 1080p, ce qui les rend non seulement époustouflantes à regarder, mais également adaptées à un usage professionnel.

Simulation précise et mouvement réaliste

Selon Luma AI, Dream Machine peut comprendre comment les personnes, les animaux et les objets interagissent dans le monde réel, ce qui lui permet de créer des vidéos avec une physique précise. Il utilise un mécanisme d’attention conjointe spatio-temporelle pour décrire avec précision les interactions physiques du monde réel et les actions complexes, ce qui donne lieu à des vidéos d’apparence naturelle.

Prise en charge de plusieurs formats d’image

Dream Machine peut générer des vidéos dans différents formats d’image, ce qui la rend adaptée à un large éventail d’utilisations. Vous pouvez l’utiliser pour créer des vidéos à des fins de marketing et de promotion, pour des besoins éducatifs, sur les plateformes de médias sociaux, etc.

Interface conviviale

L’accessibilité des utilisateurs est une fonctionnalité clé de Dream Machine, et la plate-forme est livrée avec une interface intuitive pour une génération vidéo facile. De ce fait, des utilisateurs ayant des niveaux de compétence et d’expertise différents peuvent l’utiliser sans aucun problème, le rendant accessible à un large éventail de publics.

Cadre Open Source

Contrairement à Sora d’OpenAI, Dream Machine dispose d’un framework open source, qui permet à presque toute personne ayant des connaissances et une expertise en codage d’y accéder. En revanche, Sora n’est disponible que pour un public sélectionné et ses principales fonctionnalités devraient rester exclusives aux abonnés payants.

Amélioration rapide

Dream Machine dispose également d’une fonction « Améliorer », qui ajoute automatiquement plus de détails à votre invite, aidant ainsi l’IA à générer des vidéos plus complexes. Lorsque vous l’activez, vous pouvez utiliser des invites simples au lieu d’invites détaillées, et l’IA les améliorera à l’aide du modèle de langage de Luma pour des vidéos plus détaillées. Vous pouvez désactiver cette fonction si vous souhaitez ajouter manuellement plus de détails à votre invite.

Vidéo de Luma AI Dream Machine — Vidéo générée par Dream Machine. Source : Luma AI

Comment pouvez-vous utiliser Dream Machine ?

L’utilisation de Dream Machine de Luma AI nécessite des invites extrêmement détaillées, plus détaillées que celles que vous utilisez avec d’autres outils d’IA comme ChatGPT. Voici comment vous pouvez essayer gratuitement la plateforme de génération de vidéos dès maintenant.

Pour essayer la plateforme, visitez la page officielle et cliquez sur le bouton « Essayer maintenant » en haut à droite.

Ensuite, vous devrez vous connecter à votre compte Google. Pour ce faire, cliquez sur le bouton « Se connecter avec Google » sur la page qui s’affiche.

Vous devez autoriser la plateforme à accéder à votre compte Google. Cliquez sur le bouton « Continuer » pour continuer.

Enfin, vous pouvez saisir votre invite dans la case prévue à cet effet. Tapez une invite détaillée, comme a close-up shot of an eagle soaring through the sky, looking down on the ground for prey. Par défaut, l’option « Améliorer l’invite » sera activée, mais vous pouvez la désactiver si vous le souhaitez en cliquant à l’intérieur de la case à cocher. Cliquez sur la flèche pointant vers le haut pour générer votre vidéo.

Attendez quelques minutes jusqu’à ce que Dream Machine génère la vidéo. Une fois le processus terminé, vous verrez la vidéo générée sous Mes créations. En cliquant dessus, la lecture de la vidéo commencera.

Si vous souhaitez prolonger la vidéo, cliquez sur le bouton « Prolonger » sous la vidéo.

Cela fera apparaître la boîte de dialogue dans laquelle vous pourrez ajouter plus de détails pour étendre la vidéo. Entrez votre invite, aimez the eagle lands on a rock next to a river, looking at fishes jumping out of the water and back inside, puis cliquez sur le bouton fléché.

Dream Machine prolongera votre vidéo de cinq secondes en utilisant la nouvelle invite que vous avez fournie.

Vous pouvez également télécharger les vidéos générées en cliquant sur le bouton « Télécharger ».

Limites d’utilisation et tarifs

Bien que vous puissiez utiliser Dream Machine gratuitement, vous devrez créer un compte sur la plateforme pour le faire. Le plan gratuit permet aux utilisateurs de générer 30 vidéos par mois, mais il existe un plan payant coûtant 499 $ qui permet de générer jusqu’à 2 000 vidéos par mois. De plus, en raison de la forte demande, la plateforme limite les générations gratuites à 5/jour. Cependant, il n’y a pas de limite quotidienne pour les utilisateurs payants.

Limites de la plateforme

Bien que Dream Machine puisse générer des vidéos de haute qualité, la plateforme présente certaines limitations dont vous devez être conscient. Il s’agit notamment du célèbre problème Janus, dans lequel la plateforme affiche plusieurs vues d’un objet dans différentes directions au lieu de fournir une sortie 3D cohérente. De plus, il existe des problèmes de morphing, de texte et de mouvement.

Cependant, ce sont des problèmes assez courants dans les produits de génération de texte en vidéo, ils ne sont donc pas spécifiques à Dream Machine uniquement.

Dream Machine est similaire à de nombreux autres outils de génération de vidéos qui sont disponibles sur le marché. Ce qui le différencie, cependant, est la haute qualité des vidéos générées et son framework open source. Malheureusement, ses limites dans son état actuel signifient que Luma AI a encore un long chemin à parcourir avant que la plateforme ne soit adaptée à une utilisation régulière.

Si vous souhaitez l’essayer, vous pouvez le faire comme nous l’avons expliqué ci-dessus, mais nous vous suggérons de garder votre journée libre d’autres activités, car la forte demande peut vous obliger à attendre votre tour dans la file d’attente.