Google DeepMind dévoile SIMA 2 : un agent d’IA capable de jouer, de raisonner et d’apprendre dans des mondes virtuels 3D.

La branche IA de l'entreprise technologique Google, Google DeepMind a introduit SIMA 2, la dernière version de son agent multimonde instructible évolutif, marquant une évolution vers des agents d'IA plus performants et à usage général. 

S'appuyant sur les capacités de raisonnement avancées des modèles Gemini, le système va au-delà du simple suivi d'instructions dans des environnements virtuels et fonctionne désormais comme un compagnon interactif capable d'interpréter les objectifs, de converser avec les utilisateurs et d'améliorer ses performances au fil du temps. 

Le premier modèle SIMA a appris des centaines d'actions basées sur le langage dans des jeux vidéo commerciaux en observant les entrées à l'écran et en opérant avec des commandes virtuelles plutôt qu'avec des mécanismes de jeu intégrés. 

SIMA 2 fait progresser cette approche en intégrant Gemini comme noyau, permettant ainsi à l'agent de raisonner de manière orientée vers un but, d'expliquer ses intentions et d'exécuter des tâches plus complexes au sein des jeux. Entraîné à partir de démonstrations humaines et d'annotations générées par Gemini, l'agent a été testé sur un plus large éventail de jeux grâce à des partenariats avec de nombreux développeurs. Cette mise à jour représente une avancée majeure pour l'IA incarnée, combinant perception, raisonnement et action dans des environnements 3D dynamiques.

L'intégration de Gemini a renforcé la capacité de SIMA 2 à généraliser et à fonctionner de manière fiable dans des contextes inconnus. L'agent peut désormais interpréter des instructions plus détaillées et nuancées et les exécuter avec succès, même dans des jeux qu'il n'a jamais utilisés auparavant, comme ASKA, un jeu sur le thème des Vikings, ou MineDojo, une version de recherche de Minecraft. 

Sa capacité à appliquer des concepts appris à différents environnements — par exemple, en étendant l'idée d'« extraction » d'un jeu à la « récolte » dans un autre — constitue un élément clé de la généralisation à grande échelle et rapproche ses performances de celles d'un joueur humain. 

Afin d'évaluer ces capacités, SIMA 2 a également été testé dans des mondes 3D générés de manière procédurale par Genie 3, qui produit de nouveaux environnements à partir d'instructions textuelles ou visuelles. Dans ces environnements inconnus, l'agent a pu naviguer efficacement, interpréter les instructions et œuvrer pour atteindre les objectifs de l'utilisateur.defiobjectifs fixés, démontrant un niveau d'adaptabilité jamais observé auparavant dans des systèmes similaires.

SIMA 2 fait progresser l'IA auto-améliorante grâce à de nouvelles capacités de généralisation et d'apprentissage autonome.

Selon le Société L'une des évolutions les plus remarquables de SIMA 2 est sa capacité croissante à améliorer ses propres performances. Lors de son entraînement, l'agent a démontré qu'il pouvait accomplir des tâches de plus en plus complexes grâce à un processus itératif d'essais et d'erreurs, combiné aux retours de Gemini. Après un apprentissage initial basé sur des démonstrations humaines, SIMA 2 est capable de progresser dans de nouveaux jeux grâce à un jeu autonome, acquérant des compétences dans des environnements inconnus sans nécessiter de données humaines supplémentaires. Cette expérience peut ensuite être utilisée pour entraîner des versions ultérieures plus performantes de l'agent. Agent IA Ce même processus d'auto-amélioration a été appliqué avec succès dans les environnements générés par Genie, ce qui représente une avancée significative vers la formation d'agents génériques dans divers mondes synthétiques. Ce cycle d'amélioration continue soutient l'objectif à long terme de permettre aux agents d'apprendre avec une intervention humaine minimale.

Le fonctionnement de SIMA 2 dans une grande variété d'environnements de jeu constitue un terrain d'expérimentation important pour l'intelligence générale, lui permettant d'acquérir des compétences, de s'exercer au raisonnement et d'apprendre en continu par l'action autonome. Bien que le système représente une avancée significative vers une intelligence généraliste, interactive et incarnée, il conserve des limitations inhérentes à la phase de recherche. L'agent peine encore à accomplir des tâches complexes et de longue haleine nécessitant un raisonnement approfondi ou une vérification répétée des objectifs, et sa mémoire reste limitée en raison de la nécessité d'une interaction à faible latence dans un contexte restreint. La précision des actions fines et la compréhension visuelle de scènes 3D complexes demeurent également un défi majeur dans ce domaine.

Ce projet démontre le potentiel d'une approche d'IA orientée action, où une large compétence s'appuie sur des données d'entraînement diversifiées et de solides capacités de raisonnement. SIMA 2 montre que ces éléments peuvent être unifiés au sein d'un agent généraliste unique plutôt qu'isolés dans des systèmes spécialisés distincts, et ouvre la voie à des applications futures en robotique. En effet, nombre des compétences acquises dans des environnements virtuels – telles que la navigation, l'utilisation d'outils et la gestion collaborative de tâches – constituent des composantes fondamentales de l'IA incarnée.

SIMA 2 est conçu comme un agent de recherche interactif et centré sur l'humain. Son développement met l'accent sur des pratiques responsables, notamment en ce qui concerne ses mécanismes d'auto-amélioration. L'équipe a collaboré avec des spécialistes de l'innovation responsable tout au long du projet et publie SIMA 2 en avant-première pour la recherche, offrant un accès anticipé à une sélection d'universitaires et de développeurs de jeux. Cette approche progressive permet un examen continu, des retours d'information et une évaluation interdisciplinaire à mesure que la technologie et ses implications potentielles sont explorées plus en profondeur.