TENDANCES
Comparateur
  • AUTO
KultureGeek Logiciels Insolite : quand Super Mario Bros. est utilisé pour « benchmarker » les modèles d’IA
Logiciels

Insolite : quand Super Mario Bros. est utilisé pour « benchmarker » les modèles d’IA

4 Mar. 2025 • 11:10
0

Les chercheurs du Hao AI Lab, affilié à l’Université de Californie à San Diego, ont testé des modèles d’IA… via une version modifiée du célèbre jeu vidéo Super Mario Bros. et à l’aide d’un émulateur customisé baptisé GamingAgent. Ce système fournit aux IA des instructions de jeu de base ainsi que des captures d’écran, les LLMs devant ensuite utiliser ces données pour générer des commandes en Python et ainsi contrôler Mario.

Super Mario Bench AI

Parmi les modèles testés, Claude 3.7 d‘Anthropic s’est le mieux classé, suivi de Claude 3.5, tandis que Gemini 1.5 Pro de Google et GPT-4o d’OpenAI ont eu plus de difficultés à diriger le petit plombier. Fait surprenant, les modèles basés sur le raisonnement, habituellement performants en résolution de problèmes, ont obtenu de moins bons résultats que les modèles non basés sur le raisonnement, probablement en raison de la nécessité de prendre des décisions en une fraction de seconde dans un jeu vidéo en temps réel. Ces résultats soulignent en un sens la difficulté d’appliquer aux IA les plus avancées une planification stratégique à des environnements rapides et dynamiques.

Les jeux vidéo sont depuis longtemps utilisés pour évaluer les capacités de l’IA, au point que certains experts remettent en question leur pertinence par rapport aux principes d’adaptation dans le monde réel. Contrairement aux situations complexes de la vie quotidienne, les jeux vidéo offrent des défis structurés et abstraits avec une quantité pratiquement infinie de données d’entraînement. Andrej Karpathy, chercheur chez OpenAI, a ainsi qualifié la tendance actuelle des benchmarks de jeux vidéo d’« évaluation en crise », un avis sévère et peut-être dû au fait que GPT-4o n’est pas sorti gagnant du « bench Super Mario ». Serait-on mauvais joueur (et mauvais perdant) chez OpenAI ?

Signaler une erreur dans le texte

Vous utilisez Google Actualités ? Suivez KultureGeek pour ne rien rater de l'actu High-Tech !
Les sujets liés à ces tags pourraient vous interesser

Lisez aussi ces autres articles !

Intelligence artificielle Logiciels

Microsoft cherchait à intégrer d’autres modèles d’IA à 365 Copilot

OpenAI Logo Internet

OpenAI annonce o3 et o3-mini, ses nouveaux modèles d’IA

OpenAI Logo Internet

IA : OpenAI et Anthropic vont donner accès à leurs modèles au gouvernement américain

Laisser un commentaire

Sauvegarder mon pseudo et mon adresse e-mail pour la prochaine fois.

Fils des commentaires
Quelques règles à respecter :
  • 1. Restez dans le sujet de l'article
  • 2. Respectez les autres lecteurs : pas de messages agressifs, vulgaires, haineux,…
  • 3. Relisez-vous avant de soumettre un commentaire : pas de langage SMS, et vérifiez l'orthographe avant de valider (les navigateurs soulignent les fautes).
  • 4. En cas d'erreur, faute d'orthographe, et/ou omission dans l'article , merci de nous contacter via la page Contact.

Nous nous réservons le droit de supprimer les commentaires qui ne respectent pas ces règles


Les derniers articles

civilization VII Meta Quest 3

Civilization VII VR prend date sur le Meta Quest 3 (prix et précommandes)

4 Avr. 2025 • 16:30
0 Jeux vidéo

Civilization VII VR sera la première version XR du célèbre jeux de stratégie. Cette version propose une expérience...

MunchKin

Tarifs douaniers : Steve Jackson Games prévient que le prix des jeux de société va fortement augmenter

4 Avr. 2025 • 15:15
0 Hors-Sujet

La guerre commerciale totale que les États-Unis viennent de démarrer va avoir des conséquences très lourdes pour un grand...

TikTok Logo Drapeau Americain

Rachat de TikTok : Donald Trump dit être « très proche » d’un accord

4 Avr. 2025 • 14:10
0 Internet

Donald Trump a annoncé être « très proche » de parvenir à un accord avec un...

Data Center Serveurs

Microsoft réduit la voilure sur le cloud

4 Avr. 2025 • 12:35
0 Internet

Microsoft aurait réduit l’expansion de ses centres de données à l’échelle mondiale, retardant ou annulant des...

Midjourney V7

Midjourney passe à la V7 : personnalisation, nouveau mode Draft, et des mains enfin parfaites

4 Avr. 2025 • 11:10
0 Logiciels

Midjourney vient de lancer la 7ème itération de son générateur d’image, une V7 qui a commencé à être...

Les dernières actus Apple sur iPhoneAddict :

Tous les articles
image de l'article Apple Music ajoute la lecture en Dolby Atmos sur les PC Windows

Apple Music ajoute la lecture en Dolby Atmos sur les PC Windows

4 Apr. 2025 • 15:16

image de l'article Apple Arcade : 6 nouveaux jeux débarquent dans le service, dont Katamari Damacy et Roller Coaster Tycoon

Apple Arcade : 6 nouveaux jeux débarquent dans le service, dont Katamari Damacy et Roller Coaster Tycoon

4 Apr. 2025 • 14:45

image de l'article Puces Ax et Apple Silicon : Apple devrait largement bénéficier d’un joint-venture entre TSMC et Intel

Puces Ax et Apple Silicon : Apple devrait largement bénéficier d’un joint-venture entre TSMC et Intel

4 Apr. 2025 • 13:20

image de l'article Brevet : Apple veut utiliser l’IA pour détecter les traces sur l’objectif photo de l’iPhone

Brevet : Apple veut utiliser l’IA pour détecter les traces sur l’objectif photo de l’iPhone

4 Apr. 2025 • 11:55

Comparateur

Recherchez le meilleur prix des produits Hi-tech

Recherche

Recherchez des articles sur le site