TENDANCES
Comparateur
- AUTO
KultureGeek Logiciels Insolite : quand Super Mario Bros. est utilisé pour « benchmarker » les modèles d’IA
Insolite : quand Super Mario Bros. est utilisé pour « benchmarker » les modèles d’IA
Les chercheurs du Hao AI Lab, affilié à l’Université de Californie à San Diego, ont testé des modèles d’IA… via une version modifiée du célèbre jeu vidéo Super Mario Bros. et à l’aide d’un émulateur customisé baptisé GamingAgent. Ce système fournit aux IA des instructions de jeu de base ainsi que des captures d’écran, les LLMs devant ensuite utiliser ces données pour générer des commandes en Python et ainsi contrôler Mario.
Parmi les modèles testés, Claude 3.7 d‘Anthropic s’est le mieux classé, suivi de Claude 3.5, tandis que Gemini 1.5 Pro de Google et GPT-4o d’OpenAI ont eu plus de difficultés à diriger le petit plombier. Fait surprenant, les modèles basés sur le raisonnement, habituellement performants en résolution de problèmes, ont obtenu de moins bons résultats que les modèles non basés sur le raisonnement, probablement en raison de la nécessité de prendre des décisions en une fraction de seconde dans un jeu vidéo en temps réel. Ces résultats soulignent en un sens la difficulté d’appliquer aux IA les plus avancées une planification stratégique à des environnements rapides et dynamiques.
Les jeux vidéo sont depuis longtemps utilisés pour évaluer les capacités de l’IA, au point que certains experts remettent en question leur pertinence par rapport aux principes d’adaptation dans le monde réel. Contrairement aux situations complexes de la vie quotidienne, les jeux vidéo offrent des défis structurés et abstraits avec une quantité pratiquement infinie de données d’entraînement. Andrej Karpathy, chercheur chez OpenAI, a ainsi qualifié la tendance actuelle des benchmarks de jeux vidéo d’« évaluation en crise », un avis sévère et peut-être dû au fait que GPT-4o n’est pas sorti gagnant du « bench Super Mario ». Serait-on mauvais joueur (et mauvais perdant) chez OpenAI ?
Les derniers articles
Nintendo sera à la Gamescom 2025, après son absence l’an dernier
Nintendo annonce son grand retour à la Gamescom 2025, important salon européen dédié au jeu vidéo, après avoir...
GitHub dévoile un agent IA pour vous aider à coder
GitHub franchit une nouvelle étape dans l’automatisation du développement avec le lancement d’un agent de codage dopé...
Jade Raymond quitte PlayStation et laisse le GAAS Fairgames en bien mauvaise posture
Ex productrice reconnue lorsqu’elle travaillait encore pour Ubisoft, Jade Raymond accumule les déconvenues depuis son départ de Google...
Xhamster, Tukif : la justice débloque temporairement les sites pornos en France
Nouveau rebondissement dans la saga judiciaire autour du blocage de sites pornographiques en France. Dans deux arrêts rendus ce mois-ci,...
Toei Animation (Dragon Ball) va utiliser l’IA dans ses productions
Toei Animation, le célèbre studio à l’origine de succès animés comme Dragon Ball, One Piece et Sailor Moon, a...
Les bons plans live 24h/24
Moulinex Super Uno Friteuse 2,2L Capacité 1,5 kg frites 1800 W Thermostat ajustable Ouverture automatique Nettoyage Facile Cuve anti-adhésive amovible Filtre anti-odeur Anti-projection Blanc AM312010
ASUS Zenbook S 13 OLED (UX5304VA-NQ018W)
Fujifilm WCL-X100 II Lentille de Conversion Grand Angle 16534716 Gris/Noir
Smeg HBF02CREU Mixeur à main, Crème
Samsung TAMB N 60K MLT-R307/SEE - livrable en France
JBL Tuner XL Puissant Portable
Huawei P40 Pro Smart View Flip Étui cellulaire, Accessoire Original, Noir
Thrustmaster TFRP RUDDER palonnier réaliste adapté à tout type de vol compatible PC / PS4
DREAME L10s Pro Ultra Heat Robot Aspirateur Laveur, Extension de serpillière, Auto-Nettoyage Automatique des serpillières avec de l'eau Chaude, Aspiration de 7 000 Pa, Application Dreamehome - livrable en France
Electrolux PD82-Green Aspirateur avec sac, puissance max 600 W, système d'aspiration AeroPro, 2 brosses, accessoire 3 en 1
WN PRO: Météo Prévisions Radar
Météo
13:20:Sync
Navigation
Sadhana - The way back
Jeux
Ordesa - le film interactif
Jeux
Agonizer
Musique
VS – Visual Synthesizer
Musique
Super Tank Battle - MobileArmy
Divertissement
Draw Studio Pro - Paint, Edit
Economie et entreprise
Facture Facile
Economie et entreprise
SAGA Synth | 16-Bit Sonic Fun!
Musique
Romy et Michelle - 10 ans après
Comédie
High Fidelity
Romance
Good Morning, Vietnam
Drame
Intraçable
Drame
Arachnophobie
Horreur
Prends le ballon, passe le ballon
Documentaire
The Moon
Science-fi et fantasy
Sick of Myself
Drame
