TENDANCES
Comparateur
- AUTO
KultureGeek Logiciels Insolite : quand Super Mario Bros. est utilisé pour « benchmarker » les modèles d’IA
Insolite : quand Super Mario Bros. est utilisé pour « benchmarker » les modèles d’IA
Les chercheurs du Hao AI Lab, affilié à l’Université de Californie à San Diego, ont testé des modèles d’IA… via une version modifiée du célèbre jeu vidéo Super Mario Bros. et à l’aide d’un émulateur customisé baptisé GamingAgent. Ce système fournit aux IA des instructions de jeu de base ainsi que des captures d’écran, les LLMs devant ensuite utiliser ces données pour générer des commandes en Python et ainsi contrôler Mario.
Parmi les modèles testés, Claude 3.7 d‘Anthropic s’est le mieux classé, suivi de Claude 3.5, tandis que Gemini 1.5 Pro de Google et GPT-4o d’OpenAI ont eu plus de difficultés à diriger le petit plombier. Fait surprenant, les modèles basés sur le raisonnement, habituellement performants en résolution de problèmes, ont obtenu de moins bons résultats que les modèles non basés sur le raisonnement, probablement en raison de la nécessité de prendre des décisions en une fraction de seconde dans un jeu vidéo en temps réel. Ces résultats soulignent en un sens la difficulté d’appliquer aux IA les plus avancées une planification stratégique à des environnements rapides et dynamiques.
Les jeux vidéo sont depuis longtemps utilisés pour évaluer les capacités de l’IA, au point que certains experts remettent en question leur pertinence par rapport aux principes d’adaptation dans le monde réel. Contrairement aux situations complexes de la vie quotidienne, les jeux vidéo offrent des défis structurés et abstraits avec une quantité pratiquement infinie de données d’entraînement. Andrej Karpathy, chercheur chez OpenAI, a ainsi qualifié la tendance actuelle des benchmarks de jeux vidéo d’« évaluation en crise », un avis sévère et peut-être dû au fait que GPT-4o n’est pas sorti gagnant du « bench Super Mario ». Serait-on mauvais joueur (et mauvais perdant) chez OpenAI ?
Lisez aussi ces autres articles !
Les derniers articles
Samsung dévoile un ordinateur « attaché-case » avec écran flexible
Samsung a profité du MWC de Barcelone pour dévoiler un joli paquet de nouveautés, dont certains concepts particulièrement...
La sonde Blue Ghost s’est posée sur la Lune
Blue Ghost est la troisième sonde privée américaine envoyée sur la Lune dans le cadre du programme CLPS (Commercial Lunar...
IA : Anthropic (Claude) atteint 61,5 milliards de dollars de valorisation
La start-up américaine Anthropic, spécialisée dans l’intelligence artificielle générative et responsable du...
Xiaomi 15 Ultra : le nouveau roi des photophones ?
Lors du Mobile World Congress (MWC) 2025 à Barcelone, Xiaomi a présenté plusieurs nouveautés marquantes, avec en tête de...
Insolite : quand Super Mario Bros. est utilisé pour « benchmarker » les modèles d’IA
Les chercheurs du Hao AI Lab, affilié à l’Université de Californie à San Diego, ont testé des modèles...
Les bons plans live 24h/24
Samsung Galaxy Tab S9 FE+ Tablette, 12.4'' Wifi 128Go, S Pen inclus, Batterie longue durée, Certification IP 68, Lavande, Version FR
JoJo's Bizarre Adventure: All-Star Battle R (PS5)
GIGABYTE Aorus Z690 AORUS Tachyon Prise 1700/Z690/DDR5/S-ATA 600/ATX étendu Carte mère Noir
ASUS ROG STRIX Z690-A GAMING WIFI – Carte mère gaming Intel Z690 LGA 1700 ATX (PCIe 5.0, DDR5, WiFi 6 E, 2.5 Gb LAN, 4 x M.2, PCIe Slot Q-Release, USB 3.2 Gen 2x2 Type-C, SATA, AURA Sync RGB)
Philips Hue White Ambiance Buckram Spot Plafonnier Spirale 4X5,5W - Blanc (Télécommande Incluse), Compatible Bluetooth
Samyang MF 1,4/85 MK2 Canon EF - livrable en France
TRENDnet TI-IG30 Injecteur Noir
Rotel RMB-1555 amplificateur audio 4.1 canaux Maison Argent - Amplificateurs audio (4.1 canaux, 120 W, 0,03%, 116 dB, 10-100000 Hz, 120-230 V)
Pentax 62852 Jumelles AD 10 x 36 WP avec Etui Noir
Pack enceinte Home Cinéma Klipsch THEATER PACK 5.0
[#BonPlan] Les promos high-tech du 3 mars
Radar de pluie - Cartes météo
Météo
SkySafari Eclipse 2024
Références
Model 15 Modular Synthesizer
Musique
About Love and Hate
Jeux
TaskTask for Outlook Tasks
Productivité
This Is the Police 2
Jeux
Galaxy Trucker Pocket
Jeux
Metadata
Photo et vidéo
Air Share - Transfert Wi-Fi
Economie et entreprise
SAGA Synth | 16-Bit Sonic Fun!
Musique
La Marginale
Drame
Hopeless
Drame
New Life (2023)
Science-fi et fantasy
Frères
Indépendant
Paternel
Drame
The Fall Guy
Thriller
La Vie est Belle (1947)
Classiques
Miraculous : Le film
Enfants / famille
