TENDANCES
Comparateur
- AUTO
KultureGeek Logiciels Insolite : quand Super Mario Bros. est utilisé pour « benchmarker » les modèles d’IA
Insolite : quand Super Mario Bros. est utilisé pour « benchmarker » les modèles d’IA
Les chercheurs du Hao AI Lab, affilié à l’Université de Californie à San Diego, ont testé des modèles d’IA… via une version modifiée du célèbre jeu vidéo Super Mario Bros. et à l’aide d’un émulateur customisé baptisé GamingAgent. Ce système fournit aux IA des instructions de jeu de base ainsi que des captures d’écran, les LLMs devant ensuite utiliser ces données pour générer des commandes en Python et ainsi contrôler Mario.
Parmi les modèles testés, Claude 3.7 d‘Anthropic s’est le mieux classé, suivi de Claude 3.5, tandis que Gemini 1.5 Pro de Google et GPT-4o d’OpenAI ont eu plus de difficultés à diriger le petit plombier. Fait surprenant, les modèles basés sur le raisonnement, habituellement performants en résolution de problèmes, ont obtenu de moins bons résultats que les modèles non basés sur le raisonnement, probablement en raison de la nécessité de prendre des décisions en une fraction de seconde dans un jeu vidéo en temps réel. Ces résultats soulignent en un sens la difficulté d’appliquer aux IA les plus avancées une planification stratégique à des environnements rapides et dynamiques.
Les jeux vidéo sont depuis longtemps utilisés pour évaluer les capacités de l’IA, au point que certains experts remettent en question leur pertinence par rapport aux principes d’adaptation dans le monde réel. Contrairement aux situations complexes de la vie quotidienne, les jeux vidéo offrent des défis structurés et abstraits avec une quantité pratiquement infinie de données d’entraînement. Andrej Karpathy, chercheur chez OpenAI, a ainsi qualifié la tendance actuelle des benchmarks de jeux vidéo d’« évaluation en crise », un avis sévère et peut-être dû au fait que GPT-4o n’est pas sorti gagnant du « bench Super Mario ». Serait-on mauvais joueur (et mauvais perdant) chez OpenAI ?
Lisez aussi ces autres articles !
Les derniers articles
Xiaomi 15 Ultra : le nouveau roi des photophones ?
Lors du Mobile World Congress (MWC) 2025 à Barcelone, Xiaomi a présenté plusieurs nouveautés marquantes, avec en tête de...
Insolite : quand Super Mario Bros. est utilisé pour « benchmarker » les modèles d’IA
Les chercheurs du Hao AI Lab, affilié à l’Université de Californie à San Diego, ont testé des modèles...
Ariane 6 : le premier vol commercial reporté à la dernière minute
« Une anomalie a été détectée au niveau des équipements, au sol (…). Une vanne s’est...
YouTube va proposer des contenus venant de services de streaming payants
YouTube se prépare à lancer une refonte importante de son application TV. Cette mise à jour, qui devrait arriver dans les prochains...
🔥 [#BonPlan] Les promos high-tech du 3 mars
Chaque jour nous dénichons pour vous des promos sur les produits High-Tech pour vous faire économiser le plus d’argent possible. Voici...
Les bons plans live 24h/24
Processeur AMD Ryzen Threadripper PRO 3955WX (100-100000167WOF)
Sage - The Barista Express Impress - Bourrage assisté Machine à Café à Grain avec Mousseur à Lait, Acier Inoxydable Brossé
Jeu Dragon 3 sur Nintendo Switch (Code dans la boîte)
Canon MAXIFY GX7050 imprimante 4-en-1 bureautique - Jet d'encre à réservoir Rechargeable, Blanc
TV LED SAMSUNG TU55CU6905 2024
Pack enceinte Home Cinéma Klipsch THEATER PACK 5.0
Philips monitors Philips Écran incurvé 346E2CUAE 86 cm (34 pouces) (HDMI, DisplayPort, USB-C, 3440 x 1440 px, 100 Hz, FreeSync) noir - livrable en France
Aspirateur balai DYSON V11 extra
Apple Watch Series 10 (42 mm GPS + Cellular) Montre connectée avec Boîtier en Titane Ardoise et Bracelet Sport Noir (S/M). Suivi de l’activité Physique, app ECG, écran Retina Toujours activé
Raclette Electrolux ERACPARTY
[#BonPlan] Les promos high-tech du 3 mars
Radar de pluie - Cartes météo
Météo
SkySafari Eclipse 2024
Références
Model 15 Modular Synthesizer
Musique
About Love and Hate
Jeux
AirDisk Pro
Productivité
TaskTask for Outlook Tasks
Productivité
This Is the Police 2
Jeux
Galaxy Trucker Pocket
Jeux
Metadata
Photo et vidéo
Air Share - Transfert Wi-Fi
Economie et entreprise
Hopeless
Drame
New Life (2023)
Science-fi et fantasy
Frères
Indépendant
Paternel
Drame
The Fall Guy
Thriller
La Vie est Belle (1947)
Classiques
Miraculous : Le film
Enfants / famille
Non ce pays n'est pas pour le vieil homme
Thriller
