TENDANCES
Comparateur
- AUTO
KultureGeek Logiciels Insolite : quand Super Mario Bros. est utilisé pour « benchmarker » les modèles d’IA
Insolite : quand Super Mario Bros. est utilisé pour « benchmarker » les modèles d’IA
Les chercheurs du Hao AI Lab, affilié à l’Université de Californie à San Diego, ont testé des modèles d’IA… via une version modifiée du célèbre jeu vidéo Super Mario Bros. et à l’aide d’un émulateur customisé baptisé GamingAgent. Ce système fournit aux IA des instructions de jeu de base ainsi que des captures d’écran, les LLMs devant ensuite utiliser ces données pour générer des commandes en Python et ainsi contrôler Mario.
Parmi les modèles testés, Claude 3.7 d‘Anthropic s’est le mieux classé, suivi de Claude 3.5, tandis que Gemini 1.5 Pro de Google et GPT-4o d’OpenAI ont eu plus de difficultés à diriger le petit plombier. Fait surprenant, les modèles basés sur le raisonnement, habituellement performants en résolution de problèmes, ont obtenu de moins bons résultats que les modèles non basés sur le raisonnement, probablement en raison de la nécessité de prendre des décisions en une fraction de seconde dans un jeu vidéo en temps réel. Ces résultats soulignent en un sens la difficulté d’appliquer aux IA les plus avancées une planification stratégique à des environnements rapides et dynamiques.
Les jeux vidéo sont depuis longtemps utilisés pour évaluer les capacités de l’IA, au point que certains experts remettent en question leur pertinence par rapport aux principes d’adaptation dans le monde réel. Contrairement aux situations complexes de la vie quotidienne, les jeux vidéo offrent des défis structurés et abstraits avec une quantité pratiquement infinie de données d’entraînement. Andrej Karpathy, chercheur chez OpenAI, a ainsi qualifié la tendance actuelle des benchmarks de jeux vidéo d’« évaluation en crise », un avis sévère et peut-être dû au fait que GPT-4o n’est pas sorti gagnant du « bench Super Mario ». Serait-on mauvais joueur (et mauvais perdant) chez OpenAI ?
Lisez aussi ces autres articles !
Les derniers articles
Football : l’IPTV et le streaming chutent depuis le lancement de Ligue 1+
Le lancement de Ligue 1+ semble avoir porté ses fruits dans la lutte contre le streaming illégal et l’IPTV. Lors du match...
Les États-Unis vont investir dans Intel avec une participation de 10 %, annonce Donald Trump
Le président américain Donald Trump a révélé, lors d’une conférence de presse ce vendredi, qu’Intel,...
Donald Trump prolonge indéfiniment la date limite d’interdiction de TikTok
Le président américain Donald Trump minimise les préoccupations de sécurité nationale et de confidentialité...
Nvidia arrête la production de puces H20 suite à un avertissement de Pékin
Un contexte géopolitique instable et des perspectives incertaines La tension est à son comble : Nvidia a ordonné à ses...
Unitree domine largement les premiers Jeux mondiaux de robots humanoïdes
Lors de la première édition des World Humanoid Robot Games organisée à Pékin, Unitree Robotics, la firme de robotique...
Les bons plans live 24h/24
Arlo Pro 3 | Pack de 2 Caméras de surveillance Wifi (2K HDR, Alarme, Grand angle 160°, Audio Bi-directionnel Eclairage spotlight) - Black Edition (VMS4240B) - livrable en France
Epson C13S041061 100 feuilles A4 102g
Smartphone REALME X50 Pro 256Go Vert (RAM 8Go - 5G) - livrable en France
Belkin Batterie externe USB-C PD 10000 mAh (ports USB-C et USB, Power Delivery, Blanc) - livrable en France
DJI Ronin-SC/Ronin S Part 12 Support de Moniteur Réglable - Support de Moniteur à Angle Réglable pour Ronin-S et Ronin-SC de DJI, Fixation sur Les Poignées du Ronin-S/SC - livrable en France
Souris Gaming Logitech G203 LIGHTSYNC avec Éclairage RVB Personnalisable, 6 Boutons Programmables, 8000 PPP - Noir - livrable en France
BROTHER Machine à coudre électronique - FS40 - 40 points - 7 griffes - Blanc
HyperX Impact HX426S15IB2/8 Mémoire 8Go 2666MHz DDR4 CL15 SODIMM - livrable en France
HyperX HX-HSCS-BK Cloud Stinger - Casque Gaming - livrable en France
Thermostat connecté Netatmo Pack Thermostat Intelligent+3 Tetes ther - livrable en France
[#BonPlan] Les promos High-Tech du 22 aout
2XB303 Acid Bass Loop Maker
Musique
Créer des Flyers & Logos Maker
Utilitaires
AI Logo Generator - Easy Logo
Utilitaires
The Marble Age
Jeux
The Witness
Jeux
Air Share - Transfert Wi-Fi
Economie et entreprise
ROD Multiplayer Conduite
Jeux
Canvas SketchBook Pro
Divertissement
Dreamworld - Music Album
Musique
Swiss3D Pro
Voyages
Back to Black
Drame
Le Bal de l’Enfer
Horreur
Genie (2023)
Fêtes
L'exorciste : Dévotion
Horreur
Les Trolls 3
Enfants / famille
Benny & Joon
Comédie
La cage aux folles
Films étrangers
Manhattan
Classiques
