TENDANCES
Comparateur
- AUTO
KultureGeek Logiciels Insolite : quand Super Mario Bros. est utilisé pour « benchmarker » les modèles d’IA
Insolite : quand Super Mario Bros. est utilisé pour « benchmarker » les modèles d’IA
Les chercheurs du Hao AI Lab, affilié à l’Université de Californie à San Diego, ont testé des modèles d’IA… via une version modifiée du célèbre jeu vidéo Super Mario Bros. et à l’aide d’un émulateur customisé baptisé GamingAgent. Ce système fournit aux IA des instructions de jeu de base ainsi que des captures d’écran, les LLMs devant ensuite utiliser ces données pour générer des commandes en Python et ainsi contrôler Mario.
Parmi les modèles testés, Claude 3.7 d‘Anthropic s’est le mieux classé, suivi de Claude 3.5, tandis que Gemini 1.5 Pro de Google et GPT-4o d’OpenAI ont eu plus de difficultés à diriger le petit plombier. Fait surprenant, les modèles basés sur le raisonnement, habituellement performants en résolution de problèmes, ont obtenu de moins bons résultats que les modèles non basés sur le raisonnement, probablement en raison de la nécessité de prendre des décisions en une fraction de seconde dans un jeu vidéo en temps réel. Ces résultats soulignent en un sens la difficulté d’appliquer aux IA les plus avancées une planification stratégique à des environnements rapides et dynamiques.
Les jeux vidéo sont depuis longtemps utilisés pour évaluer les capacités de l’IA, au point que certains experts remettent en question leur pertinence par rapport aux principes d’adaptation dans le monde réel. Contrairement aux situations complexes de la vie quotidienne, les jeux vidéo offrent des défis structurés et abstraits avec une quantité pratiquement infinie de données d’entraînement. Andrej Karpathy, chercheur chez OpenAI, a ainsi qualifié la tendance actuelle des benchmarks de jeux vidéo d’« évaluation en crise », un avis sévère et peut-être dû au fait que GPT-4o n’est pas sorti gagnant du « bench Super Mario ». Serait-on mauvais joueur (et mauvais perdant) chez OpenAI ?
Les derniers articles
Claude Opus 4.6 : Anthropic dévoile son modèle d’IA le plus intelligent
Anthropic accélère la course à l’intelligence artificielle avec le lancement de Claude Opus 4.6. Présenté comme...
Horizon Hunters Gathering : Guerrilla dévoile un spin-off coopératif sur PS5 et PC (trailer)
Guerrilla Games enrichit la licence Horizon avec Horizon Hunters Gathering, un spin-off orienté action et coopération prévu sur...
Spotify ajoute la synchronisation entre livres audio et livres papier
Après une phase de test, Spotify annonce Page Match, une nouvelle fonctionnalité qui permet aux utilisateurs de synchroniser la lecture...
Meta lance Vibes en application indépendante pour rivaliser avec les vidéos IA de TikTok et OpenAI
Meta teste actuellement une version autonome de Vibes, son service de création et de partage de vidéos générées par...
Substack victime d’une énorme fuite de données : des utilisateurs alertés plusieurs mois après l’intrusion
La plateforme de newsletters Substack a confirmé cette semaine avoir été la cible d’une violation de données...
Les bons plans live 24h/24
Samsung Galaxy Z Flip7, Smartphone Android 5G avec Galaxy AI, 256 Go, Smartphone déverrouillé, Bleu Nuit
Stylet numérique Logitech Crayon pour iPad (modèles d’iPad avec Ports USB-C) doté de la Technologie Apple Pencil, d’Un Design Anti-roulement et d’Une Pointe Intelligente Dynamique.
Akyga AK-ND-52 Adaptateur de Puissance & onduleur Intérieure 120 W Noir
hns61212xh
TP-Link TL-WA850RE(FR) Répéteur WiFi - Amplificateur WiFi N300, WiFi Extender, WiFi Booster, 1 Port Ethernet, Augmente la borne wifi, Compatible avec toutes les box internet,Blanc
Tête Thermostatique TRV 1.0 et adaptateurs - Delta Dore - TRV 1.0 Adapt - Chauffage connecté - Programmation - Contrôle vocal
Smartphone HONOR Magic 7 Pro Noir 512Go
BMOB20202B
TP-Link Tapo Smart Home Solar Powered Security Camera Kit, Wireless, 2K 3MP, IP65, Color Night Vision, Person Detection, Notification, No Hub Required, SD Card Slot, App Remote Control (TC82
[#Soldes] Les promos High-Tech du 5 février
Hygromètre - Humidité de l'air
Météo
Block vs Block II
Divertissement
backAR Green Screen
Photo et vidéo
The Secret of Crimson Manor
Jeux
Lootbox RPG
Jeux
Facture Facile
Economie et entreprise
Dungeons of Dreadrock 2
Jeux
Video Grabber
Divertissement
Hash Calculator
Utilitaires
Sadhana - The way back
Jeux
Reflet dans un diamant mort
Thriller
Mission: Impossible - Rogue Nation
Action et aventure
Terminator Genisys
Action et aventure
La neige tombait sur les cèdres
Drame
Jude
Drame
Kill Me Three Times
Action et aventure
Charlotte Gray
Thriller
Après l’hiver
Comédie
