TENDANCES
Comparateur
- AUTO
KultureGeek Logiciels Insolite : quand Super Mario Bros. est utilisé pour « benchmarker » les modèles d’IA
Insolite : quand Super Mario Bros. est utilisé pour « benchmarker » les modèles d’IA
Les chercheurs du Hao AI Lab, affilié à l’Université de Californie à San Diego, ont testé des modèles d’IA… via une version modifiée du célèbre jeu vidéo Super Mario Bros. et à l’aide d’un émulateur customisé baptisé GamingAgent. Ce système fournit aux IA des instructions de jeu de base ainsi que des captures d’écran, les LLMs devant ensuite utiliser ces données pour générer des commandes en Python et ainsi contrôler Mario.
Parmi les modèles testés, Claude 3.7 d‘Anthropic s’est le mieux classé, suivi de Claude 3.5, tandis que Gemini 1.5 Pro de Google et GPT-4o d’OpenAI ont eu plus de difficultés à diriger le petit plombier. Fait surprenant, les modèles basés sur le raisonnement, habituellement performants en résolution de problèmes, ont obtenu de moins bons résultats que les modèles non basés sur le raisonnement, probablement en raison de la nécessité de prendre des décisions en une fraction de seconde dans un jeu vidéo en temps réel. Ces résultats soulignent en un sens la difficulté d’appliquer aux IA les plus avancées une planification stratégique à des environnements rapides et dynamiques.
Les jeux vidéo sont depuis longtemps utilisés pour évaluer les capacités de l’IA, au point que certains experts remettent en question leur pertinence par rapport aux principes d’adaptation dans le monde réel. Contrairement aux situations complexes de la vie quotidienne, les jeux vidéo offrent des défis structurés et abstraits avec une quantité pratiquement infinie de données d’entraînement. Andrej Karpathy, chercheur chez OpenAI, a ainsi qualifié la tendance actuelle des benchmarks de jeux vidéo d’« évaluation en crise », un avis sévère et peut-être dû au fait que GPT-4o n’est pas sorti gagnant du « bench Super Mario ». Serait-on mauvais joueur (et mauvais perdant) chez OpenAI ?
Les derniers articles
Le PlayStation Portal ajoute le cloud gaming pour les jeux PS5
Une mise à jour importante transforme le PlayStation Portal, qui s’émancipe de la PS5 grâce au support complet du cloud...
La Momie : Brendan Fraser et Rachel Weisz de retour dans la nouvelle suite du film culte
Vingt-cinq ans après le succès planétaire de La Momie (1999), Universal Pictures relance sa franchise culte avec le retour...
La procédure de suspension de Shein en France est lancée, annonce le gouvernement
Le gouvernement français a annoncé engager une procédure de suspension de Shein, sommant la plateforme de commerce en ligne de...
ChatGPT Atlas : comment OpenAI a développé son navigateur-IA grâce à OWL
Avec le lancement de ChatGPT Atlas, OpenAI transforme la navigation web en une expérience assistée par IA. Au cœur de cette innovation...
Spotify est accusé de fausses écoutes (streams) dans une plainte
Une nouvelle plainte collective déposée en Californie place Spotify sur la sellette, accusant le service de streaming de fermer les yeux sur...
Les bons plans live 24h/24
Philips HR7510/10 Robot compact 800W, avec blender 1 L et presse-agrume
Aspirateur balai DYSON V12 Origin
Apple Watch Ultra 2 (49 mm GPS + Cellular) Montre de Sport connectée avec Boîtier en Titane Noir et Bracelet Milanais Titane Noir (Large). Suivi de l’activité, GPS Haute précision, Neutre en Carbone
Apple Watch Series 10 (46 mm GPS + Cellular) Montre connectée avec Boîtier en Titane Naturel et Bracelet Milanais Naturel (S/M). Suivi de l’activité Physique, app ECG, écran Retina Toujours activé
Bose QuietComfort Ultra Headphones, Casque sans Fil à réduction de Bruit avec Audio Spatial, Casque Bluetooth Confortable, Jusqu’à 24 h d’autonomie de la Batterie, Bleu Sidéral - Édition Limitée
SUUNTO Race S Montre Sport Femme Homme, Tracker d'Activités GPS Running, Bi-Band GNSS, Carte Hors Ligne, Écran Tactile AMOLED, Smartwatch Cardiofréquencemètre Podomètre Altimètre, 13 Jours d'Autonomie
Batteur électrique - PHILIPS - HR3705/10 - 300 W - 5 vitesses + turbo - Blanc
Hotte décorative murale Smeg KBT9L4VN
Meubles hi-fi NorStone Esse Hi-Fi Noir satin
Centrale Vapeur PHILIPS PSG3010/70 - Compact et pratique - Réservoir d'eau 1,2L - Effet pressing - Système anticalcaire intelligent
[#BonPlan] Les promos High-Tech du 3 novembre
myDream Universe - Build Solar
Divertissement
Tempi: BPM Counter & Detector
Musique
ReSlice
Musique
Cosmic-Watch
Education
Diapason Pro
Musique
Super Tank Battle - MobileArmy
Divertissement
Metadata
Photo et vidéo
Bed Time | Grande Horloge
Utilitaires
ROD Multiplayer Conduite
Jeux
Video Grabber
Divertissement
Predator 2
Science-fi et fantasy
Pentagon Papers
Drame
Spider in the Web
Thriller
Doom: Annihilation
Drame
The Veil
Horreur
Serenity (2005)
Action et aventure
Coeur de Dragon
Action et aventure
Echange Standard
Comédie
