TENDANCES
Comparateur
- AUTO
KultureGeek Logiciels Insolite : quand Super Mario Bros. est utilisé pour « benchmarker » les modèles d’IA
Insolite : quand Super Mario Bros. est utilisé pour « benchmarker » les modèles d’IA
Les chercheurs du Hao AI Lab, affilié à l’Université de Californie à San Diego, ont testé des modèles d’IA… via une version modifiée du célèbre jeu vidéo Super Mario Bros. et à l’aide d’un émulateur customisé baptisé GamingAgent. Ce système fournit aux IA des instructions de jeu de base ainsi que des captures d’écran, les LLMs devant ensuite utiliser ces données pour générer des commandes en Python et ainsi contrôler Mario.
Parmi les modèles testés, Claude 3.7 d‘Anthropic s’est le mieux classé, suivi de Claude 3.5, tandis que Gemini 1.5 Pro de Google et GPT-4o d’OpenAI ont eu plus de difficultés à diriger le petit plombier. Fait surprenant, les modèles basés sur le raisonnement, habituellement performants en résolution de problèmes, ont obtenu de moins bons résultats que les modèles non basés sur le raisonnement, probablement en raison de la nécessité de prendre des décisions en une fraction de seconde dans un jeu vidéo en temps réel. Ces résultats soulignent en un sens la difficulté d’appliquer aux IA les plus avancées une planification stratégique à des environnements rapides et dynamiques.
Les jeux vidéo sont depuis longtemps utilisés pour évaluer les capacités de l’IA, au point que certains experts remettent en question leur pertinence par rapport aux principes d’adaptation dans le monde réel. Contrairement aux situations complexes de la vie quotidienne, les jeux vidéo offrent des défis structurés et abstraits avec une quantité pratiquement infinie de données d’entraînement. Andrej Karpathy, chercheur chez OpenAI, a ainsi qualifié la tendance actuelle des benchmarks de jeux vidéo d’« évaluation en crise », un avis sévère et peut-être dû au fait que GPT-4o n’est pas sorti gagnant du « bench Super Mario ». Serait-on mauvais joueur (et mauvais perdant) chez OpenAI ?
Lisez aussi ces autres articles !
Les derniers articles
Nsw2u, important site pour télécharger des jeux Switch, a été fermé par le FBI
Le FBI a procédé aujourd’hui à la fermeture de Nsw2u, l’un des plus gros sites de piratage pour télécharger...
YouTube annonce la fin prochaine de sa section Tendances
YouTube s’apprête à supprimer sa section Tendances, qui permet aux utilisateurs de découvrir les vidéos virales du...
Ligue 1+ : la LFP dévoile sa plateforme pour le football français, aussi en streaming
La Ligue de football professionnel (LFP) a annoncé aujourd’hui Ligue 1+, sa plateforme pour diffuser les matchs de la Ligue 1 pour la saison...
Donald Trump nomme Sean Duffy au poste de directeur intérimaire de la Nasa
Le poste ne sera pas resté vacant très longtemps. Après avoir mis à l’écart Jared Isaacman, initialement choisi...
Les bons plans live 24h/24
Sony NPA-MQZ1K Kit adaptateur multibatteries pour NP-FZ100 (pour appareil photo Sony A9)
tado° Sonde de température sans fil, un accessoire en complément des Têtes Thermostatiques Intelligentes, Installez par vous-même
NETGEAR MR5200 Nighthawk Routeur Mobile 5G SIM WiFi 6 sécurisé puissant 1.8 Gbit/s, Connecte jusqu’à 32 appareils, Compatible toutes SIM tous opérateurs, Batterie longue durée - livrable en France
Samsung 512 Go Pro Plus Carte Mémoire Micro SDXC (2023) jusqu’à 180/130 Mo/s - livrable en France
Samsung 256 Go Pro Plus Carte Mémoire Micro SDXC (2023) jusqu’à 180/130 Mo/s - livrable en France
Thrustmaster SimTask FarmStick - Joystick de simulation agricole de haute précision avec boutons programmables pour PC
CORSAIR iCUE Link AIO LCD Screen Module - Écran LCD IPS 2,1" - 24 LED RGB Adressables Individuellement - Installation sans Outil - Noir - livrable en France
CORSAIR iCUE Link AIO LCD Screen Module - Écran LCD IPS 2,1" - 24 LED RGB Adressables Individuellement - Installation sans Outil - Blanc - livrable en France
Moniteur de jeu TUF Gaming VG27AQL3A 27 pouces,QHD(2560x1440),180Hz,Fast IPS,ELMB Sync,1ms (GTG), Freesync Premium™,G-Sync,VESA AdaptiveSync Display 180Hz,Variable Overdrive,130% sRGB,DisplayHDR™ 400 - livrable en France
OM SYSTEM Tough TG-7 Noir, 12 MP, étanche, Antichoc, Modes de Prise de Vue sous-Marine et Macro, vidéo 4K, Zoom 4X Grand-Angle (successeur Olympus TG-6) - livrable en France
[Màj – Jour 3] Les Prime Days commencent, 4 jours de grosses promos sur Amazon
NotifiNote: Notification Notes
Utilitaires
NMJ Explorer
Divertissement
Canvas SketchBook Pro
Divertissement
Sadhana - The way back
Jeux
Ordesa - le film interactif
Jeux
Astro Gold
Style de vie
SAGA Synth | 16-Bit Sonic Fun!
Musique
TrackFlow – Habit Tracker
Productivité
KB-1 Keyboard Suite
Musique
RE-1 Tape Machine
Musique
Le Dernier Voyage du Demeter
Horreur
American Boys
Comédie
Les Razmoket À Paris, Le Film
Enfants / famille
Cool World
Science-fi et fantasy
Fantômes en fête
Fêtes
Paulie: Le perroquet qui parlait trop
Enfants / famille
Marathon Man
Classiques
El Dorado (1966)
Classiques
![image de l'article [Màj – Jour 3] Les Prime Days commencent, 4 jours de grosses promos sur Amazon](https://static.iphoneaddict.fr/wp-content/uploads/2021/06/Amazon-Prime-Day-624x492.jpg)
