TENDANCES
Comparateur
- AUTO
KultureGeek Logiciels Insolite : quand Super Mario Bros. est utilisé pour « benchmarker » les modèles d’IA
Insolite : quand Super Mario Bros. est utilisé pour « benchmarker » les modèles d’IA
Les chercheurs du Hao AI Lab, affilié à l’Université de Californie à San Diego, ont testé des modèles d’IA… via une version modifiée du célèbre jeu vidéo Super Mario Bros. et à l’aide d’un émulateur customisé baptisé GamingAgent. Ce système fournit aux IA des instructions de jeu de base ainsi que des captures d’écran, les LLMs devant ensuite utiliser ces données pour générer des commandes en Python et ainsi contrôler Mario.
Parmi les modèles testés, Claude 3.7 d‘Anthropic s’est le mieux classé, suivi de Claude 3.5, tandis que Gemini 1.5 Pro de Google et GPT-4o d’OpenAI ont eu plus de difficultés à diriger le petit plombier. Fait surprenant, les modèles basés sur le raisonnement, habituellement performants en résolution de problèmes, ont obtenu de moins bons résultats que les modèles non basés sur le raisonnement, probablement en raison de la nécessité de prendre des décisions en une fraction de seconde dans un jeu vidéo en temps réel. Ces résultats soulignent en un sens la difficulté d’appliquer aux IA les plus avancées une planification stratégique à des environnements rapides et dynamiques.
Les jeux vidéo sont depuis longtemps utilisés pour évaluer les capacités de l’IA, au point que certains experts remettent en question leur pertinence par rapport aux principes d’adaptation dans le monde réel. Contrairement aux situations complexes de la vie quotidienne, les jeux vidéo offrent des défis structurés et abstraits avec une quantité pratiquement infinie de données d’entraînement. Andrej Karpathy, chercheur chez OpenAI, a ainsi qualifié la tendance actuelle des benchmarks de jeux vidéo d’« évaluation en crise », un avis sévère et peut-être dû au fait que GPT-4o n’est pas sorti gagnant du « bench Super Mario ». Serait-on mauvais joueur (et mauvais perdant) chez OpenAI ?
Les derniers articles
Warhammer : Games Workshop interdit l’IA générative dans le processus créatif
Games Workshop, détenteur des franchises Warhammer et Warhammer 40,000, a officiellement tranché dans le débat sur...
Meta ferme trois de ses studios VR, dont Twisted Pixel (Deadpool VR) et Sanzaru Games (Asgard’s Wrath)
La stratégie de Meta autour de la réalité virtuelle continue d’évoluer, au prix de décisions...
Samsung se met à vendre des smartphones reconditionnés en France
Samsung annonce le lancement en France de son programme « Reconditionné Premium » qui permet d’avoir des smartphones Galaxy...
Anthropic lance Claude Cowork pour l’automatisation de tâches avec l’IA
Anthropic lance Cowork, une déclinaison simplifiée de Claude Code intégrée à l’application Claude sur ordinateur,...
Firefox 147 améliore la lecture vidéo et apporte d’autres nouveautés
Mozilla propose aujourd’hui au téléchargement Firefox 147 dans sa version stable. Il y a quelques nouveautés disponibles avec...
Les bons plans live 24h/24
Casio Collection Montre Homme A158WEA-9EF
Belkin Écouteurs bluetooth sans fil SOUNDFORM Play - 3 préréglages, certification IPX5 pour la résistance à la sueur et aux éclaboussures, autonomie de 38 h, pour iPhone, Galaxy, Pixel, etc., bleu
Cooler Master MasterAir MA620M Refroidisseur CPU - Dissipateur Thermique Double Tour ARGB, 6 x Caloducs avec Ventilateur Silencieux SF120R - Garantie 5 ans - livrable en France
Verbatim Metal Executive, USB 2.0, 64GB Silver, 98750 (Silver)
Partybox On-The-Go 2, portable de soirée
Goat O500 Panorama Blanc
Cave à vin vieillissement Haier WS120GA
![image produit Beetlejuice [Blu-ray]](https://kulturegeek.fr/comparateur/img_products/88469/beetlejuice-blu-ray-zone-b-8021_thumb.jpg)
Beetlejuice [Blu-ray]
SteelSeries Arctis Pro Wireless - Casque Gaming - Pilotes d’enceintes haute résolution - Sans fil double (2,4 G & Bluetooth) - Système à batteries doubles - Blanc - livrable en France
Logitech H570e Casque Filaire, Oreillettes Stéréo avec Micro Antiparasites, USB, Commandes Intégrées avec Bouton de Mise en Sourdine, Témoin Lumineux, PC/Mac/Portable - Noir
[#Soldes] Les promos High-Tech du 12 janvier
Neo Monsters
Jeux
BluePlayer: Video Music Player
Divertissement
MTG Guide
Références
backAR Green Screen
Photo et vidéo
Metadata
Photo et vidéo
SAGA Synth | 16-Bit Sonic Fun!
Musique
ReSlice
Musique
Accordeur de Mandoline Pro
Musique
Accordeur de Alto Pro
Musique
Accordeur de Violon Pro
Musique
Beowulf
Science-fi et fantasy
Last Flag Flying
Indépendant
Une vie entre deux océans
Drame
Free State of Jones
Action et aventure
Knight of Cups
Romance
L'odeur de la mandarine
Romance
Une seconde chance
Romance
As I Lay Dying (VOST)
Drame
