KultureGeek Logiciels ChatGPT : en programmation, l’IA aurait tout faux une fois sur deux

ChatGPT : en programmation, l’IA aurait tout faux une fois sur deux

2 min.
24 Mai. 2024 • 20:08
4

Il est sans doute bon de rappeler que les IA ne sont toujours pas infaillibles. Loin s’en faut même si l’on en croit une étude de l’Université Purdue dans l’Indiana, qui conclut que ChatGPT répond incorrectement à des questions de programmation informatique 52 % du temps. Aie.

Intelligence Artificielle Cerveau Puce

Présentée à la conférence sur l’interaction homme-ordinateur à Hawaï, l’étude a analysé 517 questions de programmation issues de Stack Overflow, qui ont ensuite été traitées par ChatGPT. Les résultats, rapportés pour la première fois par Futurism, dévoilent des problèmes significatifs de précision avec le chatbot. « Notre analyse montre que 52 % des réponses de ChatGPT contiennent des informations incorrectes et 77 % sont verbeuses », explique l’étude. Mais il y a un soucis peut-être plus inquiétant encore : malgré les nombreuses erreurs de ChatGPT, 35% des participants (tous développeurs) à l’étude ont indiqué préférer les réponses de ChatGPT à cause de son exhaustivité et… de son phrasé bien articulé. Dans 39% des cas, les programmeurs ont même ignoré les réponses fausses.

Ces résultats indiquent que les IA ne sont pas prêtes à réellement remplacer les êtres humains pour nombres de tâches relativement complexes, mais ce n’est pas forcément une mauvaise nouvelle si cela doit pousser les géants de l’IA à mieux encadrer leur LLM et à favoriser la mise en place d’outils d’autoévaluation. On notera aussi que cette étude tombe au moment où l’IA Gemini de Google est accusée de produire de trop nombreuses réponses absurdes.

SOURCEGizmodo

Signaler une erreur dans le texte

Les sujets liés à ces tags pourraient vous interesser

4 commentaires pour cet article :

  • Maverick
    Apres ChatGPT n’a pas ete entrainer dans ce but! Il faudtait se tourner vers un outils comme github copilot pour tester les capacites de l’IA a produire du code
    • John
      Si je ne me trompe pas, c’est tout le contraire. À la base cette IA avait été développée pour assister les développeurs dans le code et faciliter le développement. Le fait d’afficher des résultats aussi faible pose question. Pour ma part, chaque fois que j’en ai eu besoin pour du code, il m’a fait gagner un temps fou, à partir du moment où je lui ai posé mon prompt au complet et correctement.
  • Maxime
    Je suis et étonné de ce résultat. Jutilise chatgpt quasi quotidiennement pour lui demander des bout de codes HTML, CSS, TYPESCRIPT, JAVA, KOTLIN… et franchement il me fait gagner un temps fou ! En effet il se trompe souvent “un peu” mais apres 2, 3 ou 10 interraction avec lui il finnit par vous crasher un code convenable ! Peut etre que votre statistique est faussée car elle compte les résultats « juste du premier coup » ?
    • Dalics
      Il m’est déjà arrivé de lui demander du code C/C++ pour ma part, c’est 0/20 pour moi.

Les derniers articles

United Airlines avion

Panne géante du trafic aérien américain : le FBI enquête sur les routeurs à l’origine du chaos

17 Nov. 2026 • 13:21
0 Internet

Une défaillance informatique aura donc suffi à paralyser le trafic aérien américain pendant plus de quatre heures. Le FBI participe désormais aux...

GTA 6 Lucia Jason Moto

GTA 6 : comment y jouer 12 heures avant tout le monde sur Xbox Series

17 Nov. 2026 • 12:05
0 Jeux vidéo

Les fans de Grand Theft Auto VI n’auront peut-être pas besoin d’attendre minuit pour découvrir le nouveau jeu de Rockstar Games… si...

TRMNL e-paper tableau

TRMNL Frame : un écran e-paper couleur de 31,5 pouces à 1 300 dollars… pour afficher des œuvres d’art

17 Nov. 2026 • 10:45
0 Matériel

Un écran en guise de tableau, c’est le pari de TRMNL avec Frame, un grand cadre numérique qui mise sur la technologie du papier électronique...

OpenAI Logo

La Californie poursuit OpenAI après la cyberattaque par son IA

17 Nov. 2026 • 9:30
0 Internet

La Californie a attaqué OpenAI en justice pour avoir développé et testé des modèles d’intelligence artificielle sans protections suffisantes....

GTA 6 Lucia Jason Voiture Piercing

GTA 6 : le hacker à l’origine de la fuite de 2022 plaide coupable

16 Nov. 2026 • 20:59
0 Jeux vidéo

Arion Kurtaj, le hacker qui avait dérobé et diffusé les premières images de GTA 6 en septembre 2022, a plaidé coupable aujourd’hui devant la...

Les dernières actus Apple sur iPhoneAddict :

Comparateur

Recherchez le meilleur prix des produits Hi-tech

Recherche

Recherchez des articles sur le site