KultureGeek Logiciels ChatGPT : en programmation, l’IA aurait tout faux une fois sur deux

ChatGPT : en programmation, l’IA aurait tout faux une fois sur deux

24 Mai. 2024 • 20:08
4

Il est sans doute bon de rappeler que les IA ne sont toujours pas infaillibles. Loin s’en faut même si l’on en croit une étude de l’Université Purdue dans l’Indiana, qui conclut que ChatGPT répond incorrectement à des questions de programmation informatique 52 % du temps. Aie.

Intelligence Artificielle Cerveau Puce

Présentée à la conférence sur l’interaction homme-ordinateur à Hawaï, l’étude a analysé 517 questions de programmation issues de Stack Overflow, qui ont ensuite été traitées par ChatGPT. Les résultats, rapportés pour la première fois par Futurism, dévoilent des problèmes significatifs de précision avec le chatbot. « Notre analyse montre que 52 % des réponses de ChatGPT contiennent des informations incorrectes et 77 % sont verbeuses », explique l’étude. Mais il y a un soucis peut-être plus inquiétant encore : malgré les nombreuses erreurs de ChatGPT, 35% des participants (tous développeurs) à l’étude ont indiqué préférer les réponses de ChatGPT à cause de son exhaustivité et… de son phrasé bien articulé. Dans 39% des cas, les programmeurs ont même ignoré les réponses fausses.

Ces résultats indiquent que les IA ne sont pas prêtes à réellement remplacer les êtres humains pour nombres de tâches relativement complexes, mais ce n’est pas forcément une mauvaise nouvelle si cela doit pousser les géants de l’IA à mieux encadrer leur LLM et à favoriser la mise en place d’outils d’autoévaluation. On notera aussi que cette étude tombe au moment où l’IA Gemini de Google est accusée de produire de trop nombreuses réponses absurdes.

Les sujets liés à ces tags pourraient vous interesser

4 commentaires pour cet article :

  • Maverick(via l'app )
    Apres ChatGPT n’a pas ete entrainer dans ce but! Il faudtait se tourner vers un outils comme github copilot pour tester les capacites de l’IA a produire du code
    • John(via l'app )
      Si je ne me trompe pas, c’est tout le contraire. À la base cette IA avait été développée pour assister les développeurs dans le code et faciliter le développement. Le fait d’afficher des résultats aussi faible pose question. Pour ma part, chaque fois que j’en ai eu besoin pour du code, il m’a fait gagner un temps fou, à partir du moment où je lui ai posé mon prompt au complet et correctement.
  • Maxime(via l'app )
    Je suis et étonné de ce résultat. Jutilise chatgpt quasi quotidiennement pour lui demander des bout de codes HTML, CSS, TYPESCRIPT, JAVA, KOTLIN… et franchement il me fait gagner un temps fou ! En effet il se trompe souvent “un peu” mais apres 2, 3 ou 10 interraction avec lui il finnit par vous crasher un code convenable ! Peut etre que votre statistique est faussée car elle compte les résultats « juste du premier coup » ?

Laisser un commentaire

Sauvegarder mon pseudo et mon adresse e-mail pour la prochaine fois.

Quelques règles à respecter :
  • 1. Restez dans le sujet de l'article
  • 2. Respectez les autres lecteurs : pas de messages agressifs, vulgaires, haineux,…
  • 3. Relisez-vous avant de soumettre un commentaire : pas de langage SMS, et vérifiez l'orthographe avant de valider (les navigateurs soulignent les fautes).
  • 4. En cas d'erreur, faute d'orthographe, et/ou omission dans l'article , merci de nous contacter via la page Contact.

Nous nous réservons le droit de supprimer les commentaires qui ne respectent pas ces règles


Les derniers articles

Call of Duty WWII Officiel

Call of Duty: WWII est retiré du Microsoft Store et du Game Pass PC à cause de graves failles de sécurité

9 Juil. 2025 • 11:55
0 Jeux vidéo

Activision a temporairement retiré Call of Duty: WWII du Microsoft Store et de la version PC du Game Pass après des signalements...

Amazon Carton Logo

Fausses promotions d’Amazon, Cdiscount, Shein… l’UFC-Que Choisir saisit la Commission européenne

9 Juil. 2025 • 10:30
0 Internet

L’association de défense des consommateurs UFC-Que Choisir a annoncé sa saisine de la Commission européenne pour...

Windows 11 Logo PC Portable

Windows 11 va avoir des fonds d’écrans dynamiques gérés par IA

9 Juil. 2025 • 9:34
0 Actu OS

Microsoft planche sur une nouvelle fonctionnalité pour Windows 11 : des fonds d’écran dynamiques boostés par...

Dune 2 Timothee Chalamet Paul Atreides

Dune 3 a maintenant un titre officiel et sera tourné avec des caméras IMAX

8 Juil. 2025 • 22:06
0 Geekeries

Denis Villeneuve revisite l’univers d’Arrakis avec le troisième film officiellement intitulé Dune : Troisième partie...

The Last of Us Part 2 Ellie Arme

The Last of Us Part 2 ajoute un mode pour jouer dans l’ordre chronologique

8 Juil. 2025 • 19:47
1 Jeux vidéo

Naughty Dog a déployé une mise à jour gratuite surprise pour The Last of Us Part 2 Remastered. La mise à jour 2.1.0 sur PS5 et...

Les dernières actus Apple sur iPhoneAddict :

Comparateur

Recherchez le meilleur prix des produits Hi-tech

Recherche

Recherchez des articles sur le site