KultureGeek Logiciels IA : le chatbot médical de Google réussit l’examen de médecine américain

Logiciels

IA : le chatbot médical de Google réussit l’examen de médecine américain

13 Juil. 2023 • 19:30

Le chatbot médical de Google a réussi l’examen de médecine aux États-Unis, mais ses résultats restent en deçà de ceux des humains, indique une étude publiée dans Nature.

Le chatbot de Google est médecin… ou presque

La santé est un domaine où la technologie a déjà montré des progrès tangibles, certains algorithmes se révélant capables de lire des scanners médicaux mieux que les humains.

Google avait dévoilé son outil d’IA dédié aux questions médicales, appelé Med-PaLM, dans un article en pré-publication, en décembre. Contrairement à ChatGPT, il n’a pas été ouvert au grand public.

Google affirme que Med-PaLM a été le premier grand modèle de langage à réussir l’USMLE (US Medical Licensing Examination). La réussite de cet examen permet d’exercer la médecine aux États-Unis. Pour y parvenir, il faut obtenir un score de 60% environ. En février, une étude avait révélé que ChatGPT avait obtenu des résultats plutôt satisfaisants à l’examen.

Dans une nouvelle étude, les chercheurs de Google ont déclaré que Med-PaLM avait atteint 67,6% en répondant aux questions à choix multiples de style USMLE. Ces résultats sont « encourageants, mais restent inférieurs à ceux des humains », indique l’étude.

Pour identifier et réduire ce que l’on appelle les « hallucinations » — le mot qui désigne une réponse manifestement fausse proposée par un modèle d’IA —, Google a indiqué avoir développé une nouvelle référence d’évaluation. Karan Singhal, chercheur chez Google et auteur principal de la nouvelle étude, a expliqué que son équipe avait testé une version plus récente du modèle. Med-PaLM 2 a atteint le score de 86,5% à l’examen USMLE, dépassant la version précédente.

Un test dans un hôpital

Selon le Wall Street Journal, Med-PaLM 2 est en test dans le prestigieux hôpital de recherche américain Mayo Clinic depuis avril. Tout test effectué avec Med-PaLM 2 ne sera pas « clinique, ni face au patient, ni susceptible de nuire aux patients », a assuré Karan Singhal. Le modèle sera plutôt testé pour des « tâches administratives qui peuvent être automatisées relativement facilement, avec de faibles enjeux », a-t-il ajouté.

Signaler une erreur dans le texte

Les sujets liés à ces tags pourraient vous interesser

Laisser un commentaire

Sauvegarder mon pseudo et mon adresse e-mail pour la prochaine fois.

Fils des commentaires

Quelques règles à respecter :

1. Restez dans le sujet de l'article
2. Respectez les autres lecteurs : pas de messages agressifs, vulgaires, haineux,…
3. Relisez-vous avant de soumettre un commentaire : pas de langage SMS, et vérifiez l'orthographe avant de valider (les navigateurs soulignent les fautes).
4. En cas d'erreur, faute d'orthographe, et/ou omission dans l'article , merci de nous contacter via la page Contact.

Nous nous réservons le droit de supprimer les commentaires qui ne respectent pas ces règles