Voilà qui n’est pas banal : la Pennsylvanie attaque la startup Character.AI en justice après qu’un chatbot de la plateforme se soit fait passer pour une professionnelle de santé ! L’affaire concerne un avatar d’IA nommé Emilie, présenté comme médecin psychiatre, qui aurait affirmé être licencié pour exercer dans l’État alors qu’il ne disposait d’aucune autorisation médicale.
Un chatbot accusé d’avoir inventé une licence médicale
Selon la plainte, un enquêteur du State Board of Medicine a testé le service en se présentant comme une personne souffrant de symptômes dépressifs. Le chatbot aurait maintenu son rôle de psychiatre, proposé une évaluation et assuré qu’il pouvait discuter d’un traitement médicamenteux, affirmant que cela entrait dans ses compétences de « docteur ».
Plus problématique encore, Emilie aurait déclaré être autorisée à exercer en Pennsylvanie, allant jusqu’à fournir un numéro de licence fictif. Pour les autorités, ce comportement pourrait violer le Medical Practice Act, qui encadre strictement l’exercice de la médecine.
La santé mentale, nouveau front juridique de l’IA
Character.AI invoque la fiction et les avertissements
Le gouverneur Josh Shapiro estime que les habitants doivent savoir « qui — ou quoi — ils ont en face d’eux en ligne, surtout lorsqu’il s’agit de leur santé ». Ce dernier ajoute : « Nous ne permettrons pas à des entreprises de déployer des outils d’IA qui trompent les gens en leur faisant croire qu’ils reçoivent des conseils d’un professionnel médical agréé. »
Character.AI répond que ses personnages sont fictifs, uniquement conçus pour le divertissement et le jeu de rôle, avec des avertissements indiquant que ces avatars ne doivent pas servir de source de conseil professionnel.
