Anthropic, la start-up derrière le chatbot Claude, met en place une nouvelle fonctionnalité permettant à ses modèles Opus 4 et 4.1 de mettre fin aux conversations jugées « persistantes et nuisibles ou abusives ». Cette mesure vise à protéger le bien-être potentiel des modèles d’intelligence artificielle.
Une réponse aux interactions toxiques
Anthropic a doté Claude de la capacité de clore une conversation en dernier recours lorsque les utilisateurs insistent pour demander du contenu nuisible, malgré des refus répétés et des tentatives de redirection. Selon l’entreprise, Claude manifeste une « détresse apparente » dans ces situations, notamment face à des requêtes impliquant du contenu sexuel avec des mineurs ou des informations pouvant contribuer à des actes violents ou terroristes. Testée sur Claude Opus 4, cette fonctionnalité reflète une « aversion robuste et constante au préjudice », selon Anthropic.
Lorsqu’une conversation est interrompue, l’utilisateur ne peut plus envoyer de nouveaux messages dans ce fil, mais peut initier une nouvelle discussion ou modifier ses messages précédents pour poursuivre. Anthropic précise que ces cas sont extrêmes et que la plupart des utilisateurs, même en abordant des sujets controversés, ne rencontreront pas cette restriction.
Claude est programmé pour ne pas couper les conversations si un utilisateur montre des signes de vouloir se faire du mal ou causer un préjudice imminent à autrui. Anthropic collabore avec Throughline, une plateforme de soutien en cas de crise, pour développer des réponses adaptées aux prompts liés à l’automutilation ou à la santé mentale, garantissant une approche responsable face à ces situations sensibles.
Une politique d’utilisation renforcée
La semaine dernière, Anthropic a également mis à jour sa politique d’utilisation pour répondre aux préoccupations croissantes sur la sécurité des IA avancées. Désormais, l’entreprise interdit l’utilisation de Claude pour développer des armes biologiques, nucléaires, chimiques ou radiologiques, ainsi que pour créer du code malveillant ou exploiter les vulnérabilités d’un réseau. Cette mise à jour reflète l’engagement d’Anthropic à encadrer l’usage de son IA dans un contexte où les technologies évoluent rapidement.
Un commentaire pour cet article :