De nombreux spécialistes dont l’ancien scientifique en chef d’OpenAI Ilya Sutskever se sont exprimés sur ce sujet ces dernières semaines, certains d’entre eux prophétisant même que les modèles d’IA sont à l’aube d’un effondrement de leur qualité à cause d’une carence de données vraiment neuves. Elon Musk, propriétaire de X et fondateur de la société d’IA xAI, semble d’accord avec ces experts, ainsi qu’il l’a confirmé lors d’une conversation en direct sur X avec Mark Penn, le président de la société Stagwell : « Nous avons épuisé la somme cumulative des connaissances humaines pour l’entraînement de l’IA. Cela s’est produit essentiellement l’année dernière. »
En l’absence de nouvelles données, il sera nécessaire de modifier les méthodes d’entrainement des IA pour que ces dernières gardent leur pertinence. La plupart des poids lourds de l’IA (Microsoft, Meta, OpenAI ou bien encore Anthropic) ont choisi une même solution consistant à entrainer les IA avec des données synthétiques, c’est à dire des données créées par les IA elle-mêmes. Le soucis est bien que ces données synthétiques sont susceptibles de contenir une myriade d’erreurs, d’anomalies ou de biais par rapport à des données de confiance issues du monde réel, ce qui pour certains spécialistes pourrait entrainer à terme un effondrement de la qualité des IA.
A ce sujet, Musk croit déjà savoir ce qu’il faut faire : « La seule façon de compléter [les données du monde réel] est avec des données synthétiques, où l’IA crée [des données d’entraînement]. Avec les données synthétiques, l’IA s’auto-évaluera et traversera ce processus d’auto-apprentissage. » Reste encore à mettre en place des méthodes d’auto-évaluation réellement efficaces, ce qui ne semble pas encore être le cas si l’on en croit plusieurs upgrades de modèles récents.
Un commentaire pour cet article :