Pourquoi le créateur de ChatGPT n’a aucun intérêt à empêcher son chatbot d’halluciner
OpenAI sait enfin pourquoi son chatbot hallucine, et quelle stratégie pourrait limiter le problème. Mais, selon un expert de l’université de Sheffield, la solution coûterait trop cher. Les hallucinations des chatbots sont-elles inévitables ?
Les hallucinations des chatbots sont un véritable problème. Les grands modèles de langage (LLM) ont une fâcheuse tendance à inventer des informations, et à les présenter comme des faits établis. Cela rend toute leur production peu fiable, et pourtant ils sont de plus en plus utilisés dans des situations où les erreurs sont inacceptables, notamment dans des environnements professionnels et même en médecine.
Plus tôt ce mois-ci, OpenAI avait annoncé en avoir trouvé la cause, et proposé une solution. L’apparition des hallucinations, selon les chercheurs de la firme, est due à la manière d’entraîner les LLM. Ils sont récompensés pour les bonnes réponses, mais pas pour les mauvaises ni pour les incertitudes. Si pour l’IA, dire « je ne sais pas » et se tromper reviennent au même, mieux vaut tenter de deviner la bonne réponse quitte à faire des erreurs.
La solution d’OpenAI : un score d’incertitude
La solution serait donc d’obliger les LLM à calculer un score d’incertitude à chaque fois, et à refuser de répondre lorsque ce score est trop élevé. Pour les inciter à éviter les erreurs, les expressions d’incertitude seraient mieux récompensées que les mauvaises réponses. Jusque-là, cela semble assez simple, et il serait facile de penser qu’OpenAI pourrait mettre en place cette nouvelle stratégie très rapidement. Mais selon Wei Xing, spécialiste de l’optimisation de l’IA à l’université de Sheffield, le créateur de ChatGPT n’a aucun intérêt à empêcher son chatbot d’halluciner.
Dans une interview avec The Conversation, il explique qu’éliminer les hallucinations serait contreproductif. Calculer un score de confiance augmente la quantité de calculs nécessaires pour accomplir les mêmes tâches. Cela entraîne donc une consommation d’énergie et des coûts de fonctionnement plus élevés pour OpenAI. À l’échelle du nombre d’utilisateurs de ChatGPT, la différence devient significative.
Source : futura-sciences.com
