OpenAI reconnaît une régression de son IA ChatGPT sur certains aspects

L'intelligence artificielle (IA) du programme ChatGPT d'OpenAI n'échappe pas aux critiques, notamment face à une baisse de performance dans certaines de ses tâches. Cette baisse de régime a été confirmée par une récente étude menée par l'université de Stanford. Si OpenAI assure constamment travailler à l'amélioration de son système, il est tout de même admis que certaines failles peuvent se faire sentir avec le temps.

Des utilisateurs insatisfaits

OpenAI a dû constater certaines critiques virulentes à l'égard de son service ChatGPT. Plusieurs utilisateurs ont noté une baisse de performance notable dans l'accomplissement de certaines tâches par l'IA. L'entreprise n'a pas manqué de réagir à ces réclamations, en adoptant une position de transparence.

La position d'OpenAI

OpenAI reconnaît ouvertement que les performances de son IA pourraient avoir connu une certaine érosion. En détail, l'entreprise déclare : « Nous considérons une multitude de critères d'évaluation pour déterminer si un nouveau modèle doit être mis en déroute. Même si la majorité des mesures ont connu une amélioration, les performances peuvent décroître pour certaines tâches. ». L'entreprise encourage par ailleurs ses utilisateurs à signaler toute lacune décelée sur les modèles existants.

Optimisation du modèle

OpenAI rassure ses utilisateurs en assurant la stabilité des modèles épinglés individuellement et encourage à utiliser la bibliothèque OpenAI Evals Library sur Github pour mieux cerner les problèmes. Cependant, OpenAI demeure silencieuse concernant le processus d'amélioration de son IA, générant ainsi des interrogations sur les raisons précises de ces fluctuations de performances.

ChatGPT à l'épreuve d'une étude

Suite à ces critiques, une étude de l'université de Stanford a pointé du doigt le modèle linguistique GPT-4, cœur du programme ChatGPT. Ce modèle présenterait des difficultés pour résoudre certains problèmes mathématiques en juin comparé à mars.

Un constat relevé par les chercheurs

James Zuo, l'un des chercheurs de Stanford, décrypte cette évolution et souligne que "Il existe toutes sortes d’interdépendances intéressantes dans la manière dont le modèle répond aux questions, ce qui peut conduire à une aggravation des comportements que nous avons observés." Cette étude soulève alors un questionnement sur l'optimisation constante de ces IA, qui semblent pourtant montrer des signes de faiblesses.