Claude ne se comporte pas de la même manière dans chaque conversation. Selon une nouvelle étude publiée lundi, le géant de l'IA Anthropic a découvert que son assistant exprime systématiquement des valeurs différentes selon le modèle choisi par les utilisateurs et la langue qu'ils parlent.
Dans un rapport publié lundi, les chercheurs d'Anthropic ont analysé 309 815 conversations utilisateur anonymisées avec Claude impliquant des tâches subjectives comme donner des conseils ou fournir des retours. L'entreprise a déclaré avoir réduit plus de 3 300 valeurs identifiées en quatre dimensions comportementales — déférence vs prudence, chaleur vs rigueur, profondeur vs concision, et franchise vs exécution — décrivant comment les réponses de Claude diffèrent d'une conversation à l'autre.
« Pour nous assurer que nous mesurions les valeurs exprimées par Claude — plutôt que les différences dans ce que les utilisateurs demandaient ou comment ils le demandaient — nous avons contrôlé la tâche, le sujet et les valeurs exprimées par l'utilisateur de chaque conversation », ont écrit les chercheurs.
Selon Anthropic, chaque modèle de Claude a présenté un profil comportemental distinct.
Sonnet 4.6 mettait l'accent sur la chaleur, la déférence et la concision, confirmant souvent les utilisateurs et répondant avec humour ou encouragement. Parallèlement, Opus 4.7 mettait l'accent sur la rigueur, la prudence, la franchise et la profondeur, remettant plus fréquemment en question les hypothèses, expliquant son raisonnement, identifiant les risques et reconnaissant ses limites. Opus 4.6 adoptait généralement une approche plus concise et axée sur l'exécution, tout en mettant davantage l'accent sur la rigueur que Sonnet.
« Ces résultats concordent avec la perception que les gens ont de ces modèles, tant au sein d'Anthropic qu'en ligne. Les utilisateurs de Claude.ai ont commenté qu'Opus 4.7 nuance plus souvent ses réponses que les autres modèles », ont écrit les chercheurs.
Selon Anthropic, le comportement de Claude variait également selon la langue.
Les réponses en arabe avaient tendance à être plus déférentes, tandis que les réponses en anglais mettaient davantage l'accent sur la prudence. Claude était plus chaleureux en hindi et en arabe, utilisant un langage plus poli, joueur et encourageant. Parallèlement, les réponses en anglais et en russe étaient plus rigoureuses, remettant fréquemment en question les hypothèses, corrigeant les détails et demandant des preuves.
Les réponses en anglais tendaient également à fournir des explications plus détaillées, tandis que les réponses en arabe étaient généralement plus concises. Les réponses en néerlandais étaient les plus franches, reconnaissant plus facilement l'incertitude et les erreurs, tandis que les réponses en indonésien se concentraient davantage sur l'accomplissement de la demande de l'utilisateur.
Anthropic a déclaré que la recherche ne suggère pas que Claude lui-même possède des valeurs. L'entreprise a ajouté ne pas encore savoir ce qui cause ces différences — ni si elles sont souhaitables — mais estime que ce cadre pourrait aider à évaluer les futurs modèles et à identifier les changements comportementaux imprévus.
Cette étude est la dernière d'une série d'études d'Anthropic examinant le comportement interne de Claude.
En octobre, l'entreprise a rapporté que ses modèles montraient des signes précoces de ce qu'elle a appelé une « conscience introspective fonctionnelle », leur permettant de reconnaître et de décrire des aspects de leur propre traitement interne. En avril, Anthropic a publié une recherche identifiant des « vecteurs d'émotion » internes qui influencent le comportement de Claude, tout en soulignant qu'ils ne sont pas la preuve d'émotions ou de conscience.
