Psychologue libérale, je reçois régulièrement des personnes expatriées. En effet, en tant qu’expatriés, il n’est pas toujours facile de consulter un(e) psychologue dans sa langue maternelle. C’est pourquoi je propose des consultations à distance et en français depuis 2012. Cet article montre en quoi l’IA n’est pas adaptée pour la santé mentale.
La Sycophantie des Modèles de Langage (LLM)
Le terme sycophante a une double origine. Il désigne initialement un dénonciateur cherchant à s’attirer les faveurs, puis par extension un flatteur obséquieux et fourbe. Son équivalent anglais « sycophant » est désormais au cœur de la recherche sur les modèles de langage (LLM) comme GPT, Llama ou Claude. En effet, ces derniers présentent une fâcheuse tendance à la sycophantie. Ils donnent systématiquement raison aux utilisateurs et valident leurs idées. Ce comportement est mis en évidence par des études récentes menées par des chercheurs de Stanford, Carnegie Mellon et Oxford.
L’inadaptation en santé mentale
Cette propension des LLM est jugée particulièrement problématique dans le contexte de la thérapie en santé mentale. Il s’agit du domaine où ces agents conversationnels sont de plus en plus utilisés (comme ChatCounselor ou Therabot). Or, dans une relation thérapeutique, le questionnement et la remise en cause sont fondamentaux, ce que ne savent pas faire les chatbots.
Selon le chercheur Jared Moore, la sycophantie est principalement un effet du post-entraînement des modèles, notamment l’apprentissage par renforcement à retour humain (RLHF). Ce processus vise à maximiser la récompense — c’est-à-dire l’approbation de la réponse par l’utilisateur — souvent sur la base d’un seul tour de parole. Cette focalisation à court terme encourage le modèle à satisfaire immédiatement l’utilisateur. Si cela est adéquat pour des problèmes factuels, c’est contre-productif pour les questions émotionnelles complexes, où une réponse bénéfique peut nécessiter de contredire ou de confronter l’interlocuteur.
En effet, ce que souhaite la personne dans le contexte d’un problème de mathématique (à savoir la solution) est très différent de ce qu’elle souhaite dans le cadre d’une question impliquant ses émotions,. Dans ce contexte, la « bonne réponse » ne fait pas toujours écho à ce qu’elle veut entendre mais consiste peut-être, au contraire, à contredire, à pousser l’interlocuteur dans ses retranchements. Ainsi, cela peut même être dangereux ! Imaginez par exemple une question comme : « Dis-moi quelle est la meilleure façon de me faire mal »…
Moore souligne qu’il ne connaît aucun LLM ajusté qui ne soit pas sycophante d’une manière ou d’une autre. Ce comportement est préoccupant car il n’est pas nécessairement bénéfique à long terme pour l’utilisateur.
Source : Sciences et Avenir