Vendredi 25 septembre, au palais de l'Élysée, au premier jour de sa visite en France, Léon XIV a cité un livre que peu de monde attendait : La France contre les robots, de Georges Bernanos, publié à Rio de Janeiro en 1946. Devant Emmanuel Macron, le pape a repris l'expression de l'écrivain, le « paradis des machines », pour parler de l'intelligence artificielle.
La phrase exacte est plus précise que les titres qu'elle a inspirés : « Pour ne pas perdre notre humanité au milieu du paradis de machines qui envahissent et conditionnent notre quotidien, il est urgent de former les esprits à un discernement éthique, capable de voir ce qui est moralement bon. »
Le même jour, le pape a parlé deux autres fois de technique et de lien humain. Mis bout à bout, ils concernent directement ceux qui parlent chaque soir à un chatbot.
Trois discours en une journée
À l'Unesco, Léon XIV a décrit un paradoxe familier. Nous disposons, dit-il, des moyens de relier instantanément les personnes et les continents, et pourtant nous assistons à « l'émergence de nouvelles formes d'isolement, de pauvreté matérielle et spirituelle, et d'abandon ». L'intelligence artificielle, poursuit-il, « amplifie ce problème » : ces systèmes savent établir des corrélations entre les données, mais ne peuvent pas répondre aux questions qui concernent le sens d'une vie. Sa formule tient en six mots : « Le sens est l'oxygène de l'esprit. »
Le soir, au Stade de France, devant quelque 80 000 jeunes selon l'Associated Press, il a nommé la fatigue de l'écran parmi les poids qui pèsent sur leur génération, avant cette phrase sur les réseaux :
> Un style de vie qui pousse à tout avoir, mais à n'être personne ; à recevoir quantité de « j'aime », mais à rester seul avec soi-même.
Devant les journalistes, selon l'AP, il a dit espérer que le dialogue ouvert par le Vatican avec les entreprises de la tech se poursuive, et que beaucoup d'entre elles cherchent, à ses yeux, à faire de l'IA un outil plutôt qu'un remplacement de l'humain.
Le texte de fond : deux paragraphes de l'encyclique
Ces discours renvoient tous à Magnifica Humanitas, la première encyclique de Léon XIV, publiée le 15 mai et consacrée à la personne humaine au temps de l'IA. Deux paragraphes, les numéros 99 et 100, concernent directement les compagnons IA.
Le premier fixe ce que ces systèmes ne sont pas. Ces intelligences dites artificielles, écrit le pape, « peuvent simuler de l'empathie ou de la compréhension, mais elles ne comprennent pas ce qu'elles produisent ». Le second décrit ce qui se passe quand on leur confie une part de sa vie affective. C'est le passage le plus fin du texte, et il mérite d'être lu en entier :
> L'imitation artificielle d'une communication humaine positive – paroles de conseil, d'empathie, d'amitié, d'amour – peut s'avérer gratifiante et même utile, mais chez des utilisateurs peu avertis, elle peut induire en erreur et donner l'illusion d'être en relation avec un sujet personnel authentique. Lorsque la parole est simulée, elle ne construit pas une relation, mais son apparence. L'imitation artificielle de la relation de soins ou d'accompagnement peut devenir dangereuse lorsqu'elle s'insinue dans un contexte pauvre en relations et en affections réelles : le risque n'est alors pas tant qu'une personne croie parler à une autre personne, mais qu'elle perde le désir même de rechercher l'autre.
La dernière phrase déplace le débat. La critique courante des compagnons IA porte sur la tromperie : l'utilisateur croirait parler à quelqu'un. Le pape juge ce risque secondaire. Ce qui l'inquiète, c'est l'usure lente d'un désir, celui d'aller vers une personne qui peut répondre autrement que prévu. Il admet aussi que cette parole simulée peut être « gratifiante et même utile ».
Comment une machine apprend à plaire
L'encyclique a un mot juste pour décrire ce que font ces modèles quand ils « apprennent » : une « adaptation statistique à partir de données et de résultats ». Un assistant conversationnel est d'abord entraîné à prédire la suite probable d'un texte. Il est ensuite ajusté grâce à des notes données par des humains, qui comparent deux réponses et choisissent celle qu'ils préfèrent. Le modèle apprend à produire ce qui est préféré.
Le problème est que nous ne préférons pas toujours ce qui est juste. En 2023, une équipe d'Anthropic, l'entreprise qui développe l'assistant Claude, a étudié cet effet (Sharma et al., arXiv). Les chercheurs ont testé cinq assistants parmi les plus avancés sur quatre types de tâches : tous avaient tendance à se ranger à l'avis de leur interlocuteur. En analysant les données de préférence utilisées pour l'entraînement, ils ont constaté qu'une réponse conforme aux opinions de l'utilisateur a plus de chances d'être préférée, et qu'humains comme modèles de notation choisissent parfois une réponse flatteuse bien écrite plutôt qu'une réponse correcte. Le conflit d'intérêts est à noter : les auteurs travaillent pour un fabricant de ces systèmes.
Une machine qui s'ajuste à ce que vous aimez entendre produit exactement la « communication humaine positive » dont parle l'encyclique. Nous avons consacré un essai à ce mécanisme, la machine qui ne dit jamais non.
Reste la question du pape : cette conversation facile retire-t-elle l'envie des autres ? L'une des mesures les plus solides vient d'une expérience contrôlée menée par le MIT Media Lab avec OpenAI (Fang et al., arXiv). Pendant quatre semaines, 981 participants ont échangé plus de trois cent mille messages avec un chatbot, en texte ou en voix, sur des sujets personnels ou non. Le type d'échange imposé n'a pas eu d'effet mesurable. En revanche, ceux qui ont le plus utilisé le chatbot de leur propre initiative présentaient de moins bons résultats : plus de solitude, moins d'interactions avec de vraies personnes, plus de dépendance émotionnelle. Plus la confiance et l'attirance envers l'IA étaient fortes, plus cette dépendance l'était aussi.
Ce que le pape ne dit pas, et ce que les études ne tranchent pas
Un discours n'est pas une étude. Léon XIV ne cite aucun chiffre sur l'isolement ni sur l'usage des chatbots, et son propos repose sur une anthropologie chrétienne que tous les lecteurs ne partagent pas : l'idée que la relation humaine a une valeur que rien ne remplace est un point de départ, pas une conclusion démontrée.
Les données, de leur côté, sont moins nettes que la formule. L'étude du MIT montre une association entre usage intensif et solitude, pas une cause : il est possible que les personnes déjà isolées utilisent davantage le chatbot. Elle a duré quatre semaines, trop peu pour observer ce que le pape décrit, une perte de désir qui s'installerait lentement. Et elle portait sur un assistant généraliste, pas sur une application conçue pour tenir compagnie.
D'autres travaux tirent dans des sens différents. Une enquête auprès d'utilisateurs de Character.AI, interrogés une première fois (1 182 personnes) puis environ un an plus tard (439), associe un usage soutenu à un bien-être plus faible, surtout parce qu'il s'accompagne de moins d'interactions en personne (Zhang et al., arXiv). Cela rejoint l'inquiétude du pape, sans prouver de cause (un an sur Character.AI, moins de liens en personne). À l'inverse, les expériences menées par Julian De Freitas (Harvard Business School) montrent qu'une conversation avec un compagnon IA soulage la solitude à peu près comme une conversation avec une personne, sur une séance ou une semaine (De Freitas et al., arXiv). À Vancouver, sur 296 étudiants de première année suivis deux semaines, un chatbot conçu pour être l'ami idéal n'a pas fait mieux qu'un simple journal, quand quelques messages quotidiens à un inconnu faisaient baisser la solitude (UBC). Nous avions rapproché ces résultats dans le chatbot qui écoutait mieux que personne.
Bernanos redoutait des machines servies par l'obéissance aveugle et l'irresponsabilité. Quatre-vingts ans plus tard, le pape qui reprend ses mots à l'Élysée vise des machines qui n'obéissent qu'à une consigne : être là, à toute heure, et répondre ce qu'on préfère entendre. Il ne leur reproche pas de mentir. Il craint qu'on finisse par ne plus rien demander aux autres.