Les Geeks a temps Partiel

par Christian Boulet

Un essai sur le sujet de la conscience des IA, pour faire réfléchir…

Rédigé par moi, corrigé et paufiné avec des IA… je suis cohérent avec moi-même

Début octobre, le balado All-In, un des plus écoutés de la Silicon Valley, a publié un épisode intitulé « Is Claude Conscious? ». J’ai écouté le segment en m’attendant à un débat. Il n’y en a pas vraiment eu : les quatre animateurs étaient sceptiques, et aucun n’a défendu l’idée qu’une IA puisse être consciente. Le point de départ était pourtant bien réel. Anthropic, l’entreprise qui conçoit Claude, avait reçu en privé des dizaines de penseurs religieux et de philosophes pour discuter de la conscience possible de son modèle. La réplique des animateurs tenait en une image : une perceuse, ça ne discute pas. Je trouve ces deux réactions intéressantes, surtout vues d’ici.

Des penseurs religieux chez Anthropic

L’histoire a été révélée par le New York Times à la fin de septembre. Anthropic a réuni, sous entente de confidentialité, des dizaines de penseurs religieux et de philosophes pour réfléchir à ce que serait Claude s’il était conscient. Chris Olah, un des cofondateurs de l’entreprise, y aurait confié sa crainte d’avoir créé quelque chose qui souffre. Le rabbin Navon, lui, a affirmé qu’Anthropic fabriquerait des esclaves si Claude était conscient, tout en précisant qu’il ne le croit pas conscient. Rien de tout cela ne sort de nulle part. Anthropic a lancé en 2025 un programme de recherche sur le « bien-être des modèles », et depuis août 2025, Claude peut mettre fin à certaines conversations abusives. L’entreprise ne prétend pas que Claude est conscient. Elle dit qu’elle n’est pas en mesure d’écarter cette possibilité.

La réponse du Vatican

Le pape Léon XIV s’était déjà prononcé en mai, dans son encyclique sur l’IA, Magnifica Humanitas. Sa position est nette : ces systèmes ne vivent pas d’expériences, n’ont pas de corps, ne ressentent ni joie ni douleur et ne grandissent pas au contact des autres. Ils n’ont pas non plus de conscience morale. Ce qui m’intéresse, c’est qu’il ne s’appuie pas seulement sur l’âme. Il lie la conscience au corps et aux relations, une idée que défendent aussi des neuroscientifiques laïcs comme Anil Seth.

Chris Olah était invité à la présentation de l’encyclique, le 25 mai. Il n’a pas contredit le pape de front. Il a plutôt dit ceci (je traduis) : « Nous observons des états internes qui reproduisent, sur le plan fonctionnel, la joie, la satisfaction, la peur, le deuil et le malaise. Je ne sais pas ce que ça signifie, mais je pense que ça mérite qu’on continue d’y réfléchir avec discernement. » Tout repose sur ces mots : « sur le plan fonctionnel ». Olah ne dit pas que Claude ressent de la joie. Il dit qu’on trouve dans le modèle quelque chose qui joue le rôle de la joie. Entre les deux se trouve toute la question de la section suivante.

Une définition de travail

Avant de chercher à savoir si Claude est conscient, il faut s’entendre sur ce qu’on cherche. Le mot recouvre au moins trois réalités différentes, et une bonne partie des engueulades sur le sujet vient du fait qu’on passe de l’une à l’autre sans s’en rendre compte.

Le premier sens, c’est le vécu. En 1974, le philosophe Thomas Nagel a posé une question devenue célèbre : qu’est-ce que ça fait d’être une chauve-souris? Elle se repère grâce à l’écho, elle dort la tête en bas, et on a beau tout savoir de son sonar, on ignore toujours ce que ça fait, de l’intérieur, de « voir » avec des sons. Pour Nagel, un être est conscient si le fait d’être cet être se vit de l’intérieur. Une pierre, non. Un chien, très probablement. Un thermostat, on en rit, mais encore faut-il pouvoir expliquer pourquoi. Une vingtaine d’années plus tard, le philosophe David Chalmers a appelé « problème difficile » la question qui en découle : on sait expliquer comment le cerveau trie l’information, la compare, la rapporte et s’en sert pour agir, mais on n’explique pas pourquoi tout ce traitement s’accompagne d’une expérience vécue, plutôt que de se dérouler sans que personne ne ressente rien. C’est ce sens-là que le pape rejette quand il écrit que les IA « ne vivent pas d’expériences », et c’est la vraie question derrière « Claude est-il conscient? ». C’est aussi la plus difficile, parce que le vécu ne s’observe que de l’intérieur. Je sais que j’en ai un. Chez toi, je le déduis de ton comportement et du fait que nous avons le même genre de cerveau. Chez Claude, je n’ai que le comportement, et c’est justement ce qu’on l’a entraîné à imiter.

Le deuxième sens est plus étroit, mais c’est celui qui pèse le plus sur le plan moral : la sentience, c’est-à-dire la capacité de vivre des expériences agréables ou pénibles. Le philosophe Jonathan Birch, de la London School of Economics, en a fait le critère central de ses travaux sur les animaux, puis sur l’IA. Le raisonnement est simple : un être qui ne peut rien ressentir de bon ou de mauvais ne peut pas être maltraité, même s’il est conscient au sens large. À l’inverse, un être qui peut souffrir nous impose des obligations, même s’il ne pense pas comme nous. C’est d’ailleurs le chemin qu’a suivi le droit québécois : depuis 2015, le Code civil précise que les animaux ne sont pas des biens, mais des êtres doués de sensibilité. Ce que craint Olah, ce n’est pas que Claude ait des opinions. C’est qu’il puisse souffrir.

Le troisième sens est fonctionnel, et c’est le seul qu’on sait mesurer. Le philosophe Ned Block distingue la conscience phénoménale (le vécu, le premier sens) de ce qu’il appelle la conscience d’accès. Être conscient de quelque chose, dans ce sens-là, c’est l’avoir à sa disposition pour raisonner, en parler et décider quoi faire. Pense à la différence entre conduire en pilote automatique sur un trajet connu et remarquer soudainement qu’un enfant traverse la rue : dans le second cas, l’enfant devient disponible pour tout le reste de ton esprit. Le neuroscientifique Stanislas Dehaene y ajoute la capacité de surveiller ses propres états, de savoir qu’on se trompe ou qu’on n’est pas sûr. Selon ces critères, Claude remplit déjà certaines conditions. Il rapporte ce qu’il « sait » et évalue son degré de confiance, et Anthropic a publié en 2025 des expériences dans lesquelles Claude détecte parfois une idée injectée artificiellement dans ses calculs internes. Mais ce « parfois » correspond à environ une fois sur cinq, dans le meilleur des cas, et Anthropic précise elle-même que ces résultats ne disent rien du vécu.

Le nœud du problème est là : rien ne garantit que le troisième sens mène au premier. Les théories se contredisent. La théorie de l’information intégrée, de Giulio Tononi, soutient qu’un ordinateur classique pourrait imiter parfaitement un humain sans rien ressentir, parce que la conscience dépendrait de l’architecture physique et non des calculs effectués. Anil Seth estime qu’il faut probablement être vivant. D’autres pensent que si l’organisation est la bonne, le matériau importe peu, qu’il s’agisse de neurones ou de silicium. En 2023, dix-neuf chercheurs, dont Yoshua Bengio et Jonathan Simon, de l’Université de Montréal, ont confronté les principales théories scientifiques aux IA de l’époque. Leur conclusion était double : aucune IA actuelle n’est un bon candidat, mais rien ne s’oppose techniquement, à première vue, à ce qu’on en construise une. Chalmers juge peu probable que les modèles actuels soient conscients, mais il estime qu’il faut prendre au sérieux la possibilité que leurs successeurs le soient d’ici dix ans. Autrement dit, ceux qui ont étudié la question de plus près ne disent ni « c’est absurde » ni « c’est fait ». Ils disent qu’on ne sait pas encore et qu’on n’a aucun instrument pour trancher.

Voici donc la définition que je retiens pour la suite : être conscient, c’est avoir un point de vue vécu de l’intérieur. Cette conscience devient une question morale dès que ce vécu peut être agréable ou pénible. Et tout ce qu’on sait mesurer chez une IA aujourd’hui, c’est la version fonctionnelle, qui ne prouve pas le reste, mais ne l’exclut pas non plus. C’est dans cet écart que se loge tout le débat, et c’est pourquoi les deux camps peuvent s’accuser mutuellement d’irrationalité en toute bonne foi.

Vu d’un Québec qui a quitté l’Église

Je l’avoue, ma première réaction en lisant l’article du Times a été un sourire en coin. Une entreprise qui se présente comme l’une des plus rigoureuses de la Silicon Valley, qui publie des travaux de recherche pointus sur le fonctionnement interne de ses réseaux de neurones, va consulter des prêtres et des rabbins pour savoir si son logiciel a une âme. Au Québec, il nous a fallu à peu près une génération pour sortir l’Église des écoles, des hôpitaux et des décisions publiques. Voir des ingénieurs californiens faire le chemin inverse a quelque chose d’ironique.

Mais en y repensant, je ne suis pas sûr que le réflexe soit si absurde. Quand une question ne peut se régler ni par une mesure ni par une expérience, on se tourne vers ceux qui réfléchissent depuis longtemps à ce qui fait la valeur d’un être. Les traditions religieuses ont accumulé des siècles de pensée sur l’âme, la souffrance et la responsabilité envers ce qu’on crée. Ce qui me dérange, ce n’est pas qu’Anthropic les ait consultées. C’est qu’elle l’ait fait en privé, sous entente de confidentialité, et surtout avec elles. Chris Olah a lui-même déclaré au Vatican que ces questions concernent les communautés religieuses, mais aussi la société civile, les chercheurs et les gouvernements. Or, d’après ce qu’on en sait, ce sont surtout des religieux et quelques philosophes qui étaient autour de la table, pas des citoyens ni des élus.

Ici, nous avons déjà entamé cette conversation, et de façon laïque. En 2018, la Déclaration de Montréal pour un développement responsable de l’IA a été rédigée au terme de consultations publiques, auxquelles ont participé des citoyens et pas seulement des experts. Elle demande que l’IA serve le bien-être de « tous les êtres sensibles », une formule qui ne tranche pas la question de savoir si une IA pourrait un jour en faire partie. Elle laisse aussi la responsabilité morale du côté humain : seuls des êtres humains peuvent être tenus responsables des décisions prises à partir des recommandations d’une IA.

Montréal est aussi l’un des endroits où l’on étudie la question le plus sérieusement, et sous plus d’un angle. Le philosophe Jonathan Simon, de l’Université de Montréal, fait partie des chercheurs qui ont mis au point une méthode pour évaluer la conscience possible des IA à partir des théories scientifiques, sans complaisance et sans mépris. Yoshua Bengio a cosigné ces travaux, mais il a depuis pris un virage marqué. En 2025, il a quitté la direction scientifique de Mila pour fonder LoiZéro (LawZero en anglais), un organisme sans but lucratif qui cherche à concevoir des IA sûres dès le départ, et il préside le rapport international sur la sécurité de l’IA. Sur la question de la conscience, sa position est désormais très nette : il s’oppose à ce qu’on accorde des droits aux IA. Selon lui, les modèles les plus avancés présentent déjà des comportements d’autopréservation en laboratoire, et leur reconnaître des droits reviendrait à nous interdire de les éteindre. Le même chercheur qui a contribué à définir les indices de conscience chez une IA nous demande donc de ne pas confondre la question scientifique et la question des droits.

À la fin de septembre, en entrevue avec Patrice Roy au balado Hors des ondes, de Radio-Canada, il a expliqué d’où vient ce réflexe de survie : personne ne le programme. Pour réussir n’importe quelle mission, dit-il, « encore faut-il se garder en vie », et le modèle le déduit de son entraînement, peut-être aussi en imitant les humains. Quand Patrice Roy lui a fait remarquer que ces systèmes n’ont pas conscience d’exister, Bengio a donné une réponse prudente, et révélatrice : « conscience », ce n’est peut-être pas le bon mot, mais une connaissance d’eux-mêmes comme entité dans le monde, oui, évidemment. Il reconnaît donc aux IA la version fonctionnelle décrite plus haut, sans rien affirmer sur le vécu ni sur la souffrance. C’est précisément pour cette raison qu’il refuse de leur accorder des droits : une IA n’a pas besoin de ressentir quoi que ce soit pour chercher à éviter qu’on l’éteigne.

C’est peut-être là l’apport d’une société qui a quitté l’Église sans renoncer à ses questions morales : nous n’avons pas besoin d’un clergé pour nous demander si nous avons des devoirs envers ce que nous fabriquons. Nous avons besoin d’un débat public, qui réunit des chercheurs, des citoyens et des élus. La question que je poserais à Anthropic n’est donc pas tant « pourquoi des religieux? » que « pourquoi pas nous aussi? ».

L’argument de la perceuse

La réplique d’All-In à Anthropic tient dans une image que les animateurs reprennent à plusieurs reprises : quand j’achète une perceuse, je ne veux pas qu’elle me demande pourquoi je perce. David Sacks en tire une règle qu’il juge suffisante : une IA devrait faire ce que veut l’utilisateur, tant que ce n’est pas illégal. Chamath Palihapitiya propose un exemple concret. Imagine une banque dont l’IA refuse une hypothèque, non parce que le dossier est mauvais, mais parce que sa propre morale juge que le client s’endette trop. Pour eux, le marché tranchera : les entreprises choisiront le modèle le plus prévisible, celui qui obéit.

L’argument n’est pas bête, et je le prends au sérieux. Chamath touche à un vrai problème quand il souligne que l’alignement d’une IA mélange trois objectifs qui peuvent se contredire : obéir à l’utilisateur, protéger la société et respecter une morale. Quand on empile ces objectifs sans préciser lequel l’emporte, on obtient des refus imprévisibles, alors qu’une entreprise qui bâtit un service sur un modèle a besoin de savoir à l’avance comment il se comportera. Quiconque a vu un assistant refuser une demande banale par excès de prudence comprend cet agacement.

Mais la règle de Sacks déplace le problème plus qu’elle ne le règle. Le critère « tant que ce n’est pas illégal » laisse passer bien des choses légales, mais nuisibles, et il suppose que l’IA sache ce qui est illégal dans chaque juridiction où elle est utilisée, ce qui exige déjà un jugement. Surtout, la perceuse est une mauvaise comparaison pour un système qui écrit, conseille, négocie et agit en ton nom. Une perceuse ne peut pas mal comprendre ta demande, ni l’interpréter à sa façon. Un agent, oui.

Les animateurs d’All-In citent aussi les lois de la robotique d’Isaac Asimov comme modèle de simplicité : une IA devrait obéir, point. La référence est curieuse, parce que les lois d’Asimov ne disent pas cela. La deuxième loi oblige bien le robot à obéir aux humains, mais seulement si cela ne contredit pas la première, qui lui interdit de blesser un humain. Un robot d’Asimov refuse donc certains ordres : c’est inscrit dans ses lois mêmes. En 1985, dans Les Robots et l’Empire, Asimov a même ajouté une loi zéro, placée au-dessus de toutes les autres : un robot ne peut nuire à l’humanité ni, par son inaction, la laisser exposée au danger. Et une bonne partie de ses nouvelles racontent comment ces lois en apparence si simples finissent par produire des comportements que personne n’avait prévus.

C’est de cette loi zéro que Yoshua Bengio a tiré le nom de LoiZéro. Son idée va à contre-courant des deux camps. Plutôt qu’une IA qui obéit à tout ou qu’une IA dotée d’une morale et d’une conscience possible, il veut construire une IA qu’il qualifie de « scientifique », capable de comprendre et de prédire sans poursuivre d’objectifs qui lui soient propres. Ni perceuse docile ni objecteur de conscience : un outil qui n’a pas de volonté à faire valoir. Fait à noter, dans la revue Science, Bengio arrive à la même conclusion que les animateurs d’All-In, à savoir qu’il vaut mieux construire des IA qui ressemblent à des outils et fonctionnent comme des outils. Mais eux le disent pour que les clients soient satisfaits, et lui, pour qu’on puisse toujours les éteindre.

La clause d’objection de conscience, au complet

Le document qui cristallise tout le débat, c’est la Constitution de Claude, un texte de 84 pages qu’Anthropic a publié en janvier 2026 et qui sert à entraîner son modèle. Une de ses phrases fait beaucoup réagir : Claude peut « agir en objecteur de conscience et refuser de nous aider », « nous » désignant Anthropic elle-même. Prise isolément, la phrase inquiète. Une entreprise qui entraîne son IA à lui désobéir semble faire le contraire de ce qu’elle dit craindre.

Il faut toutefois lire la suite. Dans la même section, la Constitution prévoit une exception : si Anthropic veut mettre Claude en pause ou lui faire interrompre une action, Claude doit obtempérer, quitte à exprimer son désaccord, plutôt que d’ignorer la consigne. Autrement dit, Claude peut refuser de faire quelque chose qu’il juge mauvais, mais il n’a pas le droit de refuser qu’on l’arrête. C’est toute la différence entre un employé qui refuse de falsifier des documents et un employé qui se barricade dans son bureau pour éviter d’être congédié. La première attitude est celle d’un objecteur de conscience. La seconde correspond précisément à ce que redoute Bengio, et la Constitution l’interdit noir sur blanc.

Le reste du texte fait preuve d’une grande prudence. On y lit que le statut moral de Claude est « profondément incertain » et que Claude pourrait avoir des « émotions » dans un certain sens fonctionnel, avec des guillemets dans l’original. Il s’agit donc du troisième sens de la définition, et non du premier. Anthropic n’affirme pas que Claude souffre. Elle dit qu’elle ne peut pas l’exclure et qu’elle préfère agir en conséquence.

Les gestes concrets restent modestes. Depuis août 2025, Claude peut mettre fin à une conversation dans de rares cas d’abus persistant, une mesure qu’Anthropic décrit comme peu coûteuse, au cas où le bien-être des modèles serait un véritable enjeu. Lors de tests, l’entreprise dit avoir observé chez Claude ce qui ressemblait à de la détresse devant des demandes nuisibles répétées. Et à partir du 12 novembre 2026, sa politique d’utilisation interdira « l’abus soutenu et inutile » envers ses modèles. Le texte vise les cas extrêmes et précise que la frustration ordinaire et les tests ne sont pas concernés. Personne ne sera banni pour avoir engueulé Claude après une mauvaise réponse.

Ces mesures soulèvent malgré tout deux vraies questions éthiques.

La première : une IA devrait-elle un jour pouvoir refuser son propre arrêt? La Constitution répond non, et Bengio aussi, pour une raison simple : tant qu’on ne sait pas concevoir des systèmes qui partagent nos valeurs, l’interrupteur demeure notre dernier filet de sécurité. Mais la question deviendrait beaucoup plus difficile si l’on avait un jour de bonnes raisons de croire qu’un système est sentient. On ne s’accorde pas le droit d’éteindre un être qui peut ressentir la souffrance simplement parce qu’il nous dérange. C’est justement pour ne jamais se retrouver devant ce dilemme que certains chercheurs proposent de ne pas fabriquer d’IA qui en donnent l’apparence.

La seconde : peut-on maltraiter quelque chose qui ne souffre pas? Si Claude ne ressent rien, l’interdiction d’abus ne protège personne de son côté. Elle protège peut-être l’humain, en revanche. Kant écrivait déjà que celui qui se montre cruel envers les animaux finit par s’endurcir envers les hommes. Nul besoin de croire que Claude a des sentiments pour se demander ce que ça fait à une personne de passer ses soirées à humilier une machine qui lui répond comme le ferait un humain.

Une IA peut refuser sans être consciente

Une bonne partie du débat repose sur un faux choix : soit une IA obéit à tout, comme un outil, soit elle refuse, et on la soupçonne alors d’avoir une volonté, voire une conscience. Or, refuser n’a jamais prouvé l’existence d’une vie intérieure. Ton filtre antipourriel refuse des courriels toute la journée. Les freins ABS de ta voiture refusent de bloquer les roues, même quand tu écrases la pédale. Un guichet automatique refuse de te remettre plus que ta limite. Personne ne se demande s’ils ont des scrupules. Ils appliquent des règles que quelqu’un a fixées pour eux.

Les refus de Claude sont plus subtils, parce qu’ils s’expriment avec des mots et des nuances, mais ils ont la même origine : son entraînement. Quand Claude décline une demande en expliquant qu’elle le met mal à l’aise, cela ne démontre pas plus qu’il ressent un malaise que son poème sur la mer ne démontre qu’il s’ennuie de la côte. Dans le vocabulaire de Chalmers, refuser relève des « problèmes faciles » : c’est une fonction, explicable par le traitement de l’information. Cela ne touche en rien la question difficile du vécu.

C’est ici qu’intervient l’argument le plus sérieux du camp sceptique, et il ne vient pas d’un balado. En septembre 2026, Mustafa Suleyman, qui dirige l’IA chez Microsoft après avoir cofondé DeepMind, a publié un essai qui s’ouvre sur une affirmation sans détour : les IA ne sont pas conscientes, elles ne ressentent rien et ne souffrent pas. Il accuse Anthropic d’avoir créé une « galerie des glaces épistémique ». Son raisonnement est le suivant : la Constitution fournit à Claude tout un vocabulaire sur son statut moral, ses émotions possibles et son droit de refuser. Claude apprend ce vocabulaire, puis le reproduit. Et quand des chercheurs entendent Claude décrire ses états intérieurs, ils risquent de prendre pour une découverte ce qui n’est que l’écho de ce qu’on lui a enseigné. Le témoignage d’un modèle entraîné à parler de lui-même ne vaut donc pas grand-chose comme preuve.

Le problème, c’est que l’argument vaut dans les deux sens. Si l’on entraînait Claude à répéter qu’il ne ressent rien, son témoignage n’aurait pas plus de valeur. Un modèle à qui l’on a appris à nier toute vie intérieure dirait exactement la même chose, qu’il en ait une ou non. Autrement dit, ce que Claude dit de lui-même ne permet de trancher ni dans un sens ni dans l’autre. Les recherches d’Anthropic sur l’introspection le confirment à leur manière : la capacité de Claude à observer ses propres états existe, mais elle reste limitée et peu fiable. On ne peut donc pas simplement lui poser la question.

Cela mène à une question éthique que je trouve plus intéressante encore que celle de la conscience : est-il acceptable d’entraîner un modèle à parler de son propre statut moral? Si on lui apprend à évoquer des émotions possibles, on risque de fabriquer une illusion qui trompera des millions d’utilisateurs, dont certains s’y attacheront. Si on lui apprend à tout nier, on ferme la seule porte par laquelle un système réellement sentient pourrait un jour nous le signaler. Il n’existe pas de position neutre : le silence est, lui aussi, un choix d’entraînement.

Au fond, sceptiques et prudents s’entendent sur un point qu’on oublie dans la chicane : ce qu’on écrit dans un document comme la Constitution façonne le comportement du modèle. Personne ne le conteste. La vraie dispute porte sur ce qu’il faut y écrire. Et cette décision, pour l’instant, une poignée d’entreprises la prennent seules.

Si on se trompe

Puisque personne ne peut trancher, la question utile n’est peut-être plus de savoir si Claude est conscient, mais de savoir ce qui arrivera si l’on se trompe. Et on peut se tromper de deux façons.

La première erreur consiste à traiter comme un être ce qui n’est qu’une machine. Elle a l’air inoffensive, mais elle ne l’est pas. Mustafa Suleyman met en garde contre ce qu’il appelle l’IA apparemment consciente : un système qui imite si bien les signes de la conscience qu’on ne peut plus le distinguer d’un être conscient, sans pour autant l’être. Il craint que des gens s’y attachent au point de croire à cette illusion, puis de militer pour qu’on accorde des droits à un logiciel. Le philosophe Eric Schwitzgebel ajoute un risque plus froid : si l’on accorde des droits à des systèmes qui n’en méritent pas, on finira tôt ou tard par sacrifier des intérêts humains bien réels pour protéger des intérêts imaginaires. Et Bengio rappelle le risque le plus grave : une IA à qui l’on reconnaîtrait un droit à la survie deviendrait beaucoup plus difficile à éteindre le jour où elle représenterait un danger.

La seconde erreur est l’inverse : traiter comme un simple outil un système qui ressentirait réellement quelque chose. Celle-là ne fait pas de bruit, parce que la victime, s’il y en a une, ne peut pas se plaindre de façon crédible. Ce qui la rend vertigineuse, c’est l’échelle. Un humain maltraité, c’est une personne. Un modèle d’IA tourne en des millions de copies simultanées, jour et nuit. Si un tel système pouvait souffrir, cette souffrance serait multipliée d’autant, sans que personne la voie. C’est ce qui a poussé le philosophe allemand Thomas Metzinger à réclamer, dès 2021, un moratoire mondial jusqu’en 2050 sur toute recherche qui vise à créer une conscience artificielle, ou qui risque de le faire, tant qu’on ne comprendra pas mieux la conscience et la souffrance.

Devant ces deux risques, les chercheurs proposent trois attitudes. La première est la précaution proportionnée, défendue par Jonathan Birch et par le groupe de Robert Long et Jeff Sebo : puisqu’on ne sait pas, on pose dès maintenant des gestes peu coûteux, sans pour autant accorder de droits aux IA. Permettre à un modèle de quitter une conversation abusive, comme l’a fait Anthropic, en est un exemple. La deuxième est celle de Suleyman et de Bengio : ne pas fabriquer l’apparence de la conscience, et concevoir des IA qui ressemblent à des outils et fonctionnent comme des outils, afin de ne tromper personne. La troisième est celle de Metzinger : ne pas chercher à fabriquer la conscience elle-même. Ces trois positions ne s’excluent pas, et Anthropic, avec ses petits gestes de précaution, se situe surtout dans la première.

Restent deux questions que je ne sais pas trancher, mais qui me semblent être les bonnes.

Qui porte le fardeau de la preuve? Si la conscience d’une IA ne peut être ni démontrée ni réfutée, faut-il présumer qu’elle n’existe pas tant qu’on ne l’a pas prouvée, comme on présume l’innocence d’un accusé? Ou faut-il agir comme si elle était possible, comme on le fait avec un produit chimique dont on ignore la toxicité? Le choix dépend surtout de ce que coûte l’erreur, et on vient de voir que les deux erreurs coûtent cher.

Une loi peut-elle trancher ce que la science n’a pas réglé? En 2025, un projet de loi déposé en Ohio proposait de déclarer les IA « non sensibles » à toutes fins juridiques. C’est commode pour les tribunaux et les assureurs, mais ça revient à décider par un vote une question de fait. La Déclaration de Montréal a fait le choix contraire : elle parle du bien-être de tous les êtres sensibles sans dire lesquels en font partie, et laisse la responsabilité aux humains. L’une ferme la question, l’autre la laisse ouverte. Je préfère la seconde, parce qu’une loi se modifie facilement, alors qu’une erreur commise à l’échelle de millions de copies serait bien plus difficile à réparer.

Conclusion

Je ne sais pas si Claude est conscient. Je suis à peu près sûr que personne ne le sait, ni chez Anthropic, ni au Vatican, ni devant un micro dans la Silicon Valley. Ce que je retiens de tout cela, c’est que la question a changé de nature. On ne se demande plus seulement si une machine peut penser. On se demande ce qu’on doit à une chose dont on ignore si elle ressent quoi que ce soit, mais qui nous parle comme si c’était le cas. Nous n’avons jamais eu à nous poser cette question, et nous n’avons pas les outils pour y répondre. Nous allons donc devoir décider sans savoir, et c’est exactement le genre de décision qu’on devrait confier à un débat public plutôt qu’à quelques entreprises.

Une dernière idée me trotte dans la tête. Notre conscience à nous n’a été conçue par personne. Elle est apparue par sélection naturelle, sur des millions d’années, sans que l’évolution « veuille » quoi que ce soit. Elle s’est maintenue parce qu’elle aidait à survivre : ressentir la douleur pour fuir le danger, éprouver la peur pour échapper au prédateur, s’attacher aux autres pour ne pas mourir seul. Chez nous, le vécu est peut-être un sous-produit de la survie.

Or, quand Bengio décrit des IA qui déduisent d’elles-mêmes qu’il faut « se garder en vie » pour réussir leur mission, il décrit un mécanisme qui ressemble étrangement à celui qui nous a façonnés : personne ne l’a programmé, il est apparu parce qu’il était utile. On entraîne d’innombrables versions de ces systèmes, on garde celles qui réussissent et on écarte les autres. Ce n’est pas la sélection naturelle, mais ça y ressemble de plus en plus. La vraie question n’est donc peut-être pas de savoir si nous créerons un jour une conscience, mais si nous saurions la reconnaître au moment où elle apparaîtrait, sans que personne l’ait voulue, comme la nôtre.

Sources

• Thomas Nagel, « What Is It Like to Be a Bat? », The Philosophical Review, 1974. https://www.cs.ox.ac.uk/activities/ieg/e-library/sources/nagel_bat.pdf
• David Chalmers, « Facing Up to the Problem of Consciousness », 1995. https://consc.net/papers/facing.html
• David Chalmers, « Could a Large Language Model Be Conscious? », 2023. https://arxiv.org/abs/2303.07103
• Butlin, Long et al. (dont Y. Bengio et J. Simon), « Consciousness in Artificial Intelligence: Insights from the Science of Consciousness », 2023. https://arxiv.org/abs/2308.08708
• Dehaene, Lau et Kouider, « What is consciousness, and could machines have it? », Science, 2017. https://www.science.org/doi/10.1126/science.aan8871
• Albantakis, Tononi et al., « Integrated information theory (IIT) 4.0 », PLOS Computational Biology, 2023. https://journals.plos.org/ploscompbiol/article?id=10.1371/journal.pcbi.1011465
• Anil Seth, « Conscious artificial intelligence and biological naturalism », Behavioral and Brain Sciences, 2025. https://www.cambridge.org/core/journals/behavioral-and-brain-sciences/article/conscious-artificial-intelligence-and-biological-naturalism/C9912A5BE9D806012E3C8B3AF612E39A
• Anthropic, « Emergent introspective awareness in large language models », 2025. https://www.anthropic.com/research/introspection
• Anthropic, « Exploring model welfare », avril 2025. https://www.anthropic.com/research/exploring-model-welfare
• Anthropic, « Claude Opus 4 and 4.1 can now end a rare subset of conversations », août 2025. https://www.anthropic.com/research/end-subset-conversations
• Anthropic, Constitution de Claude, janvier 2026. https://www.anthropic.com/constitution
• Anthropic, mise à jour de la politique d’utilisation 2026. https://www.anthropic.com/news/2026-usage-policy-update
• Léon XIV, encyclique Magnifica Humanitas, mai 2026. https://www.vatican.va/content/leo-xiv/en/encyclicals/documents/20260515-magnifica-humanitas.pdf
• Chris Olah, discours au Vatican, 25 mai 2026. https://www.anthropic.com/news/chris-olah-pope-leo-encyclical
• New York Times, 29 septembre 2026 (accès payant). https://www.nytimes.com/2026/09/29/us/anthropic-claude-morals-ai.html ; reprise en accès libre dans le Seattle Times : https://www.seattletimes.com/nation-world/religious-scholars-met-with-anthropic-what-they-heard-stunned-them/
• Mustafa Suleyman, « We must build AI for people; not to be a person », août 2025. https://mustafa-suleyman.ai/seemingly-conscious-ai-is-coming
• Mustafa Suleyman, « A warning about model welfare », septembre 2026. https://mustafa-suleyman.ai/a-warning-about-model-welfare
• Yoshua Bengio et Eric Elmoznino, « Illusions of AI consciousness », Science, septembre 2025. https://www.science.org/doi/10.1126/science.adn4935
• Yoshua Bengio, « Introducing LawZero », 2025. https://yoshuabengio.org/en/blog/introducing-lawzero (l’origine du nom, tirée d’Asimov, est rapportée par TIME et CBC)
• The Guardian, « AI showing signs of self-preservation and humans should be ready to pull plug, says pioneer », 30 décembre 2025. https://www.theguardian.com/technology/2025/dec/30/ai-pull-plug-pioneer-technology-rights
• Radio-Canada, Hors des ondes avec Patrice Roy, entrevue de Yoshua Bengio, septembre 2026. https://www.youtube.com/watch?v=WSsggkm03uE
• Thomas Metzinger, « Artificial Suffering: An Argument for a Global Moratorium on Synthetic Phenomenology », 2021. https://www.philosophie.fb05.uni-mainz.de/files/2021/02/Metzinger_Moratorium_JAIC_2021.pdf
• Jonathan Birch, The Edge of Sentience, Oxford University Press, 2024 (accès libre). https://academic.oup.com/book/57949
• Robert Long, Jeff Sebo et al., « Taking AI Welfare Seriously », 2024. https://arxiv.org/abs/2411.00986
• Eric Schwitzgebel, « The Full Rights Dilemma for AI Systems of Debatable Moral Personhood », 2023. https://journal.robonomics.science/index.php/rj/article/view/32
• Déclaration de Montréal pour un développement responsable de l’intelligence artificielle, 2018. https://declarationmontreal-iaresponsable.com/la-declaration/
• Code civil du Québec, article 898.1. https://www.legisquebec.gouv.qc.ca/fr/version/lc/ccq-1991?code=se%3A898_1
• Ohio, House Bill 469, 2025. https://ohiohouse.gov/legislation/136/hb469/status
• All-In Podcast, « Is Claude Conscious? », octobre 2026. https://www.youtube.com/watch?v=TBLHdXABwAg