IA, indéterminisme et bonnes histoires

Lors d'une conversation récente, Richard Bruno a soulevé la question de savoir si c'est la première fois dans l'histoire que nous nous appuyons sur des systèmes indéterministes pour étayer nos décisions. Cette question m'a incité à réfléchir à l'histoire des discussions sur le déterminisme et l'indéterminisme ; l'une des plus célèbres dans un passé récent s'est concentrée autour du développement de la mécanique quantique au début du 20e siècle. En mécanique quantique (selon l'interprétation de Copenhague, mais n'y revenons pas), une particule n'existe pas à une position définie jusqu'à ce qu'elle soit mesurée. Elle a plutôt une "superposition" : une distribution de probabilités des endroits où elle pourrait se trouver. Lorsque nous mesurons sa position, nous forçons cette distribution à s'effondrer, ce qui donne à la particule une position spécifique. Mais où se trouve la particule avant la mesure ? Elle a une certaine probabilité de se trouver à plusieurs endroits. C'est ce que signifie la superposition.

En réponse à ce problème, Schrödinger a proposé une expérience de pensée qui suggère que l'idée même de superposition pourrait être absurde. Supposons que nous placions un chat dans une boîte contenant : une particule en superposition, un petit instrument de mesure de la position et une fiole de gaz toxique. Si la particule se trouve à l'emplacement A, l'instrument de mesure déclenche la rupture de la fiole et le chat connaît une fin malheureuse. Si la particule ne se trouve pas à l'emplacement A, la fiole reste scellée et le chat vit pour chasser un autre jour. Selon l'interprétation de Copenhague, cela signifie que tant que nous n'avons pas ouvert la boîte et regardé à l'intérieur (forçant ainsi la particule à prendre une position déterminée et la fiole à se briser ou non), le chat est à la fois vivant et mort : le chat est dans une superposition de vie et de mort jusqu'à ce que nous ouvrions la boîte.

Pour certains, cette superposition vie-mort est considérée comme complètement absurde, et donc comme une illustration de la folie de l'interprétation de Copenhague - peut-être un défi à la mécanique quantique dans son ensemble. Pour d'autres, ils nient l'absurdité, disant qu'il n'y a pas de problème avec la situation telle qu'elle est décrite. D'autres encore acceptent l'absurdité mais présentent diverses répliques pour tenter de sauver la situation. Mais n'allons pas trop loin.

Ce que je veux extraire ici, c'est l'inquiétude que nous avons à propos de l'indéterminisme : lorsque nous prenons ce type de systèmes et que nous les appliquons à des objets quotidiens, nous finissons parfois par nous emmêler les pinceaux. Disons que, selon la distribution de probabilité, il y a 50 % de chances que la particule se trouve dans l'emplacement A (le chat est mort), et 50 % de chances qu'elle n'y soit pas (le chat est vivant). Lorsque nous ouvrirons la boîte, nous trouverons l'un ou l'autre résultat. La superposition s'effondrera sur un seul des deux résultats possibles (A ou pas A), et il y a 50 % de chances pour chacun d'entre eux. Mais nous ne pouvons pas expliquer pourquoi il y a 50 % de chances dans ce cas précis. Les probabilités sont entièrement déterministes, mais le résultat dans un seul cas est indéterministe.

Comment expliquer alors le résultat dans un cas donné ? En fait, nous ne le pouvons pas ; la mécanique quantique peut nous montrer la distribution de probabilité elle-même, et elle peut nous dire que la distribution s'effondre lorsque nous l'observons, mais elle ne peut pas expliquer pourquoi le chat a vécu au lieu de mourir. Il y avait simplement une chance sur deux que les choses se passent ainsi dans ce cas.

En tant qu'êtres humains, ce manque de pouvoir explicatif nous met profondément mal à l'aise. Nous n'aimons pas les choses non résolues. Nous aimons les récits causaux qui expliquent l'histoire du début à la fin ; les sections non résolues de l'histoire la rendent plus difficile à appréhender (elles augmentent en fait la charge cognitive de la compréhension et de la mémorisation de l'histoire, charge cognitive que nous cherchons à minimiser - la puissance cérébrale est chère, d'un point de vue évolutif).

La mécanique quantique ne nous donne pas cette satisfaction cognitive réconfortante de savoir que tout est résolu, dans l'ordre. Elle nous permet plutôt de connaître la distribution des probabilités, mais pas beaucoup plus. Si nous faisions l'expérience un million de fois, la mécanique quantique expliquerait très bien pourquoi 50 % des cas sont allés dans un sens et 50 % dans l'autre. (Comme les actuaires pour les accidents de voiture). Mais pour un seul cas, elle nous laisse cognitivement insatisfaits.

Ainsi, les systèmes indéterministes de la mécanique quantique ressemblent beaucoup aux systèmes indéterministes souvent produits par les algorithmes d'intelligence artificielle. Une grande partie du travail de l'IA consiste à segmenter des groupes pour maximiser le pouvoir prédictif dans des cas nouveaux. Par exemple, si vous voulez savoir quels individus d'une population sont les plus susceptibles d'oublier de payer leurs impôts à temps (afin de leur envoyer un rappel en temps utile), les algorithmes d'IA sont généralement assez bons pour discerner un modèle dans un grand ensemble de données de cas passés.

Il se peut, par exemple, qu'après la naissance de leur premier enfant, les parents du nouveau-né soient plus susceptibles d'oublier de payer leurs impôts à temps - ou peut-être qu'ils s'en souviennent, mais qu'ils ne parviennent tout simplement pas à le faire. Un système d'intelligence artificielle pourrait détecter ce schéma et identifier toutes les personnes à qui vous devriez le rappeler. (Notez qu'en présentant cet exemple, je l'ai introduit par une narration causale ; si je ne l'avais pas fait, vous auriez trouvé l'exemple plus exigeant sur le plan cognitif pour l'analyser et l'examiner, et vous auriez peut-être même trouvé mon texte difficile à comprendre).

L'algorithme pourrait vous dire que 80 % des nouveaux parents paieront leurs impôts en retard. Mais qu'en est-il d'un seul de ces parents ? Le modèle ne peut pas vous dire lesquels feront partie des 80 % qui oublient ou des 20 % qui se souviennent, et ne pourra pas expliquer le résultat pour des individus spécifiques. Le modèle va jusqu'à vous dire qu'il y a 80 % de chances qu'une personne donnée du groupe oublie, puis vous laisse vous débrouiller tout seul à partir de là.

Cela crée au moins deux types de défis en matière de responsabilité institutionnelle. Lorsqu'il s'agit de prendre un grand nombre de décisions, nous n'avons parfois pas d'autre choix que de travailler avec des probabilités. Nous ne disposons tout simplement pas des ressources nécessaires pour prendre certains types de décisions au cas par cas, uniquement en raison du volume de décisions à prendre (des considérations similaires peuvent s'appliquer lorsque nous sommes soumis à d'importantes contraintes de temps).

Par exemple, si une autorité de santé publique doit contrôler les individus dans un aéroport en tant que porteurs potentiels d'un virus, elle pourrait très bien s'appuyer sur des méthodes probabilistes pour trier les contrôles et les décisions. Les voyageurs arrivant de certains points chauds pourraient être automatiquement soumis à un protocole de dépistage renforcé, et le dépistage lui-même pourrait marquer à tort 5 % des personnes en bonne santé comme porteurs, et marquer à tort 1 % des porteurs réels comme étant en bonne santé.

C'est là qu'intervient le premier défi. L'institution adopte une approche probabiliste des groupes qui est indéterministe au niveau des individus. Mais lorsque nous évaluons les résultats, nos interprétations de la situation et les actions qui en découlent seront guidées par notre désir de disposer de récits clairs et causaux (qui nous donnent cette satisfaction cognitive). Supposons qu'une personne en bonne santé soit signalée à tort comme porteuse de la maladie, qu'elle soit temporairement mise en quarantaine avec des personnes réellement malades, qu'elle contracte elle-même la maladie pendant la quarantaine et qu'elle en meure par la suite.

Lorsque la société demande des réponses sur la manière dont cette personne a été repérée à tort, que peuvent dire les autorités de santé publique ? Elles peuvent expliquer comment le modèle a classé la personne sur la base des caractéristiques XYZ, et expliquer les caractéristiques du modèle en vertu desquelles cette catégorie de personnes n'a qu'un faible risque d'être incorrectement identifiée comme porteuse. (Il s'agit là d'un autre aspect du problème : les experts ont de plus en plus de mal à fournir une explication, même pour la probabilité, car les modèles d'IA deviennent de plus en plus complexes et opaques). Mais même si les autorités sanitaires peuvent expliquer la chaîne de raisonnement qui les a amenées à leur conclusion probabiliste,

ils ne seront pas en mesure d'expliquer pourquoi cette personne a été signalée à tort. Le modèle ne les amène que jusqu'ici, mais laisse l'explication incomplète, du point de vue de la narration causale.

Cela nous amène à un deuxième type de problème auquel les institutions peuvent être confrontées. Lorsque la société demande une explication mais reçoit une réponse insatisfaisante, cela peut déclencher des appels à une réforme systémique, qui s'articulent souvent autour de ces récits individuels. Par exemple, lorsqu'un Polonais a été tué à l'aide d'un Taser dans un aéroport en 2007 et que les explications publiques n'ont pas été suffisantes, cela a fini par créer une pression qui a conduit à des réformes. Un homme injustement tué devient un symbole de la force excessive de la police. S'il y avait une explication adéquate, nous ne ressentirions pas de dissonance cognitive.

Mais qui a le droit d'être un symbole et qui ne l'a pas (et un symbole de quoi) ? Le niveau de dissonance cognitive que nous ressentons est fortement biaisé selon des dimensions prévisibles : la race, la classe socio-économique, l'âge, le sexe, etc. Pour illustrer ce point, supposons qu'en 2007, l'homme tué à coups de Taser dans un aéroport ait été originaire d'Afghanistan plutôt que de Pologne ; pensons-nous vraiment que le niveau d'indignation publique aurait été le même ? Aurions-nous ressenti la même dissonance cognitive à l'idée qu'un musulman soit qualifié de menace dans un aéroport, plutôt qu'un catholique ? La recherche suggère que les récits publics seront fortement influencés par la race des individus impliqués, et que nous ferons des choix politiques différents en conséquence.

En bref, nous constatons que certains récits sont plus incomplets (avec la dissonance cognitive, le sentiment d'injustice, etc. qui y sont associés) que d'autres récits similaires, souvent en fonction de la race ou d'autres caractéristiques.

À quoi ressemblent ces deux défis lorsque nous les transposons au cas de l'IA, et plus particulièrement à la modélisation probabiliste ? Le premier problème est que nous ne pouvons pas offrir d'explications "complètes" pour les cas individuels ; les modèles ne sont déterministes que dans la mesure où ils expliquent la segmentation et les probabilités des groupes, mais ils sont indéterministes en ce qui concerne les cas individuels au sein d'un groupe. Le deuxième problème est qu'en l'absence d'explications plus "complètes", certains cas individuels reçoivent beaucoup plus d'attention que d'autres, et donc certains changements systémiques sont apportés alors que d'autres ne le sont pas - souvent sur la base de préjugés et de partis pris.

Pour revenir à la question initiale, quels sont les aspects novateurs de l'utilisation de l'IA pour construire des systèmes d'aide à la décision ? Historiquement, l'application de l'IA aux défis sociaux ouvre grand la porte à certains défis qui étaient discutés strictement entre universitaires il y a un siècle, lorsque nous parlions de la position des particules ; la discussion nous concerne maintenant tous et les enjeux sont beaucoup plus importants. Il s'agit d'appliquer ces systèmes à un segment beaucoup plus large de nos décisions que jamais auparavant, et en termes de déploiement technologique, cette application se déploie extrêmement rapidement. Ce vaste champ d'application et ce déploiement rapide exercent une pression sur nos systèmes sociaux et démocratiques pour qu'ils appliquent le contrôle et la réflexion critique nécessaires pour garantir que les systèmes aboutissent à des résultats justes et équitables pour tous. Rarement dans le passé (voire jamais) nos systèmes sociaux et démocratiques n'ont été appelés à répondre aussi rapidement à un changement d'une telle ampleur.