I freely confess that on such occasions the recollection of that long-ago night, the magnificent ballroom, the splendid profusion of the dancers and the breath-arresting presence of the Doctor seemed like a capstan of ache and longing attached by the ropes of memory to my heart, squeezing and tightening and compressing it until it seemed inevitable that it must be burst asunder.
(Oelph in Inversions, Iain M. Banks)
Dans l'univers du roman de Frank Herbert et des films Dune, une caractéristique échappe au premier regard. Dans ce monde, l'informatique n'existe pas, ou si peu. Depuis le Jihad butlérien, depuis l'interdiction des machines pensantes, l'humanité a mis au point des techniques permettant de développer à certains égards le potentiel humain à des niveaux comparables à celui des anciens ordinateurs. L'ordinateur humain qu'est le mentat a remplacé l'ordinateur que nous connaissons. Cela remet l'humain au cœur de l'histoire à un premier titre.
Le contraste entre l'humain contemporain et l'humain de Dune est encore plus saisissant en 2021 qu'en 1965. L'humain de 1965 externalisait une bonne part de ses fonctions physiques aux machines. L'humain de 2021 externalise une bonne part de ses fonctions mentales et sociales aux machines. La différence est liée à l'essor de l'informatique. A l'époque de Dune, l'infosphère n'existe plus. L'humain de Dune internalise certaines propriétés de l'informatique et, en tout cas, la façon dont elle peuple le monde de démons. Le conditionnement des médecins impériaux, l'influence de la Missionaria Protectiva, la Voix, voire la façon de piéger les cadavres ou les mourants... Dans ce monde, vous pouvez difficilement accorder votre confiance aux corps et aux esprits de ceux qui vous entourent. Vous devez agir avec les êtres avec la même prudence que vous utiliseriez face à une clé USB inconnue. Prêter attention aux humains autour de vous, à leur histoire, devient fondamental.
La structure aristocratique du pouvoir ne découle pas forcément de cet état de fait, mais elle s'en accommode bien. Autour de la personne qui incarne le pouvoir et dont la mort ou la compromission impliquerait la chute de celui-ci, à portée de vue, gravite un premier cercle qui en contrôle l'accès, dans un sens comme dans l'autre. Leur tâche s'apparente à de la cybersécurité. Les membres de ce petit groupe sont à la fois isolés et obligés de se côtoyer souvent pour s'évaluer et compliquer toute attaque contre l'un d'entre eux. Ici, la camaraderie va de pair avec la bonne pratique qu'est la méfiance.
Le monde de Dune, vu du côté du pouvoir centralisé, est empli de solitude et de peur de la trahison des proches.
Prise de notes d’un débat de l’Ifri autour de Cédric Villani, trois ans après la publication du rapport de mars 2018.
Dans le respect de la règle Chattam House, les noms des intervenants ne sont pas cités. Il s’agit ici d’une prise de notes sommaire, partielle, elliptique et, bien que la plus fidèle possible, certainement pas exempte d’erreurs.
*
L’IA a joué un rôle absolument mineur dans la gestion de la crise ; presque rien comme outil utile. Accélération de la digitalisation du monde, télétravail, résultats des entreprises numériques, -> boost supplémentaire au niveau de la constitution des outils d’IA. Note paradoxale : crise covid dans laquelle l’IA ne s’est pas illustrée mais dont elle ressort avec une énergie supplémentaire.
Qu’est-ce que l’IA ? On peut passer du temps à débattre de la définition. C’est un faux problème, le terme IA est mal choisi, on n’est pas en train de parler d’intelligence, on parle de techniques algorithmiques sophistiquées ; techniques qu’on aurait cru réservées à l’être humain et dont on voit à l’usage qu’elles peuvent être automatisées.
Il s’agit de rendre certaines tâches automatisables pour des questions d’efficacité, d’interaction avec l’humain. Le mot efficacité est bien plus à l’œuvre que les questions plus philosophiques. Une bonne partie des interactions consiste à déconstruire, dédramatiser, démystifier, souligner que l’IA est déjà sous-jacente à nombre de tâches banales aujourd’hui – algorithmes de recherche, sous-titrage automatique, chemin le plus court sur Google Maps. A chaque fois la frontière varie : « Dès que ça marche, on cesse de l’appeler IA [la technique]. »
Il faut raisonner sur les véritables enjeux. Les mots-clés du rapport étaient expérimentation, partage et souveraineté.
Expérimentation : le cas le plus spectaculaire est celui des réseaux de neurones, dont les experts dans les années 2000 disaient encore « ça ne fonctionne pas », ensuite ça marche mais on ne sait pas pourquoi ça marche, impuissance à savoir quel algorithme va fonctionner ou pas dans telle ou telle situation, blessure narcissique des chercheurs. Aujourd’hui on ne sait pas faire un robot qui balaye, mais on sait faire un robot qui diagnostique le cancer. L’expérimentation est coûteuse. Les apports de l’IA aux théories scientifiques restent mineurs.
Partage : partage de compétences, des métiers s’associent pour construire quelque chose, expériences interdisciplinaires, rencontre spécialiste métier et spécialiste IA, cheminement effectué ensemble avec une relation confiance, essais/erreurs et rétroactions. La mise en place de ce cadre est un enjeu plus important que trouver de nouvelles théories d’IA.
Souveraineté : quelles tâches on veut garder pour soi, quelles tâches automatiser ? Démarche tout autant scientifique qu’économique. Alimente des débats sur le partage des rôles entre public et privé, des questions culturelles (frappant : les solutions technos développées par des équipes françaises dans des concours internationaux se retrouvent au second plan dans la médiatisation là où les mêmes solutions, mêmes performances, de grands labos US se retrouvent tout en haut de la pile même dans les journaux FR -> ex sur le cancer du sein, qui fait la Une de la presse régionale FR, même chose en US : presse nationale) dans un monde où économie et culture sont extrêmement liées.
L’IA vient s’appuyer et se nourrit du savoir-faire de communication des acteurs. Débat qu’il faut rendre concret, sectoriel : IA santé (avance vite), IA environnement (lent), IA défense… Mettre en place bonne gouvernance à bonne échelle, bonnes infrastructures, bonnes pratiques de recrutement et de compétences.
Pendant de longues années, secteur dominé par la course à la matière grise, aux infrastructures de calcul et course aux données. Les US ont gagné. Montagnes de données via les clients, montagnes d’ingénieurs de de chercheurs, et de moyens de calculs. UK premier pays européen à développer une stratégie, FR ensuite. 3 ans après l’arrivée de ces stratégies : il n’y a pas eu de changement fondamental, il y a eu une prise de conscience indéniable. Il y a une tentative de rattrapage dans les 3 secteurs évoqués. L’Europe a pour autant beaucoup de mal à se positionner en concurrent crédible.
Grands enjeux de défense, façon dont l’environnement a du mal à s’appuyer sur l’IA pour amener à de meilleures pratiques écologistes, difficultés à faire bouger les lignes culturelles et des pratiques, de la gouvernance, des RH, questions de confiance entre les différents acteurs qui évolue lentement.
Évolution négligeable : éducation et formation. La recommandation était de tripler le nombre d’étudiants en IA. Base FR réduite de personnes très compétentes. A peu près rien n’a changé en la matière depuis 2018.
Q :
1. Arrêter la fuite des cerveaux. Dans la littérature des think tank, le sujet est d’attirer les 765k personnes les plus intéressantes au monde. Autre point de vue, le sujet est moins qualitatif que quantitatif. Nouvelles recos pour progresser dans ce domaine-là ?
2. Transparence des algorithmes. État des lieux 3 ans après ? Quel type de gouvernance ou d’effort de nature politique encourageriez-vous pour progresser sur la transparence des algos ?
R :
1. L’Amérique s’est construite en attirant les talents et c’est très visible encore aujourd’hui dans les procédures d’accueil, les facilités à s’y installer… Accueillir l’étranger comme s’il faisait partie de la famille depuis toujours, le couvrir d’encouragements. Étage supplémentaire : il ne s’agit plus d’attirer dans la Silicon Valley mais dans la succursale européenne, ex Facebook IA Research Lab fondé par Yann Le Cun. 3 étage : avec le télétravail, ils peuvent travailler de chez eux.
En matière d’IA, ce qui a dominé c’est le nombre. Stratégie de recherche de domination mondiale façon massue. Côté US attirer les talents extérieurs, côté chinois mettre en avant les talents domestiques, ou faire revenir les talents partis à l’étranger, avec des salaires phénoménaux.
2. Aucun obstacle en Chine sur la question du respect de la vie privée : territoire d’expérimentation inouï au niveau technologique. En Europe en 2018, les questions éthiques étaient encore un sujet. Aujourd’hui, convergence mondiale incontestable sur les questions des grands enjeux, principes et règles. La question d’une spécificité européenne en matière de règles n’est plus une question, c’est une question en matière de pratiques.
Ex : stratégie de données de santé FR vient percuter le problème de l’hébergement, par quel opérateur. Une plateforme US doit héberger les données de santé. La polémique qui vient derrière représente des mois et des mois de retard, juste pour la polémique. Ce genre de débats n’existe pas aux US ni en Chine. C’est un peu pareil au niveau de la recherche. On peut imaginer en revanche qu’on arrive à quelque chose d’efficace [sur les usages ?].
Le sentiment patriotique européen ne fonctionnera que s’il fonctionne à tous les niveaux. Europe qui facilite et met en réseau, tire parti d’une fierté européenne.
La confiance dans les algos, le sujet est éminemment culturel. Illusion de penser que la mise en place d’une instance résoudra le problème. Cas d’école avec les algorithmes contre le covid utilisés par le gouvernement. Les instances indépendantes ont conclu que c’était proportionné, sous condition (temporaire, etc.). Ça n’était pas suffisant pour le politique, le public, les chercheurs informatiques… Le logiciel n’a eu aucun rôle pour freiner l’épidémie, il n’a pas eu l’impact espéré, mais il n’y a eu aucune dérive, aucun problème sérieux de brèche de vie privée. Si inquiétude il y a, inquiétude il restera quelle que soit l’instance, c’est un sujet culturel. Sensibilité en FR et surtout GER aux données personnelles (Histoire…). Ça ne changera que sur une échelle de temps très lente.
Parcoursup a été construit à partir d’APB (même base algorithmique). Auditions à l’office parlementaire scientifique (reco : table ronde) : nécessité de gouvernance clarifiée, responsabilité politique. A chaque fois qu’on accuse un algo, un politique ne prend pas ses responsabilités ou se cache derrière l’algo. Exemple du tirage au sort dans les filières en tension. Le tirage au sort s’est imposé parce que l’équipe en charge de l’algo avait alerté le politique qu’il n’y aurait pas de solution, quel critère pour trancher ? -> le politique a échoué à donner un critère -> sans consignes, l’équipe décide du tirage au sort. La procédure précédente était viciée parce que les universités avaient accès à des infos qu’elles n’étaient pas censées avoir. Les universités ne sont pas censées avoir accès au classement des choix effectué par l’étudiant lui-même. L’équipe a prévenu le politique… L’enjeu n’est pas l’algorithme, l’enjeu est dans la gouvernance, qui décide, qui doit arbitrer.
Q : la confiance. Votre ressenti par rapport à la connaissance des parlementaires sur ces sujets ? Comment mettre en place les outils, de pallier ce manque de compréhension de l’IA ? on est dans le fantasme.
R : avant même le monde politique, il y a le monde économique aussi. Beaucoup à dire sur ces enjeux de confiance. Ex dans la santé possibilité pour les données de circuler entre hôpital, médecine de ville, remboursement Sécu. En pratique difficile. Dans le monde de l’entreprise parfois entre deux services d’une même entreprise les données ne circulent pas. Le poste de Chief Data Officer, différent du CTO : moins sur l’innovation, plus sur la confiance, mise en place de processus rigoureux pour convaincre de partager les données. La confiance, l’habitude de fréquenter les développeurs, les algorithmiciens, confiance dans les enjeux. Le monde politique n’est pas habitué à ça. Le parlement de 2017, renouvelé avec des profils tech, s’inscrivait différemment par rapport à ça. Familiarité de certains groupes, France Insoumise avec Twitch, certaines parties des écologistes, Parti Pirate.
Q :
1. Vie parlementaire autour des techs : début septembre, rapport sur l’usage des technologies de sécurité. Ce rapport propose d’expérimenter la reconnaissance faciale dans l’espace public. Opinion ? Travaux de l’UE sur emploi de l’IA et bonne gouvernance pour différencier usages communs et usages à haut risques. Approche par les risques est-elle la bonne approche pour aborder la gouvernance de l’IA ?
2. Enjeu de l’environnement. Comment concilier dev techno et appropriation des technos et injonction à l’écologie, à la réduction de l’impact conso énergétique ewaste etc., où placer le curseur et dans quelle mesure l’IA peut aider dans la lutte contre le réchauffement climatique ?
R : notre interaction avec l’IA, l’outil
L’IA et sécurité, reco faciale, à travers la question de son utilisation, qu’est-ce qu’on veut ériger comme principes, ex règles interdisant photos dans un tribunal ou à la buvette des parlementaires. C’est quelque chose qui ne doit pas choquer, le fait de brider certains usages. Jacques Ellul, Ivan Ilitch : techno pas neutre mais peut avoir sa propre vie, s’imposer à nous et détruire. Toute techno trop développée pourrait aboutir à l’effet inverse à celui recherché [Wikipedia].
La reco faciale tombe dans cette catégorie. C’est ma position personnelle. Je suis favorable à ce que ce soit une technique qu’on s’interdise.
Le débat va venir sur la sécurité de façon forte dans énormément de sujets. Notre système cognitif humain est habitué à la reconnaissance faciale. On a aussi des outils de reconnaissance des mains. Mais vous avez des signatures qu’un algo peut reconnaître, qui sont fortes mais auxquelles nous humains sommes insensibles. Des technos de recherche vont enrichir la gamme de ce à partir de quoi on peut reconnaître.
Idée de décider en fonction des risques est bonnes : pb avec l’IA sont dans les usages pas dans la techno elle-même.
Pendant longtemps problème à concours : algo du choix (algo Netflix). 2017 année charnière, année à laquelle l’usage de l’informatique par smartphone a supplanté celui par ordinateur. Moment où le web s’invite près de vous.
L’IA peut avoir un effet positif ou négatif sur l’environnement. IA et prospective pétrolière… Sujet du côté de l’industrie numérique : recyclage (fort mauvais, difficile de séparer les composants) et sobriété. Questions de filières économiques qui n’existent pas. Questions de droits humains et économiques, influence géopolitique, Congo Chine zone Pacifique, pour les matériaux stratégiques. Enjeu énorme de réduction de la consommation et des usages.
Q : On parle souvent en Europe d’un manque de data (fragmentation du marché, protection des données). Solution : améliorer l’efficacité des data (data efficiency), « small AI » ?
R : Oui small data c’est une solution d’avenir. Dans un certain nombre de sujets on n’aura pas le choix, les données resteront parcellaires ou mal structurées. Ce qui fonctionne bien c’est qu’on a des grandes données bien structurées. Le monde a un peu mangé son pain blanc par rapport à ce genre de données. On voit les limites que cela peut avoir. Les intelligences humaines et animales sont très bonnes avec des petits jeux de données. Pour des questions énergétiques, de protection des données, tout ce qu’on pourra faire avec des petits jeux de données sera bon à prendre. Il s’agit ensuite de prendre acte de ce qui se fait, parfois de règlementer et d’interdire, s’appuyer sur ce qui existe. Partage entre le monde de l’entreprise et celui de la recherche. Ne pas sous-estimer les problèmes pratiques que cela suscite, embauches, accès à des jeux de données autorisé.
Q : outils : puissance normative, propriété intellectuelle. Les US et la Chine maîtrisent parfaitement ces deux outils. On a utilisation défensive de la PI, or IA et quantique ne sont pas environnement paisible, d’où des risques de prédation importants. On peut parfaitement obtenir un brevet sur un logiciel.
R : Il ne faut pas être naïf sur le respect chinois des règles de PI.
Pour moi les idées font partie du patrimoine de l’humanité et doivent se partager librement. Les brevets doivent être quelque chose qui permet à une invention de se faire, qui sinon ne se ferait pas. La protection des investisseurs leur permet d’agir.
Q : Cas d’Israël montre un petit pays qui utilise l’IA de manière importante.
R : IA sujet dans lequel la force va aux gros. Capitaux, données, RH, marchés économiques. Oui c’est pour les empires : nations et grosses entreprises. IA renforce plus ces inégalités qu’elle ne les aplanit. « Ai is the greatest inequalizer ever”, a dit un official asiatique.
Q : à Israël secteur de la défense joue un rôle très important dans l’innovation. Rôle du secteur de la défense ?
R : Top 5: US, Chine, UK, Canada, Israël. Israël a très forte appétence pour le numérique par la population et les institutions (Technium), grande culture de débrouille et de coopération interdisciplinaire (peu de pays aussi bons). Un officiel israélien : « notre département de maths est bien moins puissant que le vôtre, notre secteur santé bien moins puissant que le vôtre, mais quand il s’agit de mettre les deux ensemble on est meilleurs ». On l’a vu avec le Covid, accès aux données de santé par Pfizer, inimaginable en Europe occidentale. Formation inouïe : plus grande puissance occidentale quand il s’agit de former des spécialistes de cybersécurité. Cas emblématique d’Adi Shamir (casser le chiffrement d’un ordinateur en écoutant son bruit).
Q : Stratégie, thématique un peu guerrière. Faire face à la menace chinoise ?
R : Stratégie 2018 toujours d’actualité.
La question est celle du maintien de la formation : ne pas se faire prélever cette formation. [évocation du parcours international aux US] Je suis revenu. Sentiment d’être utile ou pas. La France a du mal à convaincre ses ingénieurs et chercheurs IA qu’ils peuvent lui être utiles ou pas. Bouger là-dessus va être extrêmement important. Attrait de la France : connexion à un écosystème européen, travail en échanges et partenariats, faire vivre une communauté.
Concernant la question éthique, il faut passer à autre chose. Les grands principes, règles ont été détaillés, convergence dans ce domaine. On court presque le risque inverse, que l’éthique soit un frein, cf Ivan Ilitch ça conduit à l’inverse du but recherché. Si trop de règles, l’expérimentation ne se fait pas, les solutions ne sont pas obtenues. Trop de protection tue le développement. Menace américaine plus importante : prédation de la matière grise. Menace chinoise : solutions apportant domination économique. Mon avis, c’est un Etat criminel avec Xi. S’ils se lancent dans des pratiques inacceptables, je le déplore mais vu du côté européen c’est leur affaire.
Défense, transfert très important dans les deux sens civil – militaire, c’est parti pour rester. Risque pour la défense, on doit cloisonner, risque de perdre le contact avec les algos les plus efficaces, nécessité d’avoir des individus qui jouent sur les deux tableaux, important de rester dans le pool de la R&D dans le domaine civil.