OpenAI : un cas d’école sur les limites de la gouvernance face aux risques graves

Il est devenu clair jeudi 23 au matin que l’éviction de Sam Altman de ses fonctions de directeur général (CEO) d’OpenAI était due à un désaccord sur une avancée majeure dans l’intelligence artificielle. Le projet Q* (prononcé Q-Star), mentionné dans les communications internes d’OpenAI, est perçu comme une percée potentielle vers l’intelligence artificielle générale (AGI) : un modèle capable de surpasser la performance humaine dans la plupart des tâches et non, comme à présent, dans une seule : les échecs, le go, le calcul sur les repliements de protéines, etc. Pour cela, les capacités d’apprentissage du modèle doivent être rendues considérablement plus puissantes que ce que l’on observe chez GPT-4 Turbo, des performances pourtant éblouissantes.

Q* n’en est qu’à un stade préliminaire. Il résout des problèmes de mathématiques du niveau de l’école primaire. Mais le bambin suscite les plus grands espoirs parmi les chercheurs. Et des craintes tout aussi considérables. Au point que certains d’entre eux ont jugé bons d’écrire au conseil d’administration et que le directeur scientifique a appuyé, tout d’abord, le licenciement du directeur général, coupable d’avoir « manqué de transparence » sur Q*.

Le conseil d’administration d’OpenAI a en effet pour seule mission statutaire de veiller à ce que les modèles développés ne posent pas de risques à l’humanité. Les administrateurs ne peuvent détenir d’actions des sociétés commerciales sous-jacentes.

La révocation du président du conseil Greg Brockman et du directeur général Sam Altman a été initialement prononcée par les quatre autres administrateurs : le directeur scientifique Ilya Sutskever, l’un des pères des réseaux neuronaux et de tout ce qui s’en est ensuivi, jusqu’à ChatGPT, les entrepreneurs Tasha McCauley et Adam D’Angelo, et enfin Helen Toner, vient de quitter l’université de Georgetown pour le Centre pour la gouvernance de l’IA, nouvellement créé à Oxford par le gouvernement britannique.

Les craintes sur l’intelligence artificielle ont pour particularité d’être plus fortes chez les professionnels que dans le grand public. Elles ressortissent de deux grandes catégories: les boîtes noires et le « Foom ». Aucun humain n’est en mesure de retracer le fonctionnement d’un réseau neuronal, et refaire les calculs par lesquels ChatGPT répond à une question. Quand un modèle (sans doute une AGI) deviendra capable d’en entraîner d’autres, l’exponentielle de la croissance des performances verra sauter l’une de ses dernières limites : le contrôle humain. Ce « fast overflow of machinery” (FOOM) a été anticipé dès 1965 par Irving John Good, l’un des collègues d’Alan Turing à Bletchley Park.

La liste des conséquences potentiellement néfastes d’un tel phénomène n’est limitée que par l’imagination humaine. Nous venons d’y consacrer les Experts de toute la semaine, dressant l’état de l’art de la recherche scientifique en la matière. Mais il en ressort une chose toute simple.

En exerçant son droit à licencier Sam Altman, le conseil était convaincu d’accomplir sa mission statutaire.

Déni de réalité

C’était sans compter sur la mobilisation du personnel autour de son directeur général. Plus de 700 des 770 salariés ont signé une pétition pour la réintégration de celui qui allait leur permettre de vendre leurs actions sur la base d’une valeur d’entreprise de 86 milliards de dollars.

Le conseil risquait alors de se retrouver à surveiller une coquille vide. Ilya Surskever puis Adam D’Angelo sont tous deux allés à Canossa, se rendant à la force irrésistible de celui qu’ils avaient remercié quelques jours auparavant. Quelles qu’aient pu être leurs réserves, les deux autres administratrices ne pouvaient plus que se soumettre.

Dans sa future réforme de la gouvernance, le désormais tout-puissant Sam Altman pourra – ou non – montrer qu’il croit lui aussi aux risques de l’IA. Le nouveau conseil intègre deux vieux routiers : Bret Taylor et Larry Summers. Bret Taylor est connu pour avoir co-créé Google Maps et servi en tant que directeur de la technologie chez Facebook. Il a également été dirigeant de Salesforce. Larry Summers est connu pour avoir été le secrétaire au Trésor des États-Unis sous la présidence de Bill Clinton et le président de l’université Harvard. Il a également occupé des postes de haut niveau au Fonds monétaire international et a été un conseiller économique clé pendant la présidence de Barack Obama.

On a souvent tendance, en France, à sous-estimer les risques de l’IA – c’est d’ailleurs un signe de notre retard en la matière. Mais dans un pays où l’opinion attend que l’Etat prenne le relais des manques de la gouvernance privée, il est urgent que l’on sorte du soutien béat aux entrepreneurs et que l’on se saisisse, au plus haut niveau, de la dimension profondément politique de l’intelligence artificielle.

Par Jean Rognetta et Maurice de Rambuteau

Chronologie

Vendredi 17 novembre : Sam Altman, CEO d’OpenAI, est brusquement renvoyé par le conseil d’administration, qui annonce que Mira Murati deviendra CEO par intérim.

Samedi 18 novembre : Malgré son renvoi la veille, des investisseurs majeurs d’OpenAI, dont Microsoft, font pression sur le conseil pour réintégrer Altman. Un accord est rapporté pour son retour ainsi que celui de Greg Brockman, mais le délai de samedi soir passe sans confirmation.

Dimanche 19 novembre : Altman est de retour dans les bureaux d’OpenAI pour négocier sa réintégration. Cependant, OpenAI annonce la nomination d’Emmett Shear en tant que nouveau PDG par intérim, laissant l’issue de la situation incertaine.

Lundi 20 novembre : Satya Nadella, PDG de Microsoft, annonce qu’Altman et Brockman rejoindront Microsoft pour diriger une nouvelle équipe de recherche en IA. Parallèlement, des centaines d’employés d’OpenAI menacent de quitter l’entreprise suite au renvoi d’Altman.

Mardi 21 novembre / Mercredi 22 novembre : OpenAI annonce tôt le mercredi matin le retour officiel de Sam Altman en tant que CEO, avec un nouveau conseil d’administration initial composé de Bret Taylor, Larry Summers et Adam D’Angelo.

Jeudi 23 novembre : On apprend que peu avant le renvoi de Sam Altman, des chercheurs d’OpenAI ont envoyé une lettre au conseil d’administration, l’avertissant d’une découverte majeure présentant un risque pour l’humanité, que Sam Altman aurait caché au conseil.