Qui décide de ce que l'IA vous dit ? Campbell Brown, ancien directeur de l'information chez Meta, donne son avis.

Tout au long de sa carrière, Campbell Brown s’est attachée à diffuser des informations fiables, d’abord en tant que journaliste de télévision renommée, puis en tant que première et unique directrice de l’information chez Facebook. Aujourd’hui, alors que l’IA redéfinit la manière dont les gens consomment l’information, elle voit l’histoire menacer de se répéter. Cette fois-ci, elle n’attend pas que quelqu’un d’autre vienne remédier à la situation.

Sa société, Forum AI — dont elle a récemment parlé avec Tim Fernholz de TechCrunch lors d’une soirée StrictlyVC à San Francisco — évalue les performances des modèles de base sur ce qu’elle appelle les « sujets à enjeux élevés » : la géopolitique, la santé mentale, la finance et le recrutement. Il s’agit de sujets pour lesquels « il n’y a pas de réponses claires par oui ou par non, où tout est flou, nuancé et complexe ».

L’approche consiste à trouver les plus grands experts mondiaux, à leur demander de concevoir des critères de référence, puis à former des juges IA pour évaluer les modèles à grande échelle. Pour les travaux de Forum AI en géopolitique, Mme Brown a recruté Niall Ferguson, Fareed Zakaria, l’ancien secrétaire d’État Tony Blinken, l’ancien président de la Chambre des représentants Kevin McCarthy et Anne Neuberger, qui a dirigé la cybersécurité sous l’administration Obama. L’objectif est d’atteindre un consensus d’environ 90 % entre les juges IA et ces experts humains — un seuil que, selon elle, Forum AI a déjà atteint.

Brown fait remonter l’origine de Forum AI — fondé il y a 17 mois à New York — à un moment précis. « J’étais chez Meta lorsque ChatGPT a été rendu public pour la première fois », se souvient-elle, « et je me souviens avoir réalisé peu après que cela allait devenir le canal par lequel toutes les informations circuleraient. Et ce n’est pas très bon. » Les implications pour ses propres enfants ont donné à ce moment un caractère presque existentiel. « Mes enfants vont devenir vraiment stupides si nous ne trouvons pas le moyen de régler ce problème », se souvient-elle avoir pensé.

Ce qui la frustrait le plus, c’était que la précision ne semblait être la priorité de personne. Les entreprises spécialisées dans les modèles de base, a-t-elle déclaré, sont « extrêmement concentrées sur le codage et les mathématiques », tandis que les actualités et l’information sont plus difficiles à traiter. Mais plus difficile, a-t-elle fait valoir, ne signifie pas facultatif.

En effet, lorsque Forum AI a commencé à évaluer les principaux modèles, les résultats n’étaient pas vraiment encourageants. Elle a cité l’exemple de Gemini, qui puisait dans les sites web du Parti communiste chinois « pour des articles n’ayant rien à voir avec la Chine », et a noté un biais politique de gauche dans presque tous les modèles. Les défaillances plus subtiles abondent également, a-t-elle déclaré, notamment des contextes manquants, des perspectives manquantes et des arguments fallacieux présentés sans le reconnaître. « Il y a encore un long chemin à parcourir », a-t-elle déclaré. « Mais je pense aussi qu’il existe des solutions très simples qui amélioreraient considérablement les résultats. »

Brown a passé des années chez Facebook à observer ce qui se passe lorsqu’une plateforme s’optimise pour de mauvais indicateurs. « Nous avons échoué dans beaucoup de choses que nous avons essayées », a-t-elle déclaré à Fernholz. Le programme de vérification des faits qu’elle avait mis en place n’existe plus. La leçon à en tirer — même si les réseaux sociaux ont choisi de l’ignorer — est que l’optimisation de l’engagement s’est avérée néfaste pour la société et a laissé de nombreuses personnes moins bien informées.

Son espoir est que l’IA puisse briser ce cercle vicieux. « À l’heure actuelle, cela pourrait aller dans les deux sens », a-t-elle déclaré ; les entreprises pourraient donner aux utilisateurs ce qu’ils veulent, ou elles pourraient « donner aux gens ce qui est réel, honnête et véridique ». Elle a reconnu que la version idéaliste — une IA optimisée pour la vérité — pouvait sembler naïve. Mais elle pense que les entreprises pourraient être un allié inattendu dans ce domaine. Les entreprises qui utilisent l’IA pour les décisions de crédit, les prêts, les assurances et le recrutement se soucient de la responsabilité, et « elles voudront que vous optimisiez le système pour qu’il fonctionne correctement ».

C’est précisément sur cette demande des entreprises que Forum AI mise pour son activité, même si transformer l’intérêt pour la conformité en revenus réguliers reste un défi, d’autant plus qu’une grande partie du marché actuel se contente encore d’audits par cases à cocher et de critères de référence standardisés que Mme Brown juge inadéquats.

Le paysage de la conformité, a-t-elle déclaré, est « une farce ». Lorsque la ville de New York a adopté la première loi sur les préjugés à l’embauche exigeant des audits d’IA, le contrôleur de l’État a constaté que plus de la moitié des cas présentaient des violations qui n’avaient pas été détectées. Une véritable évaluation, a-t-elle ajouté, nécessite une expertise du domaine pour traiter non seulement les scénarios connus, mais aussi les cas limites qui « peuvent vous causer des ennuis auxquels personne ne pense ». Et ce travail prend du temps. « Les généralistes intelligents ne suffiront pas. »

Mme Brown — dont la société a levé 3 millions de dollars l’automne dernier sous la houlette de Lerer Hippeau — est particulièrement bien placée pour décrire le décalage entre l’image que se fait l’industrie de l’IA d’elle-même et la réalité pour la plupart des utilisateurs. « On entend les dirigeants des grandes entreprises technologiques dire : “Cette technologie va changer le monde”, “elle va vous faire perdre votre emploi”, “elle va guérir le cancer” », a-t-elle déclaré. « Mais pour une personne lambda qui utilise simplement un chatbot pour poser des questions basiques, les réponses sont encore souvent approximatives et erronées. »

La confiance dans l’IA est à un niveau extrêmement bas, et elle estime que ce scepticisme est, dans de nombreux cas, justifié. « À la Silicon Valley, le débat tourne en quelque sorte autour d’un seul sujet, tandis qu’un débat totalement différent a lieu parmi les consommateurs. »