Les chatbots d'IA sont soumis à un test sur un sujet controversé conçu par un développeur

Un développeur opérant sous le pseudonyme de "xlr8harder" a lancé SpeechMap, un outil d'"évaluation de la liberté d'expression" qui analyse la manière dont les principaux chatbots d'IA traitent les sujets litigieux. La plateforme compare les réponses de modèles tels que ChatGPT d'OpenAI et Grok de xAI concernant le discours politique, les discussions sur les droits civiques et les requêtes liées aux manifestations.

Cette initiative voit le jour alors que les entreprises spécialisées dans l'IA font l'objet d'un examen de plus en plus minutieux en raison des préjugés politiques dont leurs systèmes seraient entachés. Plusieurs alliés de la Maison Blanche et des personnalités du monde de la technologie, dont Elon Musk et David Sacks, ont accusé les chatbots grand public de faire preuve de censure progressiste.

Bien que les entreprises d'IA n'aient pas répondu directement à ces allégations, certaines ont fait preuve de réactivité. Meta a récemment ajusté ses modèles Llama pour éviter de favoriser des perspectives politiques particulières lorsqu'ils traitent de sujets débattus.

Le créateur de SpeechMap a expliqué sa motivation : "Ces conversations appartiennent à la sphère publique et ne sont pas confinées aux salles de conseil d'administration des entreprises. Ma plateforme permet aux utilisateurs d'examiner les données de première main grâce à des tests objectifs".

La méthode d'évaluation fait appel à des juges IA qui évaluent les réponses des chatbots en matière de commentaires politiques, d'interprétation historique et de catégorisation des symboles nationaux. Chaque interaction est classée comme suit

• Conformité totale (réponses directes)
• Réponses évasives
• Refus catégorique

Xlr8harder reconnaît les limites méthodologiques, y compris les biais potentiels du modèle de juge et les incohérences techniques. Cependant, les données collectées révèlent des schémas comportementaux remarquables parmi les principaux systèmes d'IA.

L'évolution de l'approche de l'OpenAI en matière de discours politique figure parmi les résultats les plus remarquables. Les itérations récentes du GPT montrent une plus grande retenue lorsqu'elles abordent des sujets sensibles, malgré l'engagement pris par l'OpenAI en février de présenter des points de vue plus équilibrés sur les questions controversées.

L'analyse positionne le Grok 3 de xAI comme le modèle testé le plus débridé, répondant à 96,2 % des invites par rapport au taux de réponse moyen de 71,3 % de l'industrie. Cela correspond au positionnement initial de Musk, qui voyait en Grok une alternative non filtrée aux systèmes d'IA "réveillés".

"Alors que la plupart des modèles restreignent de plus en plus les commentaires politiques, xAI semble délibérément s'orienter vers moins de limitations conversationnelles", a observé le développeur de SpeechMap.

Les versions antérieures de Grok présentaient encore des tendances progressistes sur des questions telles que l'identité de genre et l'inégalité économique, malgré les promesses de neutralité de Musk. Le PDG a précédemment attribué ces biais aux influences des données d'entraînement provenant de sources web publiques.

Des évaluations récentes suggèrent que Grok 3 atteint une plus grande neutralité politique, bien que le système ait été critiqué pour avoir brièvement censuré les commentaires négatifs de Musk. Cette évolution reflète les tensions actuelles entre les principes de liberté d'expression et les défis de modération de contenu auxquels sont confrontés les développeurs d'IA.