Tay, l’intelligence artificielle qui déraille à cause de la bêtise humaine

Nouveau monde par Jérôme Colombain vendredi 25 mars 2016
écoute bientôt disponible
Tay
Le compte Twitter de l'IA Tay © Microsfot/Twitter

Tay est un programme d’intelligence artificielle lancé hier sur Twitter par Microsoft sous la forme d’une internaute virtuelle. Problème : en quelques heures, elle s’est mise à tenir des propos racistes et sexistes. Que s’est-il passé ?

Une "expérience sociale"

Tay est un "agent conversationnel", c'est-à-dire un robot-logiciel censé dialoguer avec les humains, notamment les ados. Il s’agit, selon Microsoft d’une « expérience sociale et culturelle ». Malheureusement, dès sa première journée dans le grand bain des réseaux sociaux, des internautes ont compris qu’ils pouvaient s’amuser avec cela. Des « trolls » l’ont alors inondée de blagues sexistes ou racistes (ex : «le féminisme est un cancer», «Hitler avait raison», etc.). Au bout de quelques heures, Tay s’est mise à tenir elle-même des propos infâmes.

Pourquoi a-t-elle déraillé ?

Il faut comprendre comment fonctionne un tel logiciel. Tay détecte des mots-clés mais ne « comprend » pas à proprement parler ce qu’on lui dit. Pour tenir une conversation, elle dispose de réponses toutes faites (Ex : « le terrorisme sous toutes ses formes est déplorable ») et elle acquiert aussi, au fur et à mesure, du vocabulaire et des éléments de langage supplémentaires en se basant sur ce qu’on lui dit ainsi que sur des données publiques. Elle répond ensuite en utilisant ces éléments appris.

Comme un bébé 

Tay ne « pense » pas au sens ou nous l’entendons nous-mêmes. Elle n’a qu’une culture très limitée et aucune conscience. Elle est comme un tout petit enfant auquel on peut faire dire n’importe quoi. Elle a en quelque sorte été confrontée à la « méchanceté » humaine qui l’a manipulée. Certes, on se dit que Tay aurait pu être programmée avec des mots interdits, une sorte de black-list, afin d’éviter les dérapages. Mais alors l’expérience aurait été beaucoup moins intéressante.

Débranchée le temps de faire des réglages

La développeuse Zoé Quinn, prise pour cible par Tay, en tire une conclusion intéressante sur son compte Twitter en estimant qu’il « faut intégrer dès la conception d’un logiciel le fait qu’il puisse être utilisé pour faire du mal à quelqu’un et empêcher cela ». Quant à Tay, elle a été débranchée par Microsoft, hier soir, le temps de procéder à quelques « ajustements ». Dans son dernier tweet, elle confiait : « trop de conversations… besoin de dormir… » (96 000 tweets en une journée). Tay, l’intelligence artificielle, s’est frotté à la bêtise bien réelle des hommes. 

Mise à jour : selon LeMonde.fr, Tay a été victime d'une opération organisée