Comment le machine learning peut rendre une IA… psychopathe !

Comment le machine learning peut rendre une IA… psychopathe !
Innovation

https://www.rudebaguette.com/2017/06/06/intelligence-artificielle-lunion-europeenne-met-en-garde-contre-des-derives-ethiques/

Encore du grain à moudre pour les partisans d’un sévère contrôle des intelligences artificielles (IA) : des chercheurs du MIT viennent de montrer qu’une IA entraînée avec des images violentes développe des tendances de psychopathe. Une preuve, également, du rôle clé des données dans l’apprentissage des IA.

Elle s’appelle Norman. Non, rien à voir avec le célèbre YouTubeur frenchy. Norman, en référence à Norman Bates, le héros du film Psychose d’Alfred Hitchcock, figure iconique du psychopathe de cinéma.

Deux IA, une entraînée avec des images neutres, l’autre, Norman, avec des images violentes

Norman est une IA développée par le Massachusetts Institute of Technology (MIT) pour démontrer l’importance cruciale du choix des données utilisées pour former l’algorithme d’apprentissage automatique (machine learning) d’une intelligence artificielle.

En l’occurrence, Norman a été entraînée en lui faisant observer des images de morts violentes d’un groupe de discussion sur Reddit. Dans le même temps, une autre IA a été entraînée avec exactement le même algorithme, mais en utilisant des photos de personnes et d’animaux.

Au terme de leurs apprentissages respectifs, les deux IA ont passé le test de Rorschach – qui consiste à analyser et interpréter des images formées par des tâches d’encre, et non à savoir si une personne est plus ou moins violente que le personnage de Watchmen (quoique…). Et là où l’IA entraînée avec des images « neutres » a donné des réponses tout aussi neutres, Norman voit toujours de la violence. L’IA standard voit un vase avec des fleurs, Norman une scène de crime.

Norman fait des tests de Rorschach… inquiétants…

Point ludique de l’affaire : le site du MIT propose aux internautes de faire progresser Norman en lui proposant des réponses au test de Rorschach

Les scientifiques ont ainsi démontré que le choix des données était bien plus important que celui de l’algorithme pour l’orientation que prend une IA. Ils ont aussi prouvé à quel point ces technologies pourraient avoir des effets dévastateurs et dangereux si elles étaient appliqués sans discernement : que feriez-vous si l’IA qui pilote votre maison domotique était une psychopathe, entraînée à séquestrer des humains et à les faire mourir de froid ou de chaud ?