Les algorithmes, les nouveaux censeurs des réseaux sociaux

Comment gérer des millions de publications quotidiennes sur les réseaux sociaux ? Si Facebook et consorts font appel à des armées de modérateurs, ils automatisent aussi de plus en plus le processus grâce à des algorithmes.

« Sujets dont la suppression doit être confirmée : (…) présence de parties intimes, incluant les tétons féminins et les raies des fesses. Les tétons masculins sont OK. (…) Les têtes ou membres écrasés sont OK, seulement si l’on n’en voit pas l’intérieur » Inscrites dans un manuel dévoilé en 2012 par le site Gawker, ces consignes de Facebook présentaient ce que le réseau social souhaitait montrer ou cacher à ses utilisateurs à l'époque – elles ont pu évoluer depuis. Un livret à destination des quelques milliers de modérateurs qui, à travers le monde (et via des entreprises sous-traitantes), s’occupent de nettoyer la plateforme de tout contenu subversif signalé par les internautes. Et qui sont les témoins quotidiens de la diversité infinie de la débauche humaine déversée sur Facebook, au point que leur travail affecte bien souvent leur santé mentale, comme le montrait Wired dans une enquête datant de 2014.

Mais ce n'est pas pour le bien-être de ces employés, mais bien pour en améliorer l'efficacité que les compagnies de la Silicon Valley cherchent en parallèle à automatiser cette chasse aux contenus indésirables. Et font appel à des outils tels que ceux développés par Hany Farid. Soutenu par Microsoft, ce professeur à l’université de Dartmouth aux États-Unis a mis au point PhotoDNA en 2008.

Petit tutorial de ce logiciel, en anglais, qui explique que chaque photo a son propre ADN, ou signature digitale, et cet ADN permet de retrouver la même famille de photos et la photo originelle parmi les milliards existantes (E&R):

Vidéo: PhotoDNA™: How it works

Microsoft utilise donc PhotoDNA pour éradiquer la multiplication des images pédophiles sur l’Internet.

Vidéo: PhotoDNA; The Next Chapter in Protecting Children Online

À l’aide d’une base de données de fichiers censurés, cet algorithme identifie (et supprime) les images pédo-pornographiques parmi toutes les publications en ligne. Facebook, Google, Microsoft, de nombreuses applications et des plateformes de stockage cloud l'utilisent déjà.

« eGlyph », chasseur de pédophiles et de terroristes

Aujourd’hui, Hany Farid oriente ses recherches vers les publications terroristes. Il est à présent conseiller principal de l’organisation Counter Extremism Project – qui se revendique non-partisane bien que fondée par un proche de G. W. Bush. « Les extrémistes utilisent les plateformes en ligne comme des armes qui servent à radicaliser, recruter et inciter à la violence. C’est une excellente opportunité pour les entreprises de restreindre l’utilisation des réseaux sociaux à des fins funestes », explique-t-il à Télérama.

Dans ce but, il a développé l’algorithme eGlyph « qui permet de traiter les vidéos et les fichiers sonores aussi bien que les images ». « L’algorithme scanne des milliards de données publiées sur Internet et les réseaux sociaux chaque jour. Lorsqu’il détermine qu’un contenu correspond à une “empreinte” déjà présente dans la base de données des fichiers censurés, il l’étiquette comme “contenu à supprimer”.

Des fils d’actualité aseptisés ?

Mais si la suppression des contenus pédopornographiques fait consensus, celle des contenus extrémistes peut poser problème. Car qu'arrive-t-il si un média ne peut plus montrer et analyser une vidéo de propagande de l’État islamique ? Le contrôle d’un humain n’est-il pas nécessaire pour juger de la pertinence réelle d’une publication ? « C’est une décision politique, répond le chercheur américain. Les entreprises devront décider de l’usage qu’elles vont en faire. Ce sont des décisions difficiles qui sont actuellement en train d’être prises. Notre technologie permet juste aux entreprises de trouver le matériel nécessaire au renforcement de leursconditions de service ». Au risque de proposer, à long terme, des fils d’actualité complètement aseptisés.

Peu disert sur la possibilité que les logiciels soient faillibles et puissent atteindre à la liberté d'expression, d'information ou artistique, Hany Farid préfère insister sur le fait que ce sont toujours les humains qui « gardent le contrôle sur ce qui contrevient ou non : la technologie ne fait qu'appliquer ce qu'on lui demande ». D'ailleurs, les algorithmes ne sont pas forcément les seuls responsables des censures absurdes : dans le cas de la célèbre photo de Nick Ut – celle de la petite vietnamienne nue touchée par le napalm – publiée sur Facebook par un journal norvégien début septembre, « le retrait de cette photo a été entièrement décidée par un modérateur humain », soutient Hany Farid. S’il affirme qu’il « continue à avoir des conversations productives » depuis juin 2016 avec les responsables de Facebook, la firme de Mark Zuckerberg n’a pour le moment « pris aucune décision concernant l’usage d’eGlyph ».