Für Facebook zu arbeiten kann zu einer posttraumatischen Belastungsstörung führen. So liegen der Financial Times Dokumente vor, die belegen, dass Accenture, eine global aufgestellte Dienstleistungsfirma, die die Inhaltsmoderation für Facebook in Europa durchführt, ihre Mitarbeiter und Mitarbeiterinnen eine Verzichtserklärung unterschreiben ließ, aus der hervorgeht, dass das Sichten der Inhalte für das Social Media-Unternehmen in einer posttraumatischen Belastungsstörung resultieren kann.

Facebook behauptet, dass man weder davon gewusst, noch Accenture darum gebeten habe, die Verzichtserklärung an die Moderatorinnen und Moderatoren in Warschau, Lissabon und Dublin auszuhändigen. Man sei sich aber bewusst, dass das Sichten der zur Überprüfung markierten Inhalte auf der Seite gesundheitsschädlich sein kann. In Kalifornien und Irland ist Facebook mit Klagen von ehemaligen Mitarbeiterinnen und Mitarbeitern konfrontiert, die behaupten, dass sie schwere psychologische Schäden von ihrer Arbeit in der Content Moderation davongetragen haben.

Über Content Moderatorinnen und Moderatoren wird nicht viel geredet – sie sind Teil der unsichtbaren Arbeitskraft, die die modernen digitalen Plattformen möglich machen. Wenn wir durch unsere von Algorithmen generierten Feeds scrollen, ist uns nicht bewusst, dass die Inhalte, die wir sehen, von echten Menschen verwaltet werden, die unermüdlich daran arbeiten, dass unsere Bildschirme (einigermaßen) frei von Horror bleiben.

»Horror« ist das einzige Wort, das die Nachrichten, Bilder und Videos angemessen beschreibt, die Beschäftigte in der Content Moderation tagtäglich bei ihrer Arbeit zu sehen bekommen: Unaussprechlicher Kindesmissbrauch, Grausamkeit an Tieren, Mord und andere Fälle von abscheulicher Gewalt, Hassverbrechen und übler Rassismus – ganz zu schweigen von den zahlreichen Pornos, von denen viele zutiefst frauenfeindlich sind.

»Der psychologische Tribut der Social Media-Industrie ist enorm.«

Facebook hat ca. 1,6 Milliarden »täglich aktive Nutzerinnen und Nutzer«. Da ist es eine enorme Aufgabe, den Überblick über die Posting-Neigungen des Schlechtesten zu wahren, das die Menschheit zu bieten hat. Der Social Media-Gigant beschäftigt selbst sowie über Subunternehmen schätzungsweise 15.000 Content Moderatorinnen und Moderatoren auf der ganzen Welt.

Und Facebook steht damit nicht allein. Auch Google, Microsoft, Twitter, Pinterest und viele andere Tech-Unternehmen bauen, um ihr familienfreundliches Image aufrechtzuerhalten, auf diese Menschen, von denen viele schlecht bezahlt werden. Schon 2014 schrieb Adrien Chen für Wired über das Leben von Content Moderatorinnen und Moderatoren in den Vereinigten Staaten und den Philippinen, wohin ein großer Teil der Arbeit für einen Bruchteil der Kosten ausgelagert wird.

Chen beschreibt einen unglaublich arbeitsintensiven Prozess. Die Moderatorinnen und Moderatoren werden mit zur Überprüfung markierten Kommentaren, Fotos und Videos geradezu bombardiert. Dabei wird von ihnen erwartet, dass sie möglichst schnell darüber entscheiden, ob der Inhalt von den Feeds der Nutzerinnen und Nutzern entfernt werden soll. Mit immer mehr Menschen, die die sozialen Medien regelmäßig nutzen, ist der Bedarf nach dieser Arbeit drastisch gestiegen. Zwar arbeiten Tech-Unternehmen an der Verbesserung maschinell lernender Algorithmen zur Erkennung von fraglichen Inhalten, jedoch werden nach wie vor in vielen Fällen weiterhin Menschen bei der Sichtung von Nachrichten, Fotos und Videos gebraucht, um darüber zu entscheiden, ob diese entfernt werden sollen.

Der Druck auf Beschäftigte in der Content Moderation, schnelle und korrekte Entscheidungen zu treffen, die den sich ständig weiterentwickelnden »Community Guidelines« entsprechen, ist hoch. Casey Newton, der eine aufschlussreiche Untersuchung zum Facebook-Subunternehmen Cognizant durchgeführt hat, erklärt: »Während Facebook-Mitarbeiterinnen und -Mitarbeiter über große Freiheitsgrade in der Strukturierung ihrer Tage verfügen, wird die Zeit der Arbeiterinnen und Arbeiter bei Cognizant bis auf die Sekunde genau gemanagt.« Letztere würden routinemäßig dafür gefeuert, dass sie falsch entscheiden, welche Inhalte gelöscht und welche behalten werden sollen.

Der psychologische Tribut der Social Media-Industrie ist enorm. Moderatorinnen und Moderatoren beklagen, dass sie nachts nicht mehr schlafen können. Viele leiden an sich fortwährend aufdrängenden Gedanken an Enthauptungen, Kindesmisshandlungen und Tierfoltern. Manche Arbeiterinnen und Arbeiter fallen in eine tiefe Depression, ziehen sich von Familie und Freundeskreis zurück und haben Schwierigkeiten, aus dem Bett zu kommen. Andere greifen zur Selbstmedikation mit Drogen und Alkohol.

Vor ein paar Jahren haben zwei Männer und ihre Familien in Washington einen Prozess gegen Microsoft geführt, in dem sie das Unternehmen der »fahrlässigen Zufügung von emotionalem Leid« beschuldigten. Die Männer hatten in Microsofts »Online Safety Team« gearbeitet und waren beauftragt, Kindesmisshandlungen und andere Verbrechen zu berichten. Einer der Kläger (der behauptete, dass er der Einheit unfreiwillig zugewiesen wurde) beschrieb, dass er infolge seiner Arbeit an einem »inneren Videobildschirm in seinem Kopf« litt, der die verstörenden Bilder immer wieder und wieder abspielte. An sich harmlose Bestandteile des Lebens, wie seinen Sohn zu sehen oder einen Computer zu betrachten, wurden zu Triggern für Halluzinationen oder Panikattacken.

»Arbeiterinnen und Arbeiter sollten nicht dem Gott der User Experience geopfert werden.«

Tech-Unternehmen loben die Arbeit ihrer Content Moderatorinnen und Moderatoren in der Öffentlichkeit und insistieren darauf, dass sie eine angemessene psychologische Unterstützung bereitstellen. Microsoft verfügt über ein »Wellness Programm«; Facebook bietet »Belastbarkeitstrainings« an und YouTube beschäftigt Beraterinnen und Berater. Aber die Wirkung dieser Maßnahmen und ob sie tatsächlich die durch die Arbeit verursachten psychologischen Schäden abmildern, bleibt unklar, denn die Tech-Unternehmen sind extrem verschwiegen.

So werden der Öffentlichkeit noch nicht einmal die elementarsten Informationen bereitgestellt: Wie viele Content Moderatorinnen und Moderatoren sind von US-amerikanischen Tech-Unternehmen oder durch deren Subunternehmen beschäftigt? Wie viel wird diesen Arbeiterinnen und Arbeitern bezahlt? Wie genau sieht ihre Arbeit aus? Wie viele der Beschäftigten leiden infolge ihrer Tätigkeit an psychologischen Schäden? Welche Maßnahmen ergreifen die Unternehmen, um ihre Arbeitsplätze sicherer zu machen?

Stattdessen bekommen wir von den Unternehmen bruchstückhafte Details geliefert. Oder wir erhalten Einblicke, die Investigativjournalistinnen und Wissenschaftler gesammelt haben. Schließlich kommen Informationen durch Gerichtsprozesse ans Licht. Diejenigen, die am ehesten ein klares Bild zeichnen könnten – die Content Moderatorinnen und Moderatoren selbst – sind häufig dazu verpflichtet, Geheimhaltungsvereinbarungen zu unterschreiben, die sie daran hindern, öffentlich von ihren Erfahrungen bei der Arbeit zu sprechen.

Die gestellten Fragen sind nicht schwer zu beantworten. Dennoch fehlt es an Klarheit. Das Problem des Managens grausamer Inhalten wird als Sisyphusarbeit präsentiert. Tech-Unternehmen versprechen, dass wir eines Tages Algorithmen haben werden, die die dreckige Arbeit erledigen. Noch seien wir jedoch gezwungen, auf Menschen zu bauen.

Dieses Narrativ ist falsch. Aktuell wird der Großteil der Ressourcen von US-amerikanischen Tech-Unternehmen darauf verwendet, die »User Experience« zu perfektionieren, um sicherzustellen, dass Menschen so viel Zeit wie möglich auf den Social Media-Plattformen verbringen, was wiederum lukrative Daten zum Verkauf an Werbetreibende generiert. Die enormen Leiden der Beschäftigten, die diese User Experience ermöglichen, werden unter den Teppich gekehrt.

Arbeiterinnen und Arbeiter sollten nicht dem Gott der User Experience geopfert werden. Tech-Unternehmen haben das Know-how und die Ressourcen, um die Arbeitsbedingungen der Content Moderatorinnen und Moderatoren deutlich zu verbessern – jedoch entscheiden sie sich dafür, diese nicht zu nutzen.