„Vollbild“: Hohe Gefahr durch künstlich generierte Kinder- und Jugendpornografie

Mainz/Berlin. Recherchen des SWR Investigativformats „Vollbild“ zeigen, wie Künstliche Intelligenz zunehmend missbraucht wird, um Kinder- und Jugendpornografie zu erstellen. Neben komplett künstlichen Abbildungen basieren einige auch auf echten Kinderbildern oder sogar echtem Missbrauch (Doku online in der ARD Mediathek unter https://1.ard.de/vollbild_ki-kinderpornografie?pm)

Über die Social Media Plattform Instagram werden künstlich generierte pornografische Bilder von Kindern und Jugendlichen verbreitet. Das zeigen Recherchen des Investigativformats „Vollbild“. Einige Accounts, die Bilder von Kindern und Jugendlichen in knapper Unterwäsche, Badebekleidung oder in sexualisierten Posen zeigen, verlinken zudem auf externe Plattformen, die teilweise auch Abbildungen von explizitem, KI-generierten Kindesmissbrauch verbreiten. Expert:innen warnen vor der Gefahr der KI-generierten Missbrauchsabbildungen: Sie erschwerten die Ermittlungsarbeiten und könnten bei pädophilen Menschen die Bereitschaft erhöhen, reale Übergriffe zu begehen.

KI-Bilder basieren teilweise auf echtem Missbrauch von Kindern und Jugendlichen

„Vollbild“-Recherchen zeigen zudem, dass KI-generierte Abbildungen kursieren, die auf echtem Kindesmissbrauch basieren. „Leute verkaufen Zugang zu solchen Bildern oder lassen sich fürs Erstellen bezahlen“, sagt Dan Sexton von der Internet Watch Foundation. Die meisten Abbildungen von KI-generiertem Kindesmissbrauch hat die britische NGO bislang im Dark Web gefunden. Doch immer mehr davon würden auch im Open Web landen. „Das ist nichts, was vielleicht in der Zukunft passieren könnte, sondern etwas, das bereits jetzt passiert“, so Sexton. Eine Sprecherin von Instagram positioniert sich auf „Vollbild“-Anfrage klar gegen Kinderpornografie. Instagram gehe nicht nur gegen explizite sexuelle Inhalte vor, sondern auch gegen Profile, Seiten oder Kommentare, die nicht eindeutig sexuell konnotierte Bilder von Kindern teilen, wenn die Bildunterschriften, Hashtags oder Kommentare unangemessene Zeichen der Zuneigung enthielten.

Social-Media-Plattformen wie Instagram reagieren unzureichend

„Vollbild“-Recherchen zeigen jedoch, dass Instagram der Pflicht, rechtswidrige Inhalte zu entfernen, nur unzureichend nachkommt. Die Redaktion hat im Zuge der Recherche mehrere Dutzend Instagram-Accounts gemeldet, deren Besitzer:innen damit werben, Kinder- und Jugendpornografie zu verkaufen. Nur ein Drittel der Accounts wurden von Instagram innerhalb von 48 Stunden gelöscht. Bei den anderen konnte zunächst kein Verstoß gegen die Community-Richtlinien festgestellt werden. Erst nach nochmaligem Hinweis wurden auch die übrigen Accounts gelöscht.„Wir haben entsprechende rahmenrechtliche Regelungen in Deutschland, mit denen so etwas aus dem Netz entfernt werden kann“, sagt der rheinland-pfälzische Justizminister Herbert Mertin (FDP). „Unser Problem ist immer nur, den Verursacher handhabbar zu machen.“ Viele Täter säßen im Ausland und seien dadurch schwer greifbar. Außerdem sei die internationale Zusammenarbeit mit manchen Ländern schwierig. Oberstaatsanwalt Markus Hartmann, der die Zentral- und Ansprechstelle Cybercrime (ZAC) in Nordrhein-Westfalen leitet, sieht das Problem vor allem darin, dass es für Plattformbetreiber nicht leicht sei, entsprechendes Bildmaterial zu erkennen.

BKA: Zunahme von Kinder- und Jugendpornografie

„Was ich als Besorgnis empfinde, ist, dass sich die Zahl des verfügbaren Materials erhöhen wird, aber vor allen Dingen auch die inhaltliche Qualität“, so Hartmann. Die Entwicklung könnte laut Hartmann dazu führen, dass auch Ermittlungsbehörden KI-generierte Bilder fälschlicherweise als neuen tatsächlichen Missbrauch bewerten und dadurch ressourcentechnisch an ihre Grenzen kommen. Das BKA erfasst Fälle von KI-generierter Pornografie nicht gesondert, stuft die Gefahr bei Kinder- und Jugendpornografie insgesamt aber als „hoch“ ein. Es bestätigt auf „Vollbild“-Anfrage, dass Social-Media-Plattformen, darunter auch Instagram, zur Verbreitung kinder- und jugendpornografischer Inhalte genutzt werden. Im Jahr 2022 seien die Fallzahlen um 7,4 Prozent bei Kinderpornografie sowie um 32,1 Prozent bei Jugendpornografie im Vergleich zum Vorjahr gestiegen. Weiter teilt das BKA mit, eine Gefahr liege darin, dass alltägliche, echte Fotos als Grundlage für KI-generierte Pornografie dienen können. Die künstlichen Abbildungen sind laut BKA schon jetzt kaum von echten zu unterscheiden.

Mögliche Gesetzeslücke bei KI-Abbildungen?

Die Verbreitung, der Erwerb und der Besitz von kinder- oder jugendpornografischen Abbildungen ist in Deutschland nach Paragraf 184 b und c des Strafgesetzbuchs verboten. Doch da es bislang kaum eine Rechtsprechung zu KI-generierter Kinder- und Jugendpornografie gebe, sorgt das laut Justizminister Mertin für Ungewissheiten: „Ein Problem könnte sein, dass das bloße Herstellen, ohne es vertreiben zu wollen, gegebenenfalls straflos bleibt, wenn sie es mit künstlicher Intelligenz machen. Stellen sie es mit echten Kindern her, dann ist es strafbar.“

Daher habe die Justizministerkonferenz Bundesjustizminister Marco Buschmann (FDP) gebeten, eine Expert:innenkommission einzusetzen, die sich mit den neuen Entwicklungen auseinandersetzt, sagt Mertin. Das Bundesjustizministerium teilte auf „Vollbild“-Anfrage mit, es prüfe fortlaufend das „strafrechtliche Instrumentarium“. Neben echten seien auch „regelmäßig mittels KI generierte kinder- und jugendpornografische Darstellungen” strafbar.

Dritte Staffel des SWR Investigativformats „Vollbild“ mit zwölf neuen Folgen

Mit der investigativen Recherche „Dein Kind im Porno? Unfreiwillig nackt online“ zu KI-generierten Missbrauchsdarstellungen und Deepfakes von Kindern und Jugendlichen startet die dritte Staffel des investigativen Recherche-Formats des Südwestrundfunks. Zusammen mit der Berliner Produktionsfirma „Labo M“ realisiert der SWR zwölf neue investigative Dokus à 20 bis 30 Minuten Länge, die sich in Themenauswahl und Machart gezielt an die jüngere Zielgruppe der 30- bis 40-Jährigen richten. Alle vier Wochen dienstags erscheint ein neues Video in der ARD Mediathek.

„Vollbild“ am Montag, 8. Januar 2023, ab 6 Uhr

Der Film ist ab 8. Januar online ab 6 Uhr in der ARD Mediathek unter https://1.ard.de/vollbild_ki-kinderpornografie?pm abrufbar.

Weitere Informationen in der ARD Mediathek oder auf www.youtube.com/vollbild