Dank generativer Künstlicher Intelligenz (KI) können heute auch Laien schnell synthetische Medien erzeugen: Besonders Deepfakes, die oft täuschend echt wirken, bieten neue Möglichkeiten für Manipulationen. Für die Strafverfolgung eröffnen sich dadurch Chancen, etwa durch den Einsatz von Stimm- und Video-Klonen in verdeckten Ermittlungen. Doch der Einsatz von Deepfakes in der Strafverfolgung wirft technische, rechtliche und ethische Fragen auf: Was ist technisch möglich, was erlaubt, und welche Konsequenzen entstehen für die Gesellschaft?
Ein Projekt an der Uni Bayreuth will diese Fragen interdisziplinär untersuchen, praxisnahe Empfehlungen für den Umgang mit Deepfakes erarbeiten und mit einem interaktiven Demonstrator verdeutlichen. Dabei geht es vor allem darum, unter welchen Bedingungen der Einsatz von Deepfakes akzeptiert werden kann. Wir sprachen mit den Professoren Christian Rückert (CR), Lena Kästner (LK) und Niklas Kühl (NK).
Deepfakes sind kein neues Thema, zumal war mit ihrem Aufkommen die kriminelle Nutzung sofort im Fokus und damit sollten sie vor Gericht doch bereits aufgetaucht sein. Warum gibt es „erst jetzt“ das Forschungsprojekt für genau diese Situation?
LK: Es dauert immer ein bisschen, ehe Forschungsgelder für konkrete Probleme im Umgang mit technologischen oder gesellschaftlichen Herausforderungen zur Verfügung stehen. Wir konnten nun ein interdisziplinäres Konsortialprojekt beim bidt für Forschung zu diesem Thema einwerben, da es kürzlich eine passende Ausschreibung gab. Das heißt aber nicht, dass sich zuvor niemand mit Deepfakes, Falschinformationen oder damit zusammenhängenden Straftaten beschäftigt hat. Tatsächlich forschen wir alle bereits an verwandten Themen, nur werden wir jetzt unsere Expertise zu dieser ganz konkreten Fragestellung bündeln.
CR: Zusätzlich ist es derzeit so, dass durch die immer schneller werdende Entwicklung von KI-Technologie auch die Deepfakes immer besser werden. Daher bekommen einige Fragen und Probleme eine neue Qualität. Etwa deshalb, weil es immer einfacher wird, Deepfakes zu erstellen, die man mit dem bloßen Auge nicht mehr von echten Bildern unterscheiden kann. Teilweise wird es sogar für Multimedia-Forensiker:innen schwer, echtes von falschem Bildmaterial zu unterscheiden. Daher wird auch der technische Fortschritt während des Projekts von uns genau unter die Lupe genommen.
Deepfakes in der Strafverfolgung: Kriminelle Anwendungsbeispiele
Es ist eine Sache, einen Politiker in ein vermeintlich lustiges Video einzufügen, jedoch etwas ganz anderes, wenn mittels KI die Stimmen und Optik von Kindern nachgeahmt werden, um bspw. Entführungsszenarien vorzugaukeln. Bei welchen Verbrechen werden Deepfakes derzeit am Häufigsten eingesetzt?
LK: Der Klassiker sind wahrscheinlich Varianten des „Enkeltricks”, zumindest auf Verbrecherseite. Dreh- und Angelpunkt dabei ist, dass falsche Informationen verbreitet und damit die Opfer zu Handlungen wie Geldzahlungen animiert werden. Genau das können sich aber auch Ermittler:innen zu Nutze machen, wenn sie etwa gezielt Informationen platzieren, um Verbrecher:innen herauszulocken, sodass sie überführt werden können. Die spannende Frage, der wir uns in diesem Projekt widmen, ist, wie wir hier sinnvolle Leitlinien für Verbote und legitimierte Anwendungen von Deepfakes festlegen können – spezifisch für die Strafverfolgung, und weiter gedacht auch für andere Bereiche der Gesellschaft.
CR: Neben dem „Enkeltrick” werden Deepfakes auch im Zusammenhang mit groß angelegten Betrugsszenarien wie dem sogenannten CEO-Fraud eingesetzt. Dabei wird Angestellten von Unternehmen mit gefälschten Videos und Stimmen ihrer Vorgesetzten vorgetäuscht, es müsse schnell eine große Geldsumme für einen dringenden Geschäftsabschluss überwiesen werden. Das Geld landet dann aber bei Kriminellen. Ein anderes großes Problem sind Persönlichkeitsrechtsverletzungen. Beispielsweise – und aus meiner Sicht besonders strafwürdig – werden die Bilder von Personen, hauptsächlich Frauen, verwendet, um Deepfake-Pornos zu erstellen und diese im Internet zu verbreiten. Das Spektrum reicht hier von der Rache des Ex-Freundes bis zur gezielten Verunglimpfung von Personen des öffentlichen Lebens, etwa Politikerinnen. Hierunter leiden die Betroffenen besonders, denn wenn die Bilder einmal im Netz sind, ist eine endgültige Löschung auch schwer zu bewerkstelligen.
Inwiefern kann KI auf der Seite der Ermittler eine helfende Kraft werden – beispielsweise bei der Beweisführung, ob ein Deepfake vorliegt?
CR: Bei der Frage, ob ein Bild, eine Stimmaufnahme oder ein Video echt oder falsch ist, werden vor Gericht Sachverständige herangezogen, sogenannte Multimedia-Forensiker:innen. Diese Sachverständigen bedienen sich verschiedener Methoden, selbstverständlich kann dabei auch KI-Technologie zum Einsatz kommen. Diese Technik muss sogar eingesetzt werden, wenn sie nachweislich Fälschungen besser erkennt, als dies ohne KI möglich wäre.
NK: Grundsätzlich kann KI Ermittler:innen bei der Erkennung von Deepfakes durch spezialisierte Detektionsalgorithmen unterstützen. Dabei konzentrieren sich die Algorithmen vor allem auf subtile Artefakte in Bildern, Videos oder Audiodateien. Die Modelle analysieren Inkonsistenzen in Pixelverteilungen, Reflexionen, Gesichtsbewegungen oder Frequenzmustern, die für Deepfakes typisch sind. Da KI-Modelle statistische Abweichungen systematisch und in großer Menge und Detailtiefe analysieren können, übertreffen sie oft menschliche Wahrnehmung. Am Ende ist es aber wie so häufig in der Technik ein Wettlauf zwischen den Erzeugern (Deepfake-Generierung) und den Ermittlern (Deepfake-Erkennung).
CR: Vor allem schwebt uns ein Einsatz für verdeckte Ermittler:innen vor, die kriminelle Netzwerke und Organisationen infiltrieren. Konkret könnte man etwa die Stimme, das Sprachmuster oder sogar das Video eines bereits verhafteten Mitglieds der kriminellen Organisation verwenden, um mit den übrigen Mitgliedern der Organisation virtuell in Kontakt zu treten. Dieses Szenario ist besonders erfolgversprechend, wenn es um rein virtuell agierende Organisationen geht, etwa illegale Handelsplattformen im Darknet.
Das Ziel des Projekts ist die Rechtssicherheit – oder auch, entsprechende Technologien zu entwickeln?
CR: Da es zu dieser Frage bisher überhaupt keine Forschung gibt, leisten wir hier zunächst einmal Grundlagenarbeit. Wir wollen zeigen, ob und was rechtlich und technisch möglich und zulässig ist. Allerdings haben wir mit der ZAC NRW auch eine Schwerpunktstaatsanwaltschaft zur Verfolgung von Cyberkriminalität als Praxispartner im Projekt. Die ZAC NRW wird sich mit ganz konkreten Einsatzszenarien und technischen Umsetzungen befassen.
Ein Projekt mit interdisziplinärem Fokus
Welcher Projektpartner übernimmt konkret welche Aufgabe?
LK: Wir arbeiten eng im interdisziplinären Verbund zusammen und diskutieren gemeinsam die technischen, gesellschaftlichen, erkenntnistheoretischen, moralischen und juristischen Herausforderungen, vor die Deepfakes uns stellen. Wir entwickeln aus dieser Diskussion gemeinsam Lösungsansätze, die wir zusammen mit den Praxispartnern anhand von konkreten Fallbeispielen erproben. Aus philosophischer Sicht steht insbesondere die Frage im Fokus, welche Konsequenzen der Einsatz von Deepfakes für Individuen und Gesellschaft hat – unter erkenntnistheoretischen, ethisch-moralischen, sozialen und institutionellen Gesichtspunkten. Wann dürfen wir Deepfakes benutzen? Welche besonderen Maßstäbe gelten in der Strafverfolgung? Und welche Auswirkungen hat die Verfügbarkeit von Deepfakes auf unseren Umgang mit Medien allgemein?
CR: Aus juristischer Perspektive betrachten wir sowohl die Frage, ob wir neue Strafgesetze zur Verfolgung des sozialschädlichen Einsatzes von Deepfakes brauchen als auch, ob und wie Strafverfolgungsbehörden Deepfakes selbst einsetzen dürfen. Daneben widmen wir uns noch der Problematik, dass sich Strafgerichte bei Bild- und Videomaterial zunehmend weniger sicher sein können, ob diese echt oder gefälscht sind. Hier brauchen wir Regeln für den Umgang mit multimedialen Beweismitteln. Die ZAC NRW wird die praktische Perspektive einer Strafverfolgungsbehörde einbringen und dadurch sicherstellen, dass unsere Lösungen am Bedarf der Strafverfolgungsbehörden orientiert sind.
NK: Unser Team kümmert sich vor allem um die technischen Aspekte, der Prototypenentwicklung, der technischen Machbarkeit oder auch die Verprobung von Designs.
Behörden gelten als notorisch langsame Umsetzer von digitalen Technologien. Wie schätzen Sie das Risiko ein, dass die kriminelle Welt schlicht schneller ist und in Sachen Tech-Know-how immer die Nase vorn haben wird?
LK: Es ist natürlich ein Wettrennen. Aber wir arbeiten hier an generellen Leitlinien, die auch auf zukünftige technologische Entwicklungen anwendbar sein sollen und nicht ein einem konkreten Deepfake-Detektor, der morgen schon wieder überholt ist. Die technische Umsetzung der Erstellung und Erkennung von Deepfakes ist also nicht unser Fokus. Die spannende Frage ist, unter welchen Umständen Behörden Deepfakes wie einsetzen dürfen und wie das in Praxis und Jurisprudenz abgebildet wird.
CR: Wichtig ist, dass die Strafverfolgungsbehörden so gut wie möglich mit der technischen Entwicklung und deren Nutzung durch Kriminelle mithalten können. Hierfür leisten nicht nur wir einen Beitrag, sondern die Behörden rüsten insgesamt auf. So sind auch neben den Schwerpunktstaatsanwaltschaften wie unserem Projektpartner ZAC NRW auch die Bundes- und Landeskriminalämter, die ZITiS und weitere Polizeibehörden mit der Entwicklung und dem Einsatz neuer Technologien befasst. Allerdings besteht hier sicherlich noch Verbesserungsbedarf, um beim Wettrennen die Nase vorn zu behalten.
Hier geht’s zur offiziellen Pressemitteilung des Projekts.
Zu den Lehrstühlen geht es hier:
Professor Kühl
Professor Rückert
Professor Kästner
Du möchtest mehr Beiträge rund um Cyber Security lesen? Dann wirf einen Blick in unsere Karrierenetzwerk IT- und Cyber-Sicherheit!