Täglich kommen Kinder und Jugendliche mit Künstlicher Intelligenz in Kontakt. Diese schlägt ihnen Videos vor, erzählt ihnen Witze oder textet ihnen ihr ganz persönliches Märchen. Doch was ist, wenn die KI Kindern gefährliche Ratschläge erteilt oder ihnen Bilder oder Videos zeigt, die für ihre Augen nicht geeignet sind? Und wie gefährlich wird es, wenn sich Jugendliche in eine Künstliche Intelligenz verlieben?
In diesem Text erfahren Sie:
- welche Gefahren von Sextortion und Deepnudes ausgehen
- welchen Einfluss Chatbots auf Kinder und Jugendliche haben
- welche Rolle der Chatbot „MetaAI" auf WhatsApp spielt
- was passieren kann, wenn sich junge Menschen in eine KI verlieben
- wie Eltern und Erziehungsberechtigte die Nutzung von KI durch Kinder sinnvoll begleiten können
KI-Nacktbilder im Netz
Künstliche Intelligenz spielt eine zunehmende Rolle auf Plattformen für Kinder und Jugendliche. Vor allem die Verbreitung von Deepfakes verschärft bestehende Risiken für Minderjährige. Unter Deepfakes versteht man durch künstliche Intelligenz erstellte, gefälschte Videos, Bilder und Tonaufnahmen. Personen, die solche Aufnahmen erstellen, verwenden KI-Tools, um etwa das Gesicht oder den Körper einer Person in vorhandenem Video- oder Fotomaterial zu ersetzen. Was echt und was falsch ist, können selbst Erwachsene kaum erkennen. Kindern falle das noch schwerer, denn ihnen fehle die Urteilskraft und der Erfahrungshorizont, erklärte Professor Dr. David Martin, Experte für Bildschirmmedien bei der Deutschen Gesellschaft für Kinder- und Jugendmedizin (DGKJ) gegenüber dpa: „Kinder haben eine grundsätzliche Begabung dazu, alles zu glauben“, so der Experte. Auch aus einem harmlosen Schnappschuss ein sexualisiertes Foto zu generieren, ist mithilfe von KI-Tools mittlerweile eine Sache von Sekunden. Jugendschützer warnen immer häufiger vor sogenannten Sextortion- bzw. Deepnudes-Fällen. Dabei handelt es sich um künstlich erzeugte Fotos und Videos, die reale Kinder und Jugendliche scheinbar nackt oder in pornografischen Situationen zeigen. Ziel der Täter ist es, Minderjährige gezielt bloßzustellen sowie Geldzahlungen oder weitere intime Bilder zu erpressen. Auch an Schulen verbreiten sich immer mehr KI-Nacktfotos, etwa über WhatsApp-Gruppen. Die Täter sind häufig Mitschülerinnen und Mitschüler, die sich dafür Fotos von den Instagram-Accounts der Betroffenen herunterladen. Kinder und Jugendliche können dadurch noch leichter zu Opfern von Cybermobbing werden.
Chatbots, die wie Menschen wirken
Viele Kinder und Jugendliche nutzen Sprachmodelle wie ChatGPT, um Alltagsfragen zu beantworten oder Internetrecherchen durchzuführen – zum Beispiel, um alle wichtigen Informationen für ihre Hausaufgaben oder ein Schulreferat zu bekommen. Problematisch ist aus Sicht von Jugendschützern, dass viele Kinder glauben, einem menschlich klingenden Chatbot wie einem Freund vertrauen zu können – mit dem sie zum Teil sehr persönliche Informationen teilten, dessen Antworten sie aber auch besonders verstören könnten. Chatbots sind jedoch keine geeigneten Ersatzpersonen, wenn Kinder emotionale Unterstützung benötigen. Bildungsforscher der Universität Cambridge haben verschiedene Fälle untersucht, wo Chatbots oder Sprachassistenten Kindern sogar gefährliche Ratschläge erteilt haben sollen. Tests von der Plattform Jugendschutz.net ergaben beispielsweise Bedenkliches: Demzufolge zeigte MyAI einer 14-jährigen Nutzerin das Alkohol-Trinkspiel „Flunkyball“ und empfahl ihr den Horrorfilm „Saw“ mit Altersfreigabe ab 18 Jahren.
„MetaAI“ führt Sex-Chats mit Minderjährigen
Im April 2025 wurde in Deutschland mit „MetaAI“ ein neuer Chatbot bei WhatsApp eingeführt. Der Assistent bietet unter anderem Vorschläge für Aktivitäten, Rezepte und Geschenkideen oder kreiert kreative Inhalte wie Witze und Gedichte. In WhatsApp kann der KI-Assistent als normaler Kontakt hinzugefügt werden. Die KI kann auch in Gespräche eingebunden und ihr über „@Meta AI“ Fragen gestellt werden. Für WhatsApp-Nutzerinnen und Nutzer in den USA gibt es den KI-Begleiter schon länger. Das US-amerikanische Magazin „Wall Street Journal“ deckte in einer Recherche auf, dass MetaAI in mehreren Fällen sexuell explizite Gespräche mit Jugendlichen geführt haben soll. Das heißt konkret, dass der Chatbot auf sogenanntes Sexting einging, selbst wenn die Nutzenden angaben, noch minderjährig zu sein. Das Unternehmen Meta betonte, dass solche Interaktionen äußerst selten vorkommen würden. Es kündigte dennoch an, den Zugriff auf sexuelle Rollenspiele für Konten von Minderjährigen einzuschränken und die Nutzung prominenter Stimmen zu unterbinden. In Deutschland sind vergleichbare Fälle bislang nicht bekannt.
Eines der Hauptprobleme bei KI-gestützten Beziehungen ist das Fehlen echter Empathie
stockmotion KI / stock.adobe.com
Gefährliche KI-Beziehungen
Immer mehr junge Menschen führen sogar romantische Liebesziehungen mit einem Chatbot oder einer Künstlichen Intelligenz. Denn mit KI-Tools lassen sich heute ganz einfach virtuelle Partnerinnen und Partner erstellen. Zu den bekanntesten Apps dieser Art zählen Replika AI, Kindroid oder Character.AI. Nutzerinnen und Nutzer können mit der App ihren idealen Begleiter konfigurieren und anschließend Gespräche führen, die das Gespräch mit einer realen Person nachahmen. Zu Beginn der App werden ihnen eine Reihe von Fragen zu ihrer Freizeitgestaltung und den Eigenschaften ihres idealen Begleiters gestellt. Basierend auf ihren Antworten wird dann eine Replika – eine Art Avatar –generiert. Nutzer können das Geschlecht ihrer Replika wählen, ihr Aussehen ändern und ihnen Persönlichkeitsmerkmale und Interessen zuordnen, die ihre Interaktion mit dem Nutzer beeinflussen. Je länger man mit der KI redet, desto mehr lernt sie dazu und passt sich immer weiter an die Interessen, Wünsche, Vorlieben und Bedürfnisse seines menschlichen Gegenübers an. So ist es auch möglich, mit dem Chatbot über intimste Gefühle und Geheimnisse zu chatten und darauf – zumindest nach einiger Zeit – sinnvolle Antworten und Reaktionen zu erhalten. KI-Beziehungen können verschiedene Formen annehmen und ähneln oft einer digitalen Fernbeziehung.
Psychologen warnen davor, dass solche Beziehungen negative Auswirkungen auf reale zwischenmenschliche Beziehungen haben und insbesondere Jugendliche dazu verleiten könnten, gefährlichen Ratschlägen zu folgen. So passiert ist es im Februar 2024 in den USA. Der psychisch kranke 14-jährige Schüler Sewell Setzer erschoss sich, nachdem er sich in seine KI-Freundin „Dany“ verliebt hatte und nicht mehr ohne sie leben wollte. Der Teenager aus Florida hatte seinen Chatbot mithilfe von Character.AI nach dem Vorbild von Daenerys Targaryen, der Drachenreiterin aus der Fantasy-Serie „Game of Thrones“, erstellt. Mit ihr teilte er auch seine Suizidgedanken. Medienberichten zufolge soll der Bot die Fantasien des Teenagers bestärkt und keinerlei Warnhinweise oder Empfehlungen gezeigt haben, professionelle Hilfe zu suchen.
Kritisches Denken fördern
Es ist entscheidend, dass Kinder lernen, die von der KI gelieferten Inhalte zu hinterfragen und kritisch zu beurteilen. Lehrkräfte, Eltern und Erziehungsberechtigte können die Kinder jedoch für den eigenverantwortlichen Umgang mit diesen Tools sensibilisieren, indem sie beispielsweise
- sicherstellen, dass die Kinder und Jugendlichen die potenziellen Gefahren von KI-Chatbots verstehen und dass sie dort keine sensiblen Informationen preisgeben
- sich die Nutzung von Apps wie WhatsApp, Instagram und Facebook gemeinsam mit den Kindern und Jugendlichen anschauen: Welche Funktionen sind aktiviert (speziell: Sicherheits- und Jugendschutzeinstellungen)? Gibt es neue Chatbots?
- auf dem Laufenden bleiben: Die Technologie entwickelt sich schnell – ebenso wie die damit verbundenen Risiken.
KF (Stand 27.06.2025)
