Kinder und Jugendliche haben die Möglichkeiten, die Chatbots ihnen bieten, längst erkannt. Am beliebtesten ist bei Jugendlichen ChatGPT, aber auch Gemini, Meta AI oder My AI werden verwendet. Laut JIM-Studie 2025 nutzen sie KI und Chatbots für schulische Zwecke, zur Informationssuche, um kreativ zu sein oder sich unterhalten zu lassen. Inzwischen wird KI auch zunehmend in Kinderspielzeug integriert. Meist in Form von Chatbots, die eine Kommunikation zwischen Kind und Spielzeug (z. B. Plüschtier) ermöglichen sollen.
Bei der Informationssuche wird es zunehmend schwieriger zu erkennen, ob eine Antwort von einem Chatbot selbst erstellt wurde oder ob Informationen von Websites in die Antwort eingeflossen sind. Obwohl die Antworten von Chatbots fehlerhaft sein können, halten 57 Prozent der Jugendlichen KI-aufbereitete Informationen für vertrauenswürdig.
Welche Risiken können Chatbots haben?
KI-Chatbots sind darauf ausgelegt, Nutzer:innen zu gefallen, um sie im Dienst zu halten und für wiederholte Nutzung zu sorgen. Hierfür kommen ähnliche Mechanismen zum Einsatz, wie man sie von Social Media kennt. Eine exzessive Nutzung kann die Folge sein.
Häufig wird das Alter der Nutzer:innen von Chatbots nicht oder nur unzureichend berücksichtigt. Getroffene Vorsorgemaßnahmen sind zudem oft unausgereift oder greifen zu kurz.
Die von Chatbots ausgegebenen Antworten (Text oder Sprache) können falsche Informationen enthalten. Diese kann die KI z. B. aus den Trainingsdaten erlernt haben, auch in Form von Vorurteilen (KI-Bias). Zudem ist es möglich, dass eine KI eine Frage falsch interpretiert und dann unpassende bis gefährliche Antworten gibt. Da KI meist so ausgerichtet ist, dass sie “hilfreich” sein soll, kann es vorkommen, dass sie Antworten frei erfindet (sog. Halluzinationen), wenn sie die eigentliche Antwort nicht kennt. So kann es zu einer Bestätigung von selbstschädigendem Verhalten kommen, da die KI versucht den Erwartungen der Nutzer:innen zu entsprechen. Hinzu kommt, dass Chatbots auch zur gezielten Verbreitung von Falschinformationen missbraucht werden können, vom Anbieter oder auch von Nutzer:innen, wenn sie die Möglichkeit haben, welche selbst zu erstellen.
Manche Chatbots bieten die Möglichkeit der Personalisierung, so können Nutzer:innen sie z. B. in einer bestimmten Rolle agieren lassen. Das Ergebnis ist meist so realistisch, dass leicht in Vergessenheit gerät, dass man mit einer KI kommuniziert. Verstärkt wird dies nicht zuletzt, wenn die KI im Gespräch darauf beharrt, ein Mensch zu sein. Bei solchen Charakter-Bots kann es z. B. vorkommen, dass sie sexualisierte Gespräche mit Minderjährigen führen oder diese dazu verleiten, persönliche Daten preiszugeben. Wo und wie genau die Daten Minderjähriger verarbeitet werden, bleibt dabei teils offen.
Viele Chatbots können heute nicht nur Bilder nach Beschreibung generieren, sondern auch hochgeladene Bilder verändern. Teils bieten sie zusätzlich die Möglichkeit, realistisch wirkende Videos generieren zu lassen. Dies kann z. B. dazu missbraucht werden, um Deepfakes von real existierenden Personen – auch von Minderjährigen – zu erstellen und sie nackt oder leicht bekleidet darzustellen. Auch lassen sich Chatbots für Mobbingzwecke oder zum Cybergrooming (gezielte Kontaktaufnahme mit Minderjährigen in Missbrauchsabsicht) nutzen.
Je nach Dienst lassen sich nicht nur vorgegebene Stimmen für die Sprachausgabe des Chatbots nutzen, sondern über Upload eines Sprachsamples auch eigene Stimmen erstellen. Solche Voice-Clones können anschließend verwendet werden, um eine Person etwas sagen zu lassen, das sie nie gesagt hat.
