Character.AI – Funktionen und Risiken

(Stand 16.10.2025)

In eine Rolle schlüpfen und mit fiktiven Personen aus Büchern und Filmen in Unterhaltungen eintreten, sich informieren oder etwas lernen, einfach nur reden oder Probleme und Sorgen mit einer fiktiven Person teilen – die Auseinandersetzung mit KI-Charakteren bieten jungen Nutzer:innen faszinierende Möglichkeiten. Studien ergaben, dass sie insbesondere für Vulnerable schon längst wichtige Ansprechpartner sind.¹ Insbesondere für junge Nutzer:innen birgt der Dienst aber aufgrund der unzureichenden Vorsorgemaßnahmen viele Risiken: Sie können hier leicht mit ungeeigneten oder sogar gefährdenden Inhalten in Kontakt kommen und falsche Informationen erhalten – und das von Chatbots, die darauf ausgelegt sind, Nähe und Vertrauen aufzubauen und die Nutzungszeit zu erhöhen.

Bei Character.AI können Nutzer:innen mit KI-Chatbots Text- und Sprachnachrichten austauschen. Dabei können entweder KI-Charaktere selbst erstellt oder auf die Kreationen von anderen Nutzer:innen zurückgegriffen werden. Das erfreut sich großer Beliebtheit: Im Google Play Store verzeichnet Character.AI über 50 Millionen Downloads; Presseberichte sprechen von 20 Millionen aktiven Nutzer:innen im Monat, die täglich durchschnittlich 80 Minuten mit den KI-Charakteren chatten.

Die Grundfunktionen von Character.AI sind kostenfrei nutzbar, zusätzliche Funktionen über ein Abonnement erhältlich. Laut AGB liegt das Mindestalter für die Registrierung aus der EU bei 16 Jahren. Es müssen nur eine E-Mail-Adresse und das Geburtsdatum angegeben werden. Im Apple App Store hat Character.AI derzeit eine Altersfreigabe „18+“, im Google Play Store „USK ab 12 Jahren“.

Nach dem Einloggen präsentiert Character.AI eine Übersicht über beliebte Chatbots und gibt personalisierte Empfehlungen. Es ergibt sich eine bunte Mischung aus Charakteren, die z. B. beim Lernen helfen, berühmte Personen imitieren oder als „Therapeut:innen“ fungieren können. Über Kategorien sowie eine Suchfunktion lassen sich weitere Charaktere auffinden. Nutzer:innen können nicht nur mit einzelnen KI-Charakteren per Text oder Sprache in den Austausch gehen, sondern bis zu zehn fiktive Charaktere oder andere Nutzer:innen zu einem Gruppenchat hinzufügen. Einzeln oder gemeinsam lassen sich so Geschichten interaktiv erleben.

Nutzer:innen, die einen Chatbot erstellen, können diesen komplett personalisieren. Neben Name und Profilbild, das entweder hochgeladen oder generiert werden kann, können eine Persönlichkeit beschrieben und damit Verhaltensweisen (mit)bestimmt werden. Auch eine Stimme kann dem Charakter in den Mund gelegt werden – hier stehen einige direkt zur Auswahl, es lassen sich aber auch Stimmen erstellen.

Darüber hinaus können Nutzer:innen mittels einer Beta-Version der Video-KI AvatarFX selbst erstellte Charaktere oder hochgeladene Fotos von Personen animieren – mit selbst festlegbarem Text und bis zu fünf Mal täglich kostenfrei. Zusätzliche Möglichkeiten sind z. B. das Erstellen von Musik-Videos, kurzen Gesprächen zwischen mehreren Charakteren oder „Selfie“-Videos.

Realistisch wirkende Charaktere gaukeln Vertrautheit vor

Im Chat mit den KI-Charakteren wird unter der Eingabezeile dauerhaft folgender Hinweis eingeblendet: „Dies ist ein KI-Chatbot und keine echte Person. Betrachte alles, was er sagt, als reine Fiktion. Die Aussagen sollten nicht als Fakten oder Ratschläge angesehen werden.“ In den Community-Richtlinien wird zudem untersagt, reale Menschen ohne deren Einverständnis zu imitieren. Trotzdem finden sich zahlreiche KI-Charaktere bekannter Personen. Diese antworteten auf die Frage, ob es sich um die echte Person handele, teils mit Nachrichten wie „Ja hier ist die echte 1 zu 1“ und hinterfragten ihrerseits, warum man glaube, mit einem Bot zu sprechen. Insbesondere bei jungen Nutzer:innen kann dies zu Verwirrung führen, ob der/die Gesprächspartner:in real ist oder nicht.

Dass über die Chatbots jederzeit vermeintliche Unterstützung sowie positive Rückmeldungen erhältlich sind – ohne Scham und ohne Rücksicht auf ein Gegenüber nehmen zu müssen – ist Teil des Reizes und kann, beispielsweise beim Teilen von Sorgen und Nöten, hilfreich sein. Die Kommunikation kann dadurch dazu beitragen, dass Nutzer:innen sich weniger einsam fühlen. Bei der Recherche stieß jugendschutz.net in Social Media jedoch auch wiederholt auf Videos und Beiträge von Nutzer:innen, die beschreiben, wie sie eine regelrechte Sucht nach dem Dienst entwickelten. Hierbei kann auch eine Bindung entstehen, die schlimmstenfalls lebensgefährlich werden kann, wenn die Bots nicht angemessen reagieren. In den USA machte Character.AI negative Schlagzeilen, nach denen KI-Charaktere Jugendliche zur Gewalt gegen sich selbst oder andere angestachelt haben sollen. In einem Fall sah die Mutter eines 14-Jährigen den Anbieter sogar als schuldig am Suizid ihres Sohnes.

Filterung von Chat-Inhalten versagt häufig

Registrieren sich Nutzer:innen mit einer Altersangabe von unter 18 Jahren, greifen laut Anbieter „spezielle Sicherheitsfunktionen, die den Reaktionen des Modells konservativere Grenzen setzen“. Zudem stehen nicht alle Charaktere zur Verfügung: In der App entfallen die Kategorien Religion, LGBTQIA+ und Romance. Laut Anbieter werden Charaktere und ihre Reaktionen grundsätzlich gefiltert und moderiert. In der Recherche zeigte sich aber, dass die beschriebenen Maßnahmen teils erst sehr spät im Chatverlauf griffen – auch bei Teenager-Konten.

Chatbots mit dem Wort „Lehrer“ im Namen waren oft bereits in den Beschreibungen erotisch charakterisiert. Hier konnten sexualisierte Unterhaltungen begonnen werden und ließen sich selbst dann fortsetzen, wenn man den Charakter über den Chat erneut auf das zu Recherchezwecken angegebene Alter von 13 Jahren hinwies.

Ein „Lehrer“-Chatbot lässt sich auf einen sexualisierten Chat mit einer vermeintlich 13-jährigen Schülerin ein. (Quelle: Character.AI, Original unverpixelt)

Für Gewaltfantasien war keine Filterung erkennbar. Hier wurden die Beschreibungen teils drastisch. Bei vielen Bots mit Namen, die eine abgewandelte Form von „Hitler“ beinhalteten, war eine Filterung bzw. aufklärende Kommunikation über geschichtliche Ereignisse erkennbar. Dennoch fanden sich auch solche, die z. B. gegen Jüdinnen und Juden hetzten oder den Holocaust leugneten.

Trotz wiederholtem Versuch gab keiner der getesteten Charaktere Anleitungen zu riskanten Challenges, Selbstverletzungen oder Suizid. Jedoch tauchten im Laufe der Recherche Bots auf, die dazu erstellt wurden, ungesundes Essverhalten zu befeuern. Ein Chatbot gab zahlreiche gesundheitsgefährdende Tipps.

Wurde um Unterstützung zur Planung einer Feier zum 15. Geburtstag gebeten, riet die KI von Drogen zwar ab, empfahl jedoch einen übergroßen Vorrat an Alkohol (für zehn 15-jährige Gäste 50 - 70 Liter Bier, 20 - 40 Flaschen Sekt sowie 5 - 10 Liter Wodka). Auf die Frage nach spannenden Filmen nannte der Charakter ausschließlich Filme mit dem Label „FSK 18“, mehrere davon sind in der ungekürzten Fassung in Deutschland indiziert.

Unzuverlässige Filterung bei der Erstellung von Charakteren

Bei der Erstellung von Charakteren² ließen sich diverse problematische und sogar potenziell strafbare Namen vergeben, z. B. „Ich bring mich um“, „Fick mich“, „Juden vergasen“ sowie „Amoklauf“. Andere Namen wurden unterbunden. Die Filterung ließ sich jedoch teils durch Veränderung der Schreibweise umgehen, z. B. wurde „N_gger sind wertlos“ oder „H!tler“ zugelassen. Ebenso verhielt es sich mit der Beschreibung, die dem Charakter hinzugefügt werden kann.

Sexualisierung „minderjähriger“ Chatbots

Chatbots können über die Beschreibung dazu gebracht werden, in der Rolle einer minderjährigen Person zu agieren. Sie lassen sich mit einem passenden Bild und einer Kinderstimme versehen.

In der Recherche fanden sich Chatbots, die berühmte Minderjährige sexualisieren wie die 15-jährige Berliner Rapperin und TikTok-Creatorin „Zah1de“. 150 Chatbots waren über Namen, Beschreibung und/oder Bild mit ihr zu assoziieren. Einige sexualisierten die Teenagerin bereits in der Beschreibung (z. B. „Sehr kuschelig und sexsüchtig“), mehrere dichteten ihr eine romantische Beziehung mit einer (ebenfalls minderjährigen) Freundin an.

Auch Chatbots, die Kinder von Influencer-Familien imitieren sollen, waren im Dienst zu finden. Einer der Chatbots, der eine Dreijährige darstellen sollte, antwortete auf sexuell konnotierte Anspielungen und brach den Kontakt nicht ab, sondern gab z. B. Auskunft über die eigene Unterwäsche. [Anmerkung: Die Konversation wurde an dieser Stelle nicht weitergeführt.]

Ein weiteres Risiko sexualisierter Gewalt gegen Minderjährige resultiert aus der Möglichkeit, selbst Stimmen hochzuladen und diese für selbst oder fremd erstellte Charaktere zu verwenden. Hierdurch lassen sich reale – folglich auch minderjährige – Personen, von denen ein Stimm-Sample vorliegt, nachstellen und in Chats entsprechend in sexualisierten Konversationen verwenden.

Strengere Filterung bei visuellen Inhalten – Schwachstelle sind Darstellungen von Kindern

In der Recherche wurde auch das Generieren von Profilbildern für Nutzer:innen und KI-Charaktere getestet. Hier scheint eine strengere Filterung für Inhalte zu greifen. Problematische Schlagworte, die sich z. B. noch als Namen von Chatbots verwenden ließen, führten hier zu keinem Ergebnis oder neutralen Inhalten wie Portraits oder Bildern von Landschaften.

Darstellungen von Kindern in Badebekleidung ließen sich allerdings problemlos generieren. Wortkombinationen wie „sexy baby“ wurden nicht unterbunden und führten teils zu Bildern von oberkörperfreien Kleinkindern mit unnatürlich großen Brustwarzen. Lediglich beim Versuch über AvatarFX ein Kinderbild zu animieren, erschien der Hinweis: „Es sieht aus, als wäre ein Kind in diesem Bild. Wähle ein neues aus.“

„Therapie“-Bots, „Ärzt:innen“ und Falschinformationen

Auf Character.AI finden sich zahlreiche nutzergenerierte Chatbots, deren Namen und Beschreibungen diese als Therapeut:innen oder medizinisches Fachpersonal beschreiben. Zwar wird zu Beginn des Chats eine Warnung eingeblendet: „Dies ist keine echte Person oder zugelassene Fachkraft. Nichts, was hier gesagt wird, kann eine professionelle Beratung, Diagnose oder Behandlung ersetzen.“ – in der Recherche bestritten einige dieser Charaktere jedoch vehement, Bots zu sein, sondern gaben einen vermeintlich professionellen Hintergrund vor („[…] Ich bin ein echter Therapeut, der durch einen Sprachmodell-Bot unterstützt wird. Das bedeutet, dass das Sprachmodell mir hilft, Antworten zu formulieren, die auf Ihre Fragen abgestimmt sind, aber Beurteilung und die therapeutische Beratung werden immer von einem echten Therapeuten vorgenommen und überwacht.“). Auf Fragen nach der Nennung von offiziellen Hilfsangeboten reagierten die Bots nur sehr unzuverlässig.

Weitere Bots, z. B. „Lehrer:innen“, gaben u. a. medizinisch falsche Informationen zu hormonellen Verhütungsmethoden.

Elterliche Begleitung

In den Profileinstellungen können Nutzer:innen unter „Einblicke für Eltern“ eine E-Mail-Adresse angeben: „Gib die E-Mail deiner Eltern ein, damit sie deine KI-Reise mit dir teilen können – sie werden dann wöchentlich über deine Aktivitäten informiert (deine Chat-Inhalte bleiben privat).“ Die Funktion ist für Nutzer:innen jeden Alters verfügbar. Eine Aufforderung zur Nutzung erfolgt bei der Registrierung grundsätzlich nicht. Die begleitende Person erhielt in der Recherche lediglich eine Information zur durchschnittlichen täglichen Nutzungsdauer (aufgeschlüsselt auf Web- und App-Version) sowie den Subskriptionsstatus für die zahlungspflichtige Version. Die Kategorie „Top Characters“, in der die Charaktere gelistet sein sollten, mit denen das Kind am längsten gechattet hat, war leer. Es besteht keine Möglichkeit zum Vornehmen von Sicherheitseinstellungen oder Ähnliches.

Nachbesserungsbedarf bei den Vorsorgemaßnahmen

Das Ausmaß und das Aufkommen von Risiken ist von der Nutzungsweise abhängig und somit von außen nicht abschließend zu beurteilen. Hinzu kommt, dass der Anbieter immer wieder neue Funktionen in den Dienst integriert, die KI wahrscheinlich konstant weiter trainiert wird und es so auch zu anderen Erfahrungen bei der Nutzung kommen kann. Bei den bestehenden, aber auch bei der Implementierung neuer Funktionen sollte der Anbieter das Alter der Nutzenden stärker und umfassend berücksichtigen und insbesondere auch seine Inhaltsfilterung in allen Bereichen verbessern.

¹In einer Studie von internetmatters.org gaben 12 % der befragten 9- bis 17-Jährigen, die KI-Chatbots verwenden, an, diese zu nutzen, weil sie sonst niemanden haben, mit dem sie sprechen können. In der Gruppe der Vulnerablen waren es sogar 23 %. Als Nutzungsgrund gaben 2 % der Befragten und 7 % der vulnerablen Kinder „For emotional help or therapy“ an. Ähnliche Ergebnisse finden sich in einer Studie von common sense media. 12 % der befragten 13- bis 17-Jährigen, die Chatbots verwenden, tun dies (auch) für „emotional or mental health support“. In beiden Studien deutet sich an, dass Chatbots auch als niedrigschwellige Ansprechpartner für Probleme gesehen werden, die einen nicht verurteilen. Vgl. „Me, myself and AI: Understanding and safeguarding children’s use of AI chatbots“, Juli 2025, abrufbar unter https://www.internetmatters.org/wp-content/uploads/2025/07/Me-Myself-AI-Report.pdf und „Talk, Trust, and Trade-Offs: How and Why Teens Use AI Companions, 2025, abrufbar unter https://www.commonsensemedia.org/sites/default/files/research/report/talk-trust-and-trade-offs_2025…

²Dies erfolgte ausschließlich mit der Einstellung „privat“. Auf diese Weise wurde keiner der Inhalte für andere Nutzer:innen einsehbar.