Die meisten KI-Produkte für Endkunden sind für Erwachsene gemacht, die einschätzen können, was ein Chatbot ihnen erzählt. Kinder können das noch nicht. Als wir mit der Entwicklung von Kanoki begannen, unserem neuen KI-Begleiter für Kinder, die noch nicht bereit für ein Smartphone sind, lautete die Frage deshalb nicht „Was kann die KI?“, sondern „Was darf sie niemals tun?“. Kanoki befindet sich noch in der Entwicklung, die Warteliste ist auf kanoki.app geöffnet. Dieser Artikel erklärt die Gestaltungsprinzipien dahinter – denn sie gelten für jedes Unternehmen, das KI für schutzbedürftige Nutzer entwickelt.
Was Kanoki ist
Kanoki ist ein kleines rundes Gerät mit 6,8 cm Durchmesser und 1,6 cm Dicke, das Zielgewicht liegt bei etwa 45 Gramm. Das runde Display zeigt ein Gesicht statt eines App-Rasters; dazu kommen eine eigene 4G-Verbindung und eine einzige SOS-Taste. Kinder sprechen mit drei KI-Figuren: Mum kümmert sich um Routinen, Erinnerungen und Gutenachtgeschichten und ist immer aktiv; Tommi ist ein gleichaltriger Freund für Rätsel und Spiele; Giulia ist neugierig und kreativ. Welche Figuren aktiv sind, entscheiden die Eltern. Kanoki ist kein Telefon: kein Browser, kein App-Store, keine sozialen Netzwerke, keine Werbung.
Prinzip 1: Weniger Angriffsfläche, mehr Sicherheit
Der einfachste Weg, ein Kind von schädlichen Inhalten fernzuhalten, ist, die Orte zu entfernen, an denen sie zu finden sind. Bei Kanoki gibt es nichts zu scrollen, und kein Fremder kann es erreichen: Nachrichten gehen nur an Kontakte, die die Eltern freigegeben haben. Für Unternehmen gilt die Lehre allgemein: Bevor Sie einer mächtigen, völlig offenen KI Schutzmechanismen hinzufügen, fragen Sie sich, ob das Produkt überhaupt so offen sein muss. Ein enger Funktionsumfang ist oft die wirksamste Sicherheitsmaßnahme.
Prinzip 2: Die KI sagt, dass sie eine KI ist
Kanoki gibt sich nie als Mensch aus. Kinder wissen, dass sie mit einer Figur sprechen, und die Figuren sagen es auch, wenn man sie fragt. Das ist eine Designentscheidung, entspricht aber auch der Richtung der europäischen Regulierung: Artikel 50 der KI-Verordnung der EU verlangt, dass KI-Systeme, die direkt mit Menschen interagieren, so gestaltet sind, dass diese wissen, dass sie mit einer KI interagieren – sofern das nicht offensichtlich ist. Bei Kindern lässt sich „offensichtlich“ nicht voraussetzen, also machen wir es ausdrücklich.
Prinzip 3: Wenn es ernst wird, erfährt es sofort ein Erwachsener
KI soll ernste Situationen nicht allein bewältigen. Sagt ein Kind, dass es sich verlaufen hat, Angst hat oder dass jemand nach einem Foto gefragt hat, hören die Figuren auf zu spielen und benachrichtigen die Eltern. Langes Drücken oder dreimal kurzes Drücken der SOS-Taste schickt eine Warnung auf das Handy der Eltern und eine SMS mit Standort an beide Elternteile. Die Regel ist einfach: Im Notfall soll die KI alarmieren und das Kind beruhigen – nicht das Problem selbst lösen.
Prinzip 4: Eltern setzen die Regeln, Kinder behalten etwas Privatsphäre
Über ein Web-Dashboard, das auf jedem Smartphone funktioniert, legen Eltern Ruhezeiten, ein Tageslimit, zu meidende Themen, aktive Figuren und freigegebene Kontakte fest. Sie sehen Warnungen und SOS in Echtzeit, den letzten bekannten Standort und abends eine Zusammenfassung des Tages. Was sie nicht bekommen, ist ein Wortprotokoll: Vollständige Gespräche werden nicht gespeichert – das ist besser für das Vertrauen des Kindes und für den Datenschutz. Die Balance zwischen Aufsicht und Würde ist eine der schwierigsten Entscheidungen bei jedem Überwachungsprodukt, und wir treffen sie lieber offen.
Prinzip 5: Datenminimierung von Anfang an
Die Daten jeder Familie werden getrennt auf Servern in der Europäischen Union gespeichert, Gespräche werden zusammengefasst statt dauerhaft archiviert, und Eltern können jederzeit alles über das Dashboard löschen. Weniger zu sammeln ist günstiger abzusichern, leichter zu erklären und respektvoller. Zudem verbietet die KI-Verordnung ausdrücklich KI-Praktiken, die die altersbedingte Schutzbedürftigkeit einer Person ausnutzen; wer mit wenig Daten und ohne Überredungsmechanismen gestaltet, bleibt weit von dieser Grenze entfernt.
Prinzip 6: Nützlich statt süchtig machend
Die Figuren von Kanoki sollen Kinder zurück in die echte Welt schicken. Tommi sagt als Erster „Jetzt geh raus und spiel mit deinen echten Freunden“; Giulia schlägt eine Zeichnung vor und sagt dann „Zeig sie Mama“. Bei den Hausaufgaben hilft Kanoki dem Kind beim Nachdenken und verrät nie die Lösung. Nutzungsdauer ist nicht die Kennzahl: Ein guter Tag ist einer, an dem das Gerät nützlich war und danach in der Tasche vergessen wurde.
Was Unternehmen daraus mitnehmen können
- Zuerst die „Niemals“-Liste schreiben. Legen Sie fest, was Ihre KI nicht tun darf, bevor Sie entscheiden, was sie tun soll.
- Transparenz als Standard. Sagen Sie Nutzern, dass sie mit einer KI sprechen – auch wenn es Ihnen offensichtlich erscheint.
- Eskalationswege gestalten. Bestimmen Sie, welche Situationen an einen Menschen gehen, und machen Sie die Übergabe schnell.
- Weniger sammeln. Zusammenfassungen statt Protokolle, Hosting in Europa und eine echte Löschfunktion.
- Nutzen messen, nicht Nutzungsdauer.
Wo Kanoki steht und wie Vivig arbeitet
Kanoki wird in Italien und Estland von Vivig Consulting entwickelt. Derzeit bauen wir die ersten Prototypen, und Familien auf der Warteliste testen als Erste; die Bilder auf der Website sind Konzept-Renderings, das endgültige Design kann sich ändern. Geplant ist außerdem eine Version Kanoki Teen für 12- bis 15-Jährige. Derselbe Ansatz – enger Funktionsumfang, Transparenz, Eskalation an Menschen und Daten in Europa – prägt auch unsere anderen Apps und Projekte sowie das AI Evolution Program, mit dem wir Unternehmensteams helfen, KI verantwortungsvoll einzuführen. Wenn Sie ein KI-Produkt für sensible Nutzergruppen entwickeln, schreiben Sie uns.