La plupart des produits d'intelligence artificielle grand public sont conçus pour des adultes capables de juger ce que leur répond un chatbot. Les enfants n'en sont pas encore capables. C'est pourquoi, lorsque nous avons commencé à concevoir Kanoki, notre nouveau compagnon IA pour les enfants qui ne sont pas encore prêts pour un smartphone, la question n'était pas « que peut faire l'IA ? » mais « que ne doit-elle jamais faire ? ». Kanoki est encore en développement, avec une liste d'attente ouverte sur kanoki.app. Cet article présente les principes de conception qui le guident, car ils s'appliquent à toute entreprise qui développe une IA destinée à des utilisateurs vulnérables.
Qu'est-ce que Kanoki ?
Kanoki est un petit appareil rond de 6,8 cm de diamètre et 1,6 cm d'épaisseur, avec un poids cible d'environ 45 grammes. Son écran rond affiche un visage plutôt qu'une grille d'applications ; il dispose de sa propre connexion 4G et d'un unique bouton SOS. Les enfants parlent avec trois personnages IA : Mum, qui gère les routines, les rappels et les histoires du soir et reste toujours active ; Tommi, un copain du même âge pour les devinettes et les jeux ; et Giulia, curieuse et créative. Ce sont les parents qui choisissent les personnages actifs. Ce n'est pas un téléphone : pas de navigateur, pas de boutique d'applications, pas de réseaux sociaux, pas de publicité.
Principe 1 : moins de surface, plus de sécurité
Le moyen le plus simple de tenir un enfant à l'écart des contenus nuisibles est de supprimer les endroits où ils se trouvent. Sur Kanoki, il n'y a rien à faire défiler et aucun inconnu ne peut le joindre : les messages ne vont qu'aux contacts approuvés par les parents. Pour les entreprises, la leçon est générale : avant d'ajouter des garde-fous à une IA puissante et ouverte à tout, demandez-vous si le produit a vraiment besoin d'être ouvert à tout. Un périmètre restreint est souvent la meilleure mesure de sécurité.
Principe 2 : l'IA dit qu'elle est une IA
Kanoki ne se fait jamais passer pour une personne. Les enfants savent qu'ils parlent à un personnage, et les personnages le disent quand on le leur demande. C'est un choix de conception, mais il reflète aussi l'orientation de la réglementation européenne : l'article 50 du règlement européen sur l'IA exige que les systèmes d'IA qui interagissent directement avec des personnes soient conçus pour que celles-ci sachent qu'elles interagissent avec une IA, sauf si c'est évident. Avec des enfants, l'évidence ne se présume pas : nous la rendons explicite.
Principe 3 : quand c'est important, un adulte est prévenu immédiatement
L'IA ne doit pas gérer seule les situations graves. Si un enfant dit qu'il est perdu, qu'il a peur ou que quelqu'un lui a demandé une photo, les personnages arrêtent de jouer et alertent les parents. Un appui long ou trois appuis rapides sur le bouton SOS envoient une alerte sur le téléphone des parents et un SMS aux deux, avec la position. La règle est simple : en cas d'urgence, le rôle de l'IA est d'alerter et de rassurer l'enfant, pas de résoudre le problème elle-même.
Principe 4 : les parents fixent les règles, l'enfant garde un peu d'intimité
Depuis un tableau de bord web qui fonctionne sur n'importe quel téléphone, les parents règlent les heures calmes, la limite quotidienne, les sujets à éviter, les personnages actifs et les contacts approuvés. Ils voient en temps réel les alertes et les SOS, la dernière position connue et un résumé de la journée le soir. Ce qu'ils ne reçoivent pas, c'est une transcription mot à mot : les conversations complètes ne sont pas conservées, ce qui est préférable pour la confiance de l'enfant et pour la vie privée. Trouver l'équilibre entre surveillance et dignité est l'un des choix les plus difficiles de tout produit de contrôle, et nous préférons le faire ouvertement.
Principe 5 : minimisation des données dès la conception
Les données de chaque famille sont séparées sur des serveurs situés dans l'Union européenne, les conversations sont résumées plutôt que conservées indéfiniment, et les parents peuvent tout supprimer depuis le tableau de bord à tout moment. Collecter moins coûte moins cher à protéger, est plus simple à expliquer et plus respectueux. Le règlement sur l'IA interdit en outre explicitement les pratiques d'IA qui exploitent les vulnérabilités d'une personne liées à son âge ; concevoir avec peu de données et sans pression persuasive tient un produit bien à l'écart de cette limite.
Principe 6 : utile, pas addictif
Les personnages de Kanoki sont pensés pour renvoyer les enfants vers le monde réel. Tommi est le premier à dire « maintenant, va jouer dehors avec tes vrais amis » ; Giulia propose un dessin, puis ajoute « montre-le à maman ». Pour les devoirs, Kanoki aide l'enfant à raisonner et ne donne jamais la réponse. Le temps passé n'est pas l'indicateur : une bonne journée, c'est quand l'appareil a été utile puis oublié au fond d'une poche.
Ce que les entreprises peuvent en retenir
- Écrivez d'abord la liste des « jamais ». Définissez ce que votre IA ne doit pas faire avant de décider ce qu'elle doit faire.
- La transparence par défaut. Dites aux utilisateurs qu'ils parlent à une IA, même si cela vous paraît évident.
- Prévoyez des circuits d'escalade. Décidez quelles situations passent à un humain et rendez le relais rapide.
- Collectez moins. Des résumés plutôt que des transcriptions, un hébergement en Europe et un vrai bouton « supprimer ».
- Mesurez l'utilité, pas le temps passé.
Où en est Kanoki, et comment travaille Vivig
Kanoki est conçu entre l'Italie et l'Estonie par Vivig Consulting. Nous construisons actuellement les premiers prototypes, et les familles inscrites sur la liste d'attente seront les premières à le tester ; les images du site sont des rendus conceptuels et le design final peut évoluer. Une version Kanoki Teen pour les 12-15 ans est également prévue. La même approche — périmètre restreint, transparence, escalade vers l'humain et données en Europe — se retrouve dans nos autres applications et projets et dans l'AI Evolution Program, qui aide les équipes en entreprise à adopter l'IA de manière responsable. Si vous concevez un produit d'IA pour des utilisateurs sensibles, écrivez-nous.