La mayoría de los productos de inteligencia artificial para el público están pensados para adultos capaces de valorar lo que les responde un chatbot. Los niños todavía no pueden hacerlo. Por eso, cuando empezamos a diseñar Kanoki, nuestro nuevo compañero de IA para niños que aún no están preparados para un smartphone, la pregunta no fue "¿qué puede hacer la IA?", sino "¿qué no debe hacer nunca?". Kanoki sigue en desarrollo y tiene abierta la lista de espera en kanoki.app. En este artículo explicamos los principios de diseño que lo guían, porque sirven a cualquier empresa que desarrolle IA para usuarios vulnerables.
Qué es Kanoki
Kanoki es un pequeño dispositivo redondo de 6,8 cm de diámetro y 1,6 cm de grosor, con un peso objetivo de unos 45 gramos. Tiene una pantalla redonda que muestra una cara en lugar de una cuadrícula de apps, conexión 4G propia y un único botón SOS. Los niños hablan con tres personajes de IA: Mum, que se ocupa de rutinas, recordatorios y cuentos para dormir y está siempre activa; Tommi, un amigo de su misma edad para adivinanzas y juegos; y Giulia, curiosa y creativa. Son los padres quienes deciden qué personajes activar. No es un teléfono: sin navegador, sin tienda de apps, sin redes sociales y sin publicidad.
Principio 1: menos superficie, más seguridad
La forma más sencilla de mantener a un niño lejos de contenidos dañinos es eliminar los lugares donde se encuentran. En Kanoki no hay nada que desplazar y ningún desconocido puede contactarlo: los mensajes solo llegan a contactos aprobados por los padres. Para las empresas, la lección es general: antes de añadir protecciones a una IA potente y abierta a todo, preguntaos si el producto realmente necesita estar abierto a todo. Un alcance limitado suele ser la mejor medida de seguridad.
Principio 2: la IA dice que es una IA
Kanoki nunca finge ser una persona. Los niños saben que hablan con un personaje, y los personajes lo dicen cuando se les pregunta. Es una decisión de diseño, pero también refleja la dirección de la normativa europea: el artículo 50 del Reglamento europeo de IA exige que los sistemas de IA que interactúan directamente con personas se diseñen de modo que estas sepan que hablan con una IA, salvo que resulte evidente. Con niños, lo evidente no puede darse por supuesto, así que lo hacemos explícito.
Principio 3: cuando importa, un adulto lo sabe al instante
La IA no debe gestionar sola las situaciones graves. Si un niño dice que se ha perdido, que tiene miedo o que alguien le ha pedido una foto, los personajes dejan de jugar y avisan a los padres. Una pulsación larga o tres pulsaciones rápidas en el botón SOS envían una alerta al móvil de los padres y un SMS a ambos con la ubicación. La regla es sencilla: en una emergencia, el trabajo de la IA es alertar y mantener al niño tranquilo, no resolver el problema por su cuenta.
Principio 4: los padres ponen las reglas, los niños conservan algo de privacidad
Desde un panel web que funciona en cualquier móvil, los padres configuran horas de silencio, límite diario, temas a evitar, personajes activos y contactos aprobados. Ven en tiempo real alertas y SOS, la última ubicación conocida y un resumen del día por la noche. Lo que no reciben es una transcripción palabra por palabra: las conversaciones completas no se guardan, porque es mejor para la confianza del niño y para la privacidad. Equilibrar supervisión y dignidad es una de las decisiones más difíciles en cualquier producto de control, y preferimos tomarla de forma abierta.
Principio 5: minimización de datos desde el diseño
Los datos de cada familia se mantienen separados en servidores de la Unión Europea, las conversaciones se resumen en lugar de almacenarse para siempre y los padres pueden borrarlo todo desde el panel en cualquier momento. Recoger menos es más barato de proteger, más fácil de explicar y más respetuoso. Además, el Reglamento de IA prohíbe expresamente las prácticas de IA que explotan las vulnerabilidades de una persona debidas a su edad; diseñar con pocos datos y sin presión persuasiva mantiene un producto muy lejos de esa línea.
Principio 6: útil, no adictivo
Los personajes de Kanoki están pensados para devolver a los niños al mundo real. Tommi es el primero en decir "ahora sal a jugar con tus amigos de verdad"; Giulia propone un dibujo y luego dice "enséñaselo a mamá". En los deberes, Kanoki ayuda al niño a razonar y nunca le da la respuesta. El tiempo de uso no es la métrica: un buen día es aquel en que el dispositivo fue útil y luego se quedó olvidado en el bolsillo.
Qué pueden aprender las empresas
- Escribid primero la lista de lo que "nunca" debe pasar. Definid qué no debe hacer vuestra IA antes de decidir qué debe hacer.
- Transparencia por defecto. Decid a los usuarios que hablan con una IA, aunque os parezca obvio.
- Diseñad vías de escalado. Decidid qué situaciones pasan a una persona y haced que el traspaso sea rápido.
- Recoged menos. Resúmenes en lugar de transcripciones, servidores en Europa y un botón de borrar que funcione de verdad.
- Medid la utilidad, no el tiempo de uso.
En qué punto está Kanoki y cómo trabaja Vivig
Kanoki se diseña entre Italia y Estonia en Vivig Consulting. Ahora estamos construyendo los primeros prototipos, y las familias de la lista de espera serán las primeras en probarlo; las imágenes de la web son renders conceptuales y el diseño final puede cambiar. También está prevista una versión Kanoki Teen para jóvenes de 12 a 15 años. El mismo enfoque —alcance limitado, transparencia, escalado a personas y datos en Europa— está presente en nuestras otras apps y proyectos y en el AI Evolution Program, con el que ayudamos a los equipos de empresa a adoptar la IA de forma responsable. Si estáis diseñando un producto de IA para usuarios sensibles, escribidnos.