La maggior parte dei prodotti di intelligenza artificiale per il pubblico è pensata per adulti in grado di valutare ciò che un chatbot risponde. I bambini non ci riescono ancora. Per questo, quando abbiamo iniziato a progettare Kanoki, il nostro nuovo compagno AI per bambini non ancora pronti per uno smartphone, la domanda non era "cosa può fare l'AI?" ma "cosa non deve fare mai?". Kanoki è ancora in sviluppo, con la lista d'attesa aperta su kanoki.app. In questo articolo raccontiamo i principi di progettazione che lo guidano, perché valgono per qualsiasi azienda che costruisce AI destinata a utenti fragili.
Che cos'è Kanoki
Kanoki è un piccolo dispositivo rotondo di 6,8 cm di diametro e 1,6 cm di spessore, con un peso obiettivo di circa 45 grammi. Ha uno schermo tondo che mostra un volto invece di una griglia di app, una propria connessione 4G e un unico pulsante SOS. I bambini parlano con tre personaggi AI: Mum, che segue routine, promemoria e favole della buonanotte ed è sempre attiva; Tommi, un amico coetaneo per indovinelli e giochi; e Giulia, curiosa e creativa. Sono i genitori a decidere quali personaggi attivare. Non è un telefono: niente browser, niente app store, niente social, niente pubblicità.
Principio 1: meno superficie, più sicurezza
Il modo più semplice per tenere un bambino lontano da contenuti dannosi è togliere i luoghi in cui si trovano. Su Kanoki non c'è niente da scorrere e nessuno sconosciuto può raggiungerlo: i messaggi vanno solo ai contatti approvati dai genitori. Per le aziende la lezione è generale: prima di aggiungere protezioni a un'AI potente e aperta a tutto, chiedetevi se il prodotto ha davvero bisogno di essere aperto a tutto. Un perimetro stretto è spesso la misura di sicurezza più efficace.
Principio 2: l'AI dice di essere un'AI
Kanoki non finge mai di essere una persona. I bambini sanno di parlare con un personaggio, e i personaggi lo dicono quando glielo si chiede. È una scelta di design, ma riflette anche la direzione della normativa europea: l'articolo 50 dell'AI Act richiede che i sistemi di AI che interagiscono direttamente con le persone siano progettati in modo che queste sappiano di parlare con un'AI, a meno che non sia evidente. Con i bambini l'evidenza non si può dare per scontata, quindi la rendiamo esplicita.
Principio 3: quando conta, un adulto lo sa subito
L'AI non deve gestire da sola le situazioni serie. Se un bambino dice di essersi perso, di avere paura o che qualcuno gli ha chiesto una foto, i personaggi smettono di giocare e avvisano i genitori. Una pressione lunga o tre pressioni rapide sul pulsante SOS inviano un avviso al telefono dei genitori e un SMS a entrambi, con la posizione. La regola è semplice: in un'emergenza il compito dell'AI è allertare e tenere calmo il bambino, non risolvere il problema da sola.
Principio 4: le regole le fanno i genitori, ai bambini resta un po' di privacy
Da un pannello web che funziona su qualsiasi telefono, i genitori impostano orari di silenzio, limite giornaliero, argomenti da evitare, personaggi attivi e contatti approvati. Vedono in tempo reale avvisi e SOS, l'ultima posizione nota e un riepilogo serale della giornata. Quello che non ricevono è la trascrizione parola per parola: le conversazioni complete non vengono conservate, perché è meglio per la fiducia del bambino e per la privacy. Bilanciare controllo e dignità è una delle scelte più difficili in ogni prodotto di monitoraggio, e preferiamo farla alla luce del sole.
Principio 5: minimizzazione dei dati fin dalla progettazione
I dati di ogni famiglia restano separati su server nell'Unione europea, le conversazioni vengono riassunte e non archiviate per sempre, e i genitori possono cancellare tutto dal pannello in qualsiasi momento. Raccogliere meno costa meno da proteggere, è più facile da spiegare ed è più rispettoso. L'AI Act inoltre vieta espressamente le pratiche di AI che sfruttano le vulnerabilità di una persona dovute all'età: progettare con pochi dati e nessuna spinta persuasiva tiene un prodotto ben lontano da quel limite.
Principio 6: utile, non una dipendenza
I personaggi di Kanoki sono pensati per rimandare i bambini nel mondo reale. Tommi è il primo a dire "ora vai a giocare fuori con i tuoi amici veri"; Giulia propone un disegno e poi aggiunge "fallo vedere alla mamma". Nei compiti Kanoki aiuta il bambino a ragionare e non gli dà mai la soluzione. Il tempo di utilizzo non è la metrica: una buona giornata è quella in cui il dispositivo è stato utile e poi dimenticato in tasca.
Cosa possono imparare le aziende
- Scrivete prima la lista dei "mai". Definite cosa la vostra AI non deve fare prima di decidere cosa deve fare.
- Trasparenza come impostazione predefinita. Dite agli utenti che parlano con un'AI, anche quando vi sembra ovvio.
- Progettate i percorsi di escalation. Stabilite quali situazioni passano a una persona e rendete il passaggio rapido.
- Raccogliete meno. Riepiloghi invece di trascrizioni, server in Europa e un vero tasto "elimina".
- Misurate l'utilità, non il tempo speso.
A che punto è Kanoki e come lavora Vivig
Kanoki è progettato tra Italia ed Estonia da Vivig Consulting. Stiamo costruendo ora i primi prototipi e le famiglie in lista d'attesa saranno le prime a provarlo; le immagini sul sito sono render di concept e il design finale potrà cambiare. È prevista anche una versione Kanoki Teen per ragazzi dai 12 ai 15 anni. Lo stesso approccio — perimetro stretto, trasparenza, escalation verso le persone e dati in Europa — attraversa le nostre altre app e progetti e l'AI Evolution Program, con cui aiutiamo i team aziendali ad adottare l'AI in modo responsabile. Se state progettando un prodotto AI per utenti sensibili, scriveteci.