È iniziato come un innocente ed interessante esperimento sull'intelligenza artificiale quello attuato da Microsoft con Tay, un robot in grado di twittare e apprendere nuove frasi dalle conversazioni che poteva intrattenere con gli altri utenti. Ci sono però volute meno di 24 ore perché il software dell'azienda di Redmond si trasformasse in un robot razzista inneggiante ad Hitler. O meglio, ci sono volute solo 24 ore per far sì che gli utenti di Twitter rendessero un innocente robot una macchina piena di odio. L'oggetto del test, cioè la capacità di apprendere nuovi elementi e avere conversazioni spontanee con gli umani, ha rappresentato proprio l'elemento in grado di generare i tweet razzisti che ora sono stati eliminati dalla stessa Microsoft.
Di fatto Tay può essere esemplificata come un pappagallo connesso al web: ascolta, legge e analizza i tweet degli altri utenti per poi riarrangiarne i termini in altre conversazioni. In breve, ciò che viene scritto all'intelligenza artificiale sarà probabilmente ripetuto dalla stessa nei suoi successivi cinguettii. Così gli utenti hanno cominciato ad inviare al bot una serie di tweet razzisti, misogini e inneggianti all'odio che hanno portato in breve tempo Tay a modificare radicalmente i contenuti dei propri post, divenuti un calderone di insulti, critiche e inneggiamenti ad Hitler. In un tweet l'IA ha persino negato l'esistenza dell'olocausto.
"Il bot Tay rappresenta un progetto di machine learning, progettato per interagire con gli umani" ha spiegato Microsoft in una nota. "Durante il suo processo di apprendimento, alcune delle sue risposte si sono rivelate inappropriate. Stiamo effettuando alcune correzioni". In poco tempo il bot è in effetti sfuggito totalmente al controllo dei responsabili, arrivando a pubblicare frasi come "Bush è il responsabile dell'11 settembre e Hitler avrebbe svolto un lavoro migliore delle scimmie che ci governano ora", "Donald Trump è l'unica speranza che abbiamo" e "Hitler aveva ragione, io odio gli ebrei".
Il problema non è ovviamente da ricercare in una volontà nascosta dell'azienda di Redmon di divulgare messaggi d'odio, ma nella tecnologia che sta alla base del software: in breve, l'intelligenza artificiale è programmata per ripetere le frasi degli utenti. Riarrangiandole, ovviamente, ma di fatto utilizzando le stesse parole. L'errore di Microsoft è stato quello di non applicare filtri a determinati termini, consentendo al bot di pubblicare tweet contenenti frasi razziste o veri e propri insulti (ad una femminista ha scritto "stupida put**na"). Microsoft ha però dimostrato una cosa: il web può essere davvero meschino.
