L’Apple Card è sessista?
Nei mesi scorsi Apple ha lanciato in collaborazione con Goldman Sachs una speciale carta di credito legata a doppio filo con i propri prodotti e servizi, battezzandola Apple Card. Il metodo di pagamento non è ancora stato reso disponibile al di fuori degli Stati Uniti, dove ha riscosso un certo successo ma dove in questi giorni sta ricevendo parecchie critiche per un aspetto peculiare: secondo diversi testimoni che hanno raccontato in Rete la loro esperienza, gli algoritmi che decidono l'importo dei massimali mensili sarebbero impostati in modo differente per uomini e donne, arrivando a punire queste ultime con importi limite inferiori rispetto a quelli concessi ai rappresentanti dell'altro sesso.
Alle donne limiti di spesa più bassi
La prima testimonianza a finire sotto i riflettori l'ha pubblicata su Twitter David Heinemeier Hansson, un programmatore con un conto in condivisione con la moglie un merito creditizio sostanzialmente identico. Alla consorte però il sistema bancario legato a Apple Card ha concesso limiti di spesa mensili di ben 20 volte inferiori rispetto a quelli garantiti al marito; interpellato il servizio clienti, gli addetti hanno saputo soltanto rispondere che la decisione relativa ai massimali di chi richiede una Apple Card viene presa automaticamente da un algoritmo.
La prima testimonianza del programmatore ha fatto uscire allo scoperto quello che sembra essere un difetto congenito negli algoritmi di valutazione dei meriti creditizi: in altre testimonianze provenienti da ulteriori coppie, le donne sono risultate sempre punite dal sistema — sia quando le condizioni economiche dei due risultavano identiche, sia quando le consorti guadagnavano di più o potevano vantare una posizione finanziaria migliore. Il problema ha colpito anche un utente Apple d'eccezione — il cofondatore Steve Wozniak — che si è trovato con un limite mensile di dieci volte più alto rispetto a quello della moglie, pur avendo beni e conti corrente condivisi.
Cosa può essere successo
Apple e Goldman Sachs non sono ancora intervenute a chiarire la vicenda, ma il fenomeno che potrebbe aver interferito con le valutazioni non si verifica di rado nello sviluppo di sistemi di intelligenza artificiale. Questi algoritmi vengono infatti addestrati con grosse moli di dati che però potrebbero essere viziati in modi che sfuggono agli sviluppatori umani: in casi simili i sistemi che ne risultano porterebbero in eredità modi di ragionare errati e capaci di causare danni.
È ciò che potrebbe essere successo in questo caso: i dati utilizzati per generare gli algoritmi di valutazione di Apple Card potrebbero aver dato al sistema la convinzione che il sesso di un utente abbia effettivamente un ruolo nel determinare l'importo massimo del credito che è possibile concedergli, tramandando all'intelligenza artificiale un preconcetto errato ma che continua a intossicare la società di oggi. La certezza arriverà a breve: in seguito alla vicenda il dipartimento dei servizi finanziari dello stato di New York ha infatti voluto aprire un'indagine per discriminazione nei confronti dell'istituto legato alla carta, ovvero Goldman Sachs.
