Negligenza

Non breve introduzione al punto sulla negligenza a cui voglio arrivare.

C’è un termine, cognitive computing, che da un po’ di tempo rimbalza da tutte le parti (assieme ad edge computing e a quantum computing). Wikipedia definisce il cognitive computing come:

[a] new hardware and/or software that mimics the functioning of the human brain […] and helps to improve human decision-making

Detto in altro modo, è una piattaforma tecnologica sopra la quale, tra le altre cose, stanno:

machine learning, reasoning, natural language processing, speech recognition and vision (object recognition), human–computer interaction, dialog and narrative generation.

Insomma, di tutto di più, basta che sia intelligenza artificiale. A mio avviso, rischia di essere un modo fuorviante in più per vedere le AI e capire i problemi che sollevano, se prima non si chiariscono altre cose.

Il tema AI è sempre più di frequente un “oggetto tecnologico non identificato” onnipresente nel nostro quotidiano. Si cerca di trasformarlo in una parola al singolare (cognitive computer, come ultima frontiera) ma la realtà è una idea più complessa e fatta di molte cose pensate per scopi diversi. La semplificazione fa parte di un processo naturale di addomesticamento delle nuove tecnologie, ma adesso viene forzata in maniera eccessiva.

Il processo naturale funziona più o meno così: man mano che la società identifica particolari casi e applicazioni, questi vengono “staccati” dal blob non meglio identificato (la parola-minestrone che le contiene tutte) e trasferiti nel quotidiano, chiamandoli con altri nomi: lavatrice smart, riconoscimento automatico del volto, Siri, filtro antispam smart, etc.

Questo sul versante del consumo. Sul versante opposto di chi produce, invece, succedono altre cose altrettanto rilevanti, sia da un punto di vista politico che economico. In ordine sparso, le ultime che ho visto.

La Cina sta diventando un soggetto sempre più importante nella ricerca sulle AI. Un ottimo indicatore è il numero di paper di ricerca cinesi “buoni”, che cresce sempre di più.

Il mensile dell’Economist, 1843, racconta la storia di DeepMind e dei percorsi e vicoli ciechi che ha incontrato, fino ai successi che hanno ricevuto molta attenzione poco tempo fa:

DeepMind’s work culminated in 2016 when a team built an AI program that used reinforcement learning alongside other techniques to play Go. The program, called AlphaGo, caused astonishment when it beat the world champion in a five-game match in Seoul in 2016. The machine’s victory, watched by 280m people, came a decade earlier than experts had predicted. The following year an improved version of AlphaGo thrashed the Chinese Go champion.

Vogue Business racconta di come i negozi fisici “si facciano furbi” utilizzando l’intelligenza artificiale per migliorare la relazione e la vendita (tipo: riconoscere la soddisfazione dei clienti che escono analizzando automaticamente l’espressione del loro volto).

Due persone superbig dell’intellighenzia digitale planetaria, cioè Joi Ito e Jonathan Zittrain, quest’anno per la terza volta faranno un corso di etica delle AI (Applied Ethical and Governance Challenges in Artificial Intelligence) a una classe composta di studenti per metà di Harvard e per metà del MIT. (Le tecno-élite – come tutte le élite – sono sempre autocelebrative, compiacenti e condiscendenti verso se stesse quando si muovono in ambienti più riparati).

Insomma, premessa lunga per dire che c’è un sacco sulle AI e che ne stiamo perdendo il senso. Arriviamo dunque al paper di ricerca che mi interessa raccontare.

Il paper tratta il rapporto che esiste tra la negligenza e l’intelligenza artificiale. Per “negligenza” qui faccio riferimento al concetto giuridico, uno degli elementi psicologici della colpa generica. La negligenza vuol dire compiere una attività senza la dovuta attenzione ovvero quando viene omesso il compimento di un’azione doverosa. Attenzione, non è la stessa cosa della imprudenza (sventatezza e audacia) o della imperizia (mancanza di abilità e di esperienza).

Il paper di cui sopra si intitola Negligence and AI’s Human Users e tocca un tema secondo me fondamentale:

By inserting a layer of inscrutable, unintuitive, and statistically-derived code in between a human decision maker and the consequences of that decision, AI disrupts our typical understanding of responsibility for choices gone wrong

Da qui viene fuori un ragionamento molto interessante che è stato notato da Rachel Thomas (una che di intelligenza artificiale qualcosa ne sa) sulle AI come “assistenti decisionali” anziché come super-robot che si muovono in tutta autonomia. Quest’ultima invece è l’idea che monopolizza o quasi il ragionamento pubblico attorno a questi problemi.

Treating today’s AI as something with agency is not useful nor edifying, and hides fundamental differences with decision assistance AI. Decision assistance AI is rapidly expanding in employment, lending, retail, policing, agriculture, medicine, finance, & data security.

E a chi le obietta che questo approccio è specifico del software e non, ad esempio, dei sistemi di sterzatura delle automobili, risponde:

Please read the article before commenting. This is on the legal challenges of accountability & responsibility. If your car steering system malfunctioned, there is a well-established process for bringing a legal case against the manufacturer. Not so for AI decision assistance.

Qual è la particolarità di una “Decision assistance AI”?

[…] autonomous robots are a narrow subset of AI technologies. More common is what I refer to as “decision-assistance” AI: technology that operates by making a recommendation to a user.

Volete un esempio? Andate in banca a chiedere il mutuo e ve lo vedete rifiutato. Perché? (avete diritto di saperlo). La decisione è di un funzionario, che ha potere di firma, ma è “il sistema” quello che ha elaborato la pratica automaticamente e che “non lo permette”. Il trattamento dei vostri dati, cioè, è avvenuto in maniera che non può venirvi spiegata.

Insomma, c’è un altro problema da affrontare prima di cercare le risposte giuste. Ed è quello di capire se ci stiamo facendo le domande giuste. C’è infatti un tema di conoscibilità della cosa di cui stiamo parlando, che richiede aver capito un po’ di passaggi.

Breve digressione sulla differenza tra un software tradizionale per calcolare se si può erogare il mutuo e uno che invece lo fa usando le AI. 

A differenza del software tradizionale, che è basato su un approccio deduttivo (l’elaboratore esegue il programma che contiene le indicazioni su cosa fare per fornire disco verde all’erogazione del mutuo), buona parte delle AI sono basate su un approccio induttivo. Cioè: l’elaboratore esegue un programma che ha appreso induttivamente da una serie di esempi il modo per raggiungere i risultati voluti dai programmatori: milioni di mutui erogati o no per addestrare la AI a dare disco verde o no alle varie pratiche che le vengono sottoposte.

In questa seconda tipologia di software, la nostra capacità di comprendere il modo con il quale il software elabora il suo output (“prende le decisioni”, cioè indicare al funzionario se il mutuo può essere erogato o no) è alquanto limitata. Non sappiamo come venga eseguito di preciso il trattamento dei dati.
Fine della breve digressione.

Quindi, spiega il paper, il tema della responsabilità diventa enorme, ad esempio per tutte quelle situazioni in cui le AI vengono utilizzate come assistenti nei processi decisionali.

By inserting a layer of inscrutable, unintuitive, and statistically-derived code in between a human decisionmaker and the consequences of that decision, AI disrupts our typical understanding of responsibility for choices gone wrong

E quindi, il paper si occupa proprio di questo:

The Article argues that AI’s unique nature introduces four complications into negligence: 1) unforeseeability of specific errors that AI will make; 2) capacity limitations when humans interact with AI; 3) introducing AI-specific software vulnerabilities into decisions not previously mediated by software; and 4) distributional concerns based on AI’s statistical nature and potential for bias.

Così, secondo me cominciamo a ragionare in maniera un po’ più sensata e concreta. E si vedono dei problemi che finora erano stati completamente evitati da chi ha studiato la materia e da chi la racconta. Cioè: i differenti tipi di responsabilità delle persone che utilizzano le AI come strumento di aiuto decisionale.

Tort scholars have mostly overlooked these challenges. This is understandable because they have been focused on autonomous robots, especially autonomous vehicles, which can easily kill, maim, or injure people. But this focus has neglected to consider the full range of what AI is.

E qui casca l’asino della visione semplificatoria e semplificata per motivi prevalentemente commerciali e idiologici:

Outside of robots, AI technologies are not autonomous. Rather, they are primarily decision-assistance tools that aim to improve on the inefficiency, arbitrariness, and bias of human decisions. By focusing on a technology that eliminates users, tort scholars have concerned themselves with product liability and innovation, and as a result, have missed the implications for negligence law, the governing regime when harm comes from users of AI.

Il paper vale il vostro tempo, se volete approfondire il sottile confine tra diritto, società e tecnologia. Invece, questo post è un estratto della mia newsletter, Mostly Weekly.