ARMI DI DISTRUZIONE MATEMATICA.
Abbiamo creduto che l’era del Big Data avrebbe portato giustizia e chiarezza, gestendo le nostre vite con fredda, impeccabile logica. Ma come dimostra in modo feroce e cruciale la matematica e whistle-blower Cathy O’Neil, la realtà è l’avvento di Armi di Distruzione Matematica (WMD), il titolo del suo illuminante e disturbante libro .
Chi è Cathy O’Neil?
Non è un’attivista improvvisata, ma una figura che ha visto l’inferno dall’interno. Con un dottorato in matematica a Harvard, ha lasciato l’accademia per diventare una quant a Wall Street (D. E. Shaw), un mondo dove le formule matematiche potevano moltiplicare “il caos e la sfortuna”. Dopo aver assistito al crollo finanziario del 2008, ha capito che la matematica era “profondamente invischiata nei problemi del mondo”. Oggi, come editorialista per Bloomberg View e fondatrice del blog MathBabe, è una delle “voci più forti” che si battono per limitare l’influenza degli algoritmi sulle nostre esistenze. Il suo libro non è solo una critica urgente all’uso sconsiderato della matematica, ma un “grido d’allarme” e un’opera “indispensabile” che è stata paragonata a classici come The Jungle.
Il Giudizio dell’Umanista Digitale: La Tirannia Opaca del Codice
Dopo aver letto il lavoro fondamentale di O’Neil, da umanista digitale, il quadro che emerge è agghiacciante:
1. L’Ingiustizia Come Prodotto di Fabbrica (L’Emissione Tossica): Le WMD sono modelli che, operando su “vasta scala”, riescono a “codificare pregiudizi, incomprensioni e bias umani” nel software. Questi modelli tendono a “punire i poveri e gli oppressi nella nostra società”, creando danni sistemici. I modelli definiscono il successo in termini di profitto e di efficienza, e, come risultato, l’ingiustizia diventa l’equivalente digitale della “fuliggine nera che fuoriesce dai camini. È un’emissione, una tossica”.
2. La Dicotomia Umani Contro Macchine: L’automazione ha creato una divisione di classe algoritmica: i privilegiati sono “processati più dalle persone”, mentre le masse sono “processate dalle macchine”. I verdetti dei WMD sono “al di là di ogni disputa o appello”, perché il modello stesso è una “scatola nera” (black box) e un “segreto aziendale gelosamente custodito”. L’algoritmo non ascolta e “non si piega”.
3. Il Loop della Disperazione: Le WMD prosperano grazie ai “cicli di feedback perniciosi”. Ad esempio, l’uso del credit score per l’assunzione di personale penalizza chi ha avuto problemi finanziari, rendendo più difficile trovare un lavoro; la disoccupazione peggiora il punteggio di credito, “rendendo ancora più difficile ottenere un lavoro”. Il modello, di fatto, contribuisce a “sostenere un ciclo tossico” che auto-conferma le proprie ipotesi.
4. L’Ethos Perduto: La matematica pura è un rifugio, ma i modelli applicati sono solo “opinioni incorporate nella matematica”. Il fallimento di questi sistemi risiede nel fatto che il concetto di “imparzialità sfugge completamente” agli algoritmi. I programmatori non sanno come codificare la giustizia, e pochi datori di lavoro lo chiedono. Dobbiamo imporre valori umani ed etici sul codice.
Il nostro compito è urgente: Dobbiamo riconoscere il “lato oscuro del Big Data” e smantellare queste WMD prima che l’ingiustizia e la povertà siano accettate come risultati “scientifici” e inappellabili dell’era dei dati. Dobbiamo esigere trasparenza, perché la democrazia merita di più
FAQ : Svelare la Scatola Nera dei Modelli Matematici
Cosa sono le Armi di Distruzione Matematica (WMD)?
Le WMD (Weapons of Math Destruction) sono modelli matematici dannosi [1]. Essi codificano “pregiudizi, incomprensioni e bias umani” all’interno dei sistemi software che gestiscono in misura crescente le nostre vite [2]. Questi modelli, come divinità, sono “opachi” e il loro funzionamento è “invisibile” a tutti tranne ai matematici e agli informatici [2]. I loro verdetti, anche quando sbagliati o dannosi, sono al di là di ogni disputa o appello [2].
I WMD tendono a “punire i poveri e gli oppressi nella nostra società”, mentre rendono i ricchi ancora più ricchi [2].
Quali sono i tre elementi che definiscono un WMD?
I tre elementi cruciali che definiscono un WMD sono l’Opacità, la Scala e il Danno (o Distruttività) [3]:
- Opacità (Opacity): Il modello è una “scatola nera” (*black box*), spesso un “segreto aziendale gelosamente custodito” [4, 5]. L’opacità rende estremamente difficile “contestare il punteggio” [4].
- Scala (Scale): Operano su vasta scala, classificando, prendendo di mira o “ottimizzando” milioni di persone [6, 7]. La scala è ciò che trasforma i modelli da semplici “fastidi locali a forze di tsunami” [7].
- Danno (Damage): Infliggono danni sistemici. I modelli creano “cicli di feedback perniciosi” che possono auto-perpetuarsi, giustificando e intensificando i risultati negativi iniziali [6, 8].
Chi è Cathy O’Neil e qual è il suo ruolo in questo dibattito?
Cathy O’Neil è una **scienziata dei dati** e l’autrice del libro fondamentale *Weapons of Math Destruction* [1, 9]. Ha un **PhD in matematica dall’Università di Harvard** [9, 10] e ha insegnato al Barnard College prima di passare al settore finanziario, lavorando per l’hedge fund D. E. Shaw [9, 11].
Dopo il crollo del 2008, ha capito che la matematica stava “alimentando molti dei problemi del mondo” [12]. È considerata una “whistle-blower” (informatrice) per il mondo dei Big Data e attualmente è editorialista per Bloomberg View [9, 13].
In che modo i WMD amplificano i pregiudizi nella giustizia penale e nell’istruzione?
I WMD amplificano i pregiudizi in settori critici:
- Giustizia Penale: Modelli di recidiva come LSI–R (usato in ventiquattro stati [14]) includono dati come se amici e parenti abbiano precedenti penali o dettagli sul background, che non sarebbero ammissibili in tribunale [15, 16]. Questi modelli penalizzano i poveri e le minoranze che vivono in quartieri ad alta criminalità [15, 17]. Si viene giudicati per “chi siamo, non per cosa facciamo” [16].
- Istruzione: Il modello di valutazione degli insegnanti IMPACT a Washington D.C. usava la modellazione a valore aggiunto per licenziare gli insegnanti, come nel caso di Sarah Wysocki, la quale ricevette un punteggio “miserabile” nonostante le ottime recensioni, perché il punteggio dell’algoritmo prevalse sui giudizi umani [18, 19]. L’algoritmo non era contestabile perché “molto complesso” [20].
Perché i WMD sono più pericolosi dei vecchi pregiudizi umani?
I WMD sono pericolosi perché, a differenza del giudizio umano che è fallibile ma isolato, i modelli matematici agiscono su vasta scala e non si correggono [2, 21]. L’assenza di un ciclo di feedback (come nel caso del modello di valutazione degli insegnanti) permette a un motore statistico di continuare a produrre analisi “difettose e dannose” senza mai imparare dagli errori [8, 21]. Inoltre, le vittime dei WMD sono tenute a uno “standard di prova molto più elevato” rispetto agli algoritmi stessi quando cercano di contestare un verdetto [22].
I modelli algoritmici possono essere imparziali o equi?
Il concetto di **”imparzialità sfugge completamente”** agli algoritmi [23]. I programmatori non sanno come codificarlo, e pochi dei loro capi lo richiedono [23]. I modelli, nonostante la loro reputazione di imparzialità, riflettono sempre gli obiettivi e l’ideologia dei loro creatori [24]. Essi sono “opinioni incorporate nella matematica” [24]. Per questo motivo, l’umanità deve “imporre quel vincolo” dell’equità nei sistemi [25].
Da informatico a cercatore di senso
Unisciti al mio mondo di conoscenza e iscriviti al mio canale WhatsApp.
Sarai parte di una comunità appassionata, sempre aggiornata con i miei pensieri e le mie idee più emozionanti.
Non perderti l’opportunità di essere ispirato ogni giorno, iscriviti ora e condividi questa straordinaria avventura con me!
Nota di trasparenza sull’uso dell’AI nel blog
In questo spazio digitale, dedicato alla comprensione critica dell’innovazione tecnologica, desidero condividere con chiarezza due aspetti importanti del lavoro che porto avanti.
Immagini generate con l’AI
La quasi totalità delle immagini presenti nel blog è generata tramite strumenti di intelligenza artificiale. Le utilizzo sia come supporto visivo sia come modo per sperimentare nuove forme di comunicazione creativa, coerenti con i temi trattati.
Un blog nato dalla scrittura… e trasformato dalla velocità dell’AI
Scrivere è sempre stata una mia passione. Dopo anni di appunti, riflessioni e sperimentazioni, tre anni fa è nato questo blog. Fin da subito, però, ho dovuto confrontarmi con una sfida evidente: l’incredibile accelerazione dell’evoluzione scientifica legata all’intelligenza artificiale rende complesso mantenere aggiornato un progetto di divulgazione che ambisce alla qualità e alla precisione.
Per questo, in coerenza con la mia missione di promuovere consapevolezza, oggi più che mai un elemento vitale, ho scelto di farmi affiancare da piattaforme di AI in molte fasi del lavoro editoriale. In particolare, l’AI mi supporta in:
- ricerca e verifica preliminare delle notizie
- organizzazione e strutturazione degli articoli
- creazione di sezioni HTML per FAQ e link alle fonti
- ideazione di infografiche
- esplorazione di titoli efficaci e pertinenti
L’obiettivo non è delegare il pensiero, ma amplificare la capacità di analisi e di sintesi, così da offrire contenuti sempre più chiari, accurati e utili.
