Casi particolari, dati, statistiche e quando si può parlare di causalità

di Staff di QualitiAmo

A volte ci troviamo davanti ad affermazioni le cui evidenze sembrano difficili da contrastare e l'ambito professionale non fa eccezione. Vediamo, dunque, come riconoscere affermazioni non veritiere anche quando sembrano essere sostenute da una parvenza di logica e addirittura accompagnate da dati e statistiche.

Iniziamo con un'affermazione forte: "Il gelato alla fragola della gelateria X causa disturbi gastrointestinali":

Livello 1 - Caso singolo (aneddoto)

"La settimana scorsa ho preso un gelato alla fragola dalla gelateria X e dopo un'ora ho avuto forti crampi addominali. È evidente che c'è qualcosa che non va in quel gelato!"

In questo caso non abbiamo grandi problemi a riconoscere un'affermazione problematica perché un singolo caso non dimostra nulla. Magari la persona ha mangiato il gelato troppo velocemente o le ha fatto male un altro alimento consumato nelle ore precedenti o, ancora, era semplicemente in una giornata "no".

Il livello dell'aneddoto si riconosce perché viene introdotto da frasi come: “conosco una persona che…”, “ho visto che…” ed è importante capire su quali informazioni concentrarsi per evitare di fare del "cherry-picking" (selezionare solo le prove che supportano una determinata tesi, ignorando o tralasciando le prove che la confutano).

A questo primo livello possiamo sicuramente formulare delle ipotesi ma dobbiamo essere ben coscienti del rischio di generalizzare.

Livello 2 - Dati grezzi

"Il gestore della gelateria ha ricevuto 23 reclami negli ultimi due mesi, di cui 18 riguardavano il gelato alla fragola. I numeri parlano chiaro!"

Qui la cosa si fa un pochino più complessa perché abbiamo dei dati e dei numeri che, per quanto riguarda un mal di pancia, sono decisamente interessanti. Convincerci che la causa del malessere sia davvero il gelato alla fragola è abbastanza facile ma dobbiamo fermarci e chiederci:

• Come possiamo aggregare questi dati?
• Chi fa parte del campione?
• Quali variabili sono state prese in considerazione (ad esempio c'è stata l'aggiunta di panna)?
• I casi sono tutti sovrapponibili o qualcuno ha mangiato il gelato subito dopo pranzo, quando magari era già pieno?
• Le persone hanno mangiato un solo gelato o più di uno?
• Ci sono dei set di dati più ampi che vanno in contraddizione?

Questi dati sollevano, dunque, domande legittime ma non sono sufficienti a trovare un nesso di causalità perché:

• non sappiamo quanti gelati alla fragola sono stati venduti in totale (potrebbe essere il gusto più venduto)
• i reclami potrebbero essere stati influenzati da un effetto domino sui social media
• non c'è gruppo di controllo: quante persone hanno mangiato lo stesso gelato senza problemi?
• la modalità di raccolta dei reclami potrebbe essere distorta (chi sta male è più motivato a lamentarsi)

I dati da soli, senza un contesto, possono ingannare.

Livello 3 - Statistiche

"Un'indagine condotta su 2.000 clienti della gelateria ha rilevato che il 34% di chi sceglie il gelato alla fragola riporta sintomi gastrointestinali entro 2 ore, contro solo il 12% di chi sceglie altri gusti"

Ok, ora abbiamo dei numeri seri e stiamo parlando di statistiche e le statistiche non sbagliano mai...oppure no?

In realtà, senza sapere come è stato condotto il test statistico possiamo dire ben poco. Nel caso in esame, infatti, dobbiamo fare attenzione a:

• bias di selezione: chi sceglie la fragola potrebbe avere caratteristiche comuni (età, condizioni di salute)
• variabili nascoste: il gelato alla fragola potrebbe contenere più lattosio
• effetto nocebo: se si è sparsa la voce che "la fragola fa male", l'aspettativa potrebbe influenzare i sintomi

La statistica ci mostra che esiste una correlazione ma non possiamo ancora essere sicuri che il gelato alla fragola causi il mal di pancia.

Livello 4 - Causa reale

"Uno studio randomizzato in doppio cieco su 500 volontari ha testato gelati identici in tutto tranne che per il gusto. Risultato: nessuna differenza significativa nei sintomi. Tuttavia, un'analisi chimica successiva ha rivelato che il fornitore del preparato alla fragola utilizzava un colorante a cui una parte dei clienti era intollerante. Sostituendo il colorante con estratto naturale di barbabietola, i disturbi sono scomparsi completamente".

Solo ora possiamo dire di aver capito DAVVERO cosa è successo. Non era "il gelato alla fragola" in sé, ma un ingrediente specifico che alcuni gelati contenevano.

Per stabilire che "X" è la causa di "Y", occorre avviare degli esperimenti, effettuare degli studi approfonditi e confrontare i risultati in contesti diversi.

Questo esempio mostra come sia facile saltare a conclusioni sbagliate quando ci fermiamo ai primi livelli e quanto sia importante scavare fino a trovare la vera causa di un problema.

Un altro esempio

Passiamo a un'altra affermazione: "Le donne pilota causano più incidenti rispetto ai colleghi uomini".

Benissimo, anche in questo caso partiamo dal livello aneddotico: sappiamo che non è affidabile perché uno o pochi casi isolati non rappresentano la realtà e non si può giudicare tutto il mondo da una singola esperienza, personale o meno che sia.

Il livello successivo potrebbe essere basato sui dati, ad esempio: “Ho trovato dei dati che dicono che ci sono stati 5 incidenti causati da donne e solo 3 da uomini”. Anche in questo caso non possiamo sbilanciarci troppo perché non sappiamo nulla sulla base dati e sul metodo di indagine.

Il terzo livello è quello delle statistiche e potremmo trovare chi afferma che: “Le statistiche dicono che il 60% degli incidenti aerei avviene con piloti donne”. In questo caso, una volta appurato che il campione statistico è adeguato, ci troviamo davanti a numeri interessanti, soprattutto alla luce del fatto che, probabilmente, le donne che ricoprono il ruolo di pilota sono meno degli uomini. Basta per dirci che le donne sanno pilotare meno bene degli uomini? No, non ancora. Le cause degli incidenti, infatti, potrebbero essere altre (formazione, ore di volo, turni di lavoro, contesto, manutenzione dell'aereo, condizioni meteo, ecc.).

Il metodo

Il metodo da adottare sempre quando ci troviamo davanti ad affermazioni di questo tipo è:

1. prendere nota che è successo qualcosa
2. cercare dei dati al riguardo e fare attenzione a come li si raccoglie e li si analizza
3. riassumere quei dati in una statistica e analizzarla
4. provare a dimostrare che "X" causa "Y" controllando altri fattori o mediante un esperimento

PER SAPERNE DI PIÙ:

Tutti gli articoli sulla ISO 9001 Tutti gli articoli sulla ISO 14001 Tutti gli articoli sulla ISO 45001 Tutti gli articoli sulla ISO 42001 Tutti gli articoli sulla ISO 27001