Individuare i valori anomali

Impara che cos'è un valore anomalo (outlier), come trovarlo con la regola 1,5 × IQR e come cambia la media, la mediana e il campo di variazione.

Intermedio25 minLezione

Definizione

Un valore anomalo (in inglese outlier) è un dato che si trova insolitamente lontano dal resto dei dati. È molto più piccolo o molto più grande degli altri valori.

La regola 1,5 × IQR

Per decidere in modo oggettivo se un valore è anomalo, costruiamo due limiti (detti anche recinti) a partire dai quartili:
Limite inferiore=Q1−1,5×IQR\text{Limite inferiore} = Q_1 - 1{,}5 \times \text{IQR}
Limite superiore=Q3+1,5×IQR\text{Limite superiore} = Q_3 + 1{,}5 \times \text{IQR}
dove IQR=Q3−Q1\text{IQR} = Q_3 - Q_1 è lo scarto interquartile. Ogni valore sotto il limite inferiore o sopra il limite superiore è un valore anomalo. Un valore che coincide esattamente con un limite non è anomalo.

Come trovare i valori anomali

  1. 1.Ordina i dati e trova Q1Q_1 e Q3Q_3 (mediane della metà inferiore e della metà superiore, come in Campo di variazione e scarto interquartile)
  2. 2.Calcola IQR=Q3−Q1\text{IQR} = Q_3 - Q_1
  3. 3.Moltiplica: 1,5×IQR1{,}5 \times \text{IQR}
  4. 4.Limite inferiore =Q1−1,5×IQR= Q_1 - 1{,}5 \times \text{IQR}, limite superiore =Q3+1,5×IQR= Q_3 + 1{,}5 \times \text{IQR}
  5. 5.Ogni valore fuori dai limiti è un valore anomalo

I valori anomali nel diagramma a scatola

Nel diagramma a scatola i valori anomali si disegnano come punti isolati. I baffi terminano nel valore più piccolo e nel valore più grande che non sono anomali.

Perché sono importanti

Un valore anomalo sposta la media e allarga il campo di variazione, ma muove appena la mediana e l'IQR. Per questo si dice che la mediana e l'IQR sono misure robuste.
Esistono anche altri metodi: con la deviazione standard, un valore che dista più di 2 o 3 deviazioni standard dalla media viene spesso considerato insolito (vedi Deviazione standard).

Prova subito

Che cos'è un valore anomalo?

Esempi svolti

Un insieme di dati ha Q1=20Q_1 = 20 e Q3=30Q_3 = 30. Quali tra i valori 22, 1818, 4444 e 5050 sono anomali?
1

Trova l'IQR

IQR=Q3−Q1=30−20\text{IQR} = Q_3 - Q_1 = 30 - 20 → IQR=10\text{IQR} = 10
2

Moltiplica l'IQR per 1,5

1,5×101{,}5 \times 10 → 1515
3

Trova il limite inferiore

Q1−15=20−15Q_1 - 15 = 20 - 15 → Limite inferiore =5= 5
4

Trova il limite superiore

Q3+15=30+15Q_3 + 15 = 30 + 15 → Limite superiore =45= 45
5

Confronta ogni valore con i limiti

2<52 < 5 (fuori), 1818 e 4444 sono tra 55 e 4545 (dentro), 50>4550 > 45 (fuori) → Valori anomali: 22 e 5050

Errori comuni

Usare Q3+IQRQ_3 + \text{IQR} invece di Q3+1,5×IQRQ_3 + 1{,}5 \times \text{IQR}

Perché è sbagliato: Senza il fattore 1,51{,}5 i limiti sono troppo vicini alla scatola e valori normali vengono segnati come anomali.

Corretto: Moltiplica sempre prima: 1,5×IQR1{,}5 \times \text{IQR}, poi sottrailo da Q1Q_1 e sommalo a Q3Q_3.

Costruire i limiti partendo dalla mediana, dal minimo o dal massimo

Perché è sbagliato: La regola misura la distanza dalla scatola, e la scatola finisce in Q1Q_1 e Q3Q_3.

Corretto: Limite inferiore =Q1−1,5×IQR= Q_1 - 1{,}5 \times \text{IQR}, limite superiore =Q3+1,5×IQR= Q_3 + 1{,}5 \times \text{IQR}. Non partire mai dalla mediana o dagli estremi.

Disegnare il baffo fino al valore anomalo

Perché è sbagliato: Così il valore anomalo sembra parte della normale dispersione e il diagramma a scatola lo nasconde.

Corretto: Il baffo termina nel valore più grande (o più piccolo) che non è anomalo. Disegna ogni valore anomalo come un punto isolato.

Eliminare automaticamente tutti i valori anomali

Perché è sbagliato: Un valore anomalo può essere vero e importante, come un tempo record o un ordine molto grande.

Corretto: Elimina o correggi un valore solo se è un errore (errore di battitura, strumento guasto, unità sbagliata). Tieni i valori anomali veri e segnalali, oppure usa la mediana e l'IQR.

Visuale interattivo

Costruttore di box plot

12Q1: 12,515Q3: 16,518
Min
12
Q1
12,5
Mediana
15
Q3
16,5
Max
18
IQR (Q3 - Q1):4
Intervallo:6
Valori anomali:3
Dati ordinati:
3; 12; 13; 14; 15; 15; 16; 17; 18
n = 9

Clicca sulle parti del box plot per imparare cosa rappresentano.

Confrontare box plot

Come registrato (con 2 e 52)Errori del sensore rimossi0102030405060Temperatura (°C)
Come registrato (con 2 e 52)Errori del sensore rimossi
Min2121
Q12323,5
Mediana2626
Q32928,5
Max3030
IQR65
Intervallo99
Valori anomali2; 52-

Tutti i box plot hanno lo stesso asse, così puoi confrontare direttamente mediane, scatole (IQR) e intervalli. Tocca una scatola per evidenziarla. I cerchi sono valori anomali: a più di 1,5 × IQR dalla scatola.

Diagramma a punti

Viaggi in autobus senza il guasto: 12, 14, 15, 16, 18 minuti

102030405060

Ogni punto è un valore (5 valori in tutto).

Media = 15

Mediana = 15

Tocca una colonna per contare i suoi punti.

Diagramma a punti

Con il giorno del guasto: 12, 14, 15, 16, 18, 51 minuti

102030405060

Ogni punto è un valore (6 valori in tutto).

Media = 21

Mediana = 15,5

Tocca una colonna per contare i suoi punti.

Sandbox interattivo

Calcolatrice di espressioni

Prova questi:

Cronologia

Ancora nessun calcolo

Esercizi pratici

18 esercizi
Problema 1 di 18
Facile
Che cos'è un valore anomalo?

Perché è importante

I valori anomali compaiono ovunque si raccolgano dati:
  • Banche: un pagamento con carta molto più alto dei tuoi acquisti abituali viene segnalato come possibile frode
  • Fabbriche: una bottiglia con molto meno succo delle altre è un valore anomalo che il controllo qualità toglie dalla linea
  • Scienza: un termometro che segna 52°C52°C in una giornata mite ha probabilmente un sensore guasto, non è un'ondata di calore
  • Sport: un record mondiale è un vero valore anomalo, ed è il valore più interessante di tutti
  • Stipendi: un solo stipendio molto alto fa sembrare lo stipendio medio molto più alto di quello che guadagna la maggior parte delle persone
Trovare i valori anomali ti aiuta a scoprire errori, a notare qualcosa di speciale e a scegliere la misura giusta (media o mediana) per descrivere i tuoi dati in modo onesto.

Applicazioni nel mondo reale

Scoprire le frodi con la carta

Le banche confrontano ogni nuovo pagamento con carta con i pagamenti abituali del cliente. Un pagamento sopra il limite superiore può far scattare un controllo di sicurezza.

Esempio:

I pagamenti di una cliente hanno Q1=20Q_1 = 20 € e Q3=60Q_3 = 60 €. Un pagamento di 450 € è molto sopra il limite superiore, quindi la banca manda un SMS per confermarlo.

1Provaci tu stesso

I pagamenti abituali con carta di una cliente hanno Q1=20Q_1 = 20 € e Q3=60Q_3 = 60 €. All'improvviso compare un pagamento di 450 €.

Qual è il limite superiore per i pagamenti di questa cliente (in €)?

Passo 1: Scrivi l'espressione matematica

Calcola Q3+1,5×IQRQ_3 + 1{,}5 \times \text{IQR}:

Controllo qualità in fabbrica

Le bottiglie di succo dovrebbero contenere tutte più o meno la stessa quantità. Le bottiglie sotto il limite inferiore vengono tolte dalla linea e controllate.

Esempio:

Se la maggior parte delle bottiglie contiene tra 498 mL e 502 mL, una bottiglia con 480 mL è chiaramente poco riempita, e forse la macchina va riparata.

2Provaci tu stesso

I volumi di riempimento delle bottiglie di succo hanno Q1=498Q_1 = 498 mL e Q3=502Q_3 = 502 mL.

Qual è il limite inferiore (in mL)?

Passo 1: Scrivi l'espressione matematica

Calcola Q1−1,5×IQRQ_1 - 1{,}5 \times \text{IQR}:

Indicare uno stipendio tipico

I giornali spesso riportano lo stipendio mediano invece della media, perché pochi stipendi molto alti tirano la media verso l'alto.

Esempio:

In una piccola azienda cinque dipendenti guadagnano tra 30 e 38 mila € all'anno e la titolare guadagna 160 mila €. Il suo stipendio è un valore anomalo.

3Provaci tu stesso

Stipendi annui in migliaia di €: 30,32,34,36,38,16030, 32, 34, 36, 38, 160.

Qual è lo stipendio medio (in migliaia di €)?

Passo 1: Scrivi l'espressione matematica

Somma i sei stipendi e dividi per 6:

Punti chiave

  • 1Un valore anomalo (outlier) è un valore insolitamente lontano dal resto dei dati, molto piccolo o molto grande
  • 2Regola 1,5 × IQR: limite inferiore =Q1−1,5×IQR= Q_1 - 1{,}5 \times \text{IQR}, limite superiore =Q3+1,5×IQR= Q_3 + 1{,}5 \times \text{IQR}
  • 3I valori sotto il limite inferiore o sopra il limite superiore sono anomali; un valore che coincide con un limite non lo è
  • 4Nel diagramma a scatola i valori anomali sono punti isolati e i baffi terminano negli ultimi valori dentro i limiti
  • 5I valori anomali spostano la media e allargano il campo di variazione, mentre la mediana e l'IQR cambiano appena
  • 6Correggi o elimina un valore anomalo solo se è un errore; tieni i valori anomali veri e segnalali

Domande frequenti

Il fattore 1,51{,}5 è stato scelto dallo statistico John Tukey perché funziona bene nella pratica: segnala i valori davvero insoliti senza marcare troppi valori normali. Alcuni libri usano anche 3×IQR3 \times \text{IQR} per i valori anomali "estremi".
Il fattore 1,51{,}5 è stato scelto dallo statistico John Tukey perché funziona bene nella pratica: segnala i valori davvero insoliti senza marcare troppi valori normali. Alcuni libri usano anche 3×IQR3 \times \text{IQR} per i valori anomali "estremi".
Sì, entrambe le cose. Molti insiemi di dati non hanno nessun valore anomalo, altri ne hanno diversi, da un solo lato o da entrambi i lati (come le temperature 22 e 5252 negli esempi).
No. Il minimo e il massimo sono solo il valore più piccolo e quello più grande. Sono anomali solo se si trovano fuori dai limiti. Per esempio, in 60,65,70,72,75,78,80,9560, 65, 70, 72, 75, 78, 80, 95 il limite superiore è 96,2596{,}25, quindi il massimo 9595 non è anomalo.
Sì. Con la deviazione standard puoi misurare a quante deviazioni standard dalla media si trova un valore (il suo punteggio z). I valori a più di 2 o 3 deviazioni standard vengono spesso considerati insoliti. Per i diagrammi a scatola si usa la regola 1,5 × IQR perché non dipende dalla media, che i valori anomali distorcono.

Glossario

Valore anomalo (outlier)
Un dato insolitamente lontano dagli altri valori; secondo la regola 1,5 × IQR, un valore sotto il limite inferiore o sopra il limite superiore
Limite inferiore (recinto inferiore)
Il confine Q1−1,5×IQRQ_1 - 1{,}5 \times \text{IQR}; i valori sotto di esso sono anomali
Limite superiore (recinto superiore)
Il confine Q3+1,5×IQRQ_3 + 1{,}5 \times \text{IQR}; i valori sopra di esso sono anomali
Regola 1,5 × IQR
Un metodo per trovare i valori anomali: porre i limiti a 1,5 IQR sotto Q1Q_1 e a 1,5 IQR sopra Q3Q_3
Misura robusta
Una misura che cambia pochissimo quando si aggiunge un valore anomalo, come la mediana e l'IQR

Scheda formule

Scarto interquartile

IQR=Q3−Q1\text{IQR} = Q_3 - Q_1

La dispersione del 50% centrale dei dati

Limite inferiore

Q1−1,5×IQRQ_1 - 1{,}5 \times \text{IQR}

I valori sotto il limite inferiore sono anomali

Limite superiore

Q3+1,5×IQRQ_3 + 1{,}5 \times \text{IQR}

I valori sopra il limite superiore sono anomali

Sfida di oggiUn problema, tre tentativi

Altro su questo argomento