Usare i limiti

Un insieme di dati ha $Q_1 = 20$ e $Q_3 = 30$. Quali tra i valori $2$, $18$, $44$ e $50$ sono anomali?

Trova l'IQR: $\text{IQR} = Q_3 - Q_1 = 30 - 20$ = $\text{IQR} = 10$

Moltiplica l'IQR per 1,5: $1{,}5 \times 10$ = $15$

Trova il limite inferiore: $Q_1 - 15 = 20 - 15$ = Limite inferiore $= 5$

Trova il limite superiore: $Q_3 + 15 = 30 + 15$ = Limite superiore $= 45$

Confronta ogni valore con i limiti: $2 < 5$ (fuori), $18$ e $44$ sono tra $5$ e $45$ (dentro), $50 > 45$ (fuori) = Valori anomali: $2$ e $50$

Answer: Solo $2$ e $50$ sono valori anomali. I valori $18$ e $44$ si trovano dentro i limiti $5$ e $45$.

Trovare un valore anomalo nei dati grezzi

Punteggi di una verifica (su 20) in un piccolo gruppo: $3, 12, 13, 14, 15, 15, 16, 17, 18$. C'è un valore anomalo?

Trova la mediana: I dati sono ordinati. Con 9 valori, la mediana è il 5° valore. = Mediana $= 15$

Trova $Q_1$ (mediana della metà inferiore, senza la mediana): Metà inferiore: $3, 12, 13, 14$. $(12 + 13) \div 2$ = $Q_1 = 12{,}5$

Trova $Q_3$ (mediana della metà superiore): Metà superiore: $15, 16, 17, 18$. $(16 + 17) \div 2$ = $Q_3 = 16{,}5$

Trova l'IQR e $1{,}5 \times \text{IQR}$: $\text{IQR} = 16{,}5 - 12{,}5 = 4$ e $1{,}5 \times 4 = 6$ = $1{,}5 \times \text{IQR} = 6$

Costruisci i limiti: Inferiore: $12{,}5 - 6 = 6{,}5$. Superiore: $16{,}5 + 6 = 22{,}5$ = Limiti: $6{,}5$ e $22{,}5$

Controlla ogni valore: $3 < 6{,}5$. Tutti gli altri valori sono tra $6{,}5$ e $22{,}5$. = $3$ è un valore anomalo

Answer: Il punteggio $3$ è un valore anomalo (basso). Quindi anche i valori piccoli possono essere anomali, non solo quelli grandi.

Un valore anomalo sposta la media, non la mediana

I viaggi in autobus di Kai sono durati $12, 14, 15, 16, 18$ minuti. Un giorno l'autobus si è guastato e il viaggio è durato $51$ minuti. Confronta la media, la mediana e il campo di variazione prima e dopo.

Media e mediana senza il 51: Media $= (12 + 14 + 15 + 16 + 18) \div 5 = 75 \div 5$. Mediana: il valore centrale. = Media $= 15$, mediana $= 15$

Media con il 51: $(75 + 51) \div 6 = 126 \div 6$ = Media $= 21$

Mediana con il 51: 6 valori: $12, 14, 15, 16, 18, 51$. Mediana $= (15 + 16) \div 2$ = Mediana $= 15{,}5$

Campo di variazione prima e dopo: Prima: $18 - 12 = 6$. Dopo: $51 - 12 = 39$ = Campo di variazione: $6 \to 39$

Verifica che 51 sia anomalo: $Q_1 = 14$, $Q_3 = 18$, $\text{IQR} = 4$. Limite superiore $= 18 + 1{,}5 \times 4 = 24$, e $51 > 24$ = $51$ è un valore anomalo

Answer: Un solo valore anomalo ha portato la media da $15$ a $21$ minuti e il campo di variazione da $6$ a $39$, mentre la mediana è passata solo da $15$ a $15{,}5$. La mediana descrive ancora un viaggio tipico.

Valori anomali da entrambi i lati nel diagramma a scatola

Una stazione meteo ha registrato queste temperature a mezzogiorno (°C) in 11 giorni d'estate: $2, 21, 23, 24, 25, 26, 27, 28, 29, 30, 52$. Trova i valori anomali e descrivi il diagramma a scatola.

Trova la mediana: 11 valori, quindi la mediana è il 6° valore = Mediana $= 26$

Trova $Q_1$ e $Q_3$: La metà inferiore $2, 21, 23, 24, 25$ dà $Q_1 = 23$. La metà superiore $27, 28, 29, 30, 52$ dà $Q_3 = 29$ = $Q_1 = 23$, $Q_3 = 29$

IQR e $1{,}5 \times \text{IQR}$: $\text{IQR} = 29 - 23 = 6$, $1{,}5 \times 6 = 9$ = $9$

Limiti: Inferiore: $23 - 9 = 14$. Superiore: $29 + 9 = 38$ = Limiti: $14$ e $38$

Valori anomali: $2 < 14$ e $52 > 38$ = Valori anomali: $2$ e $52$

Baffi del diagramma a scatola: I baffi terminano nel valore più piccolo e nel valore più grande dentro i limiti = Baffi da $21$ a $30$, punti in $2$ e $52$

Answer: I valori anomali sono $2$ e $52$. La scatola va da $23$ a $29$ con la mediana in $26$, i baffi vanno da $21$ a $30$, e $2$ e $52$ sono disegnati come punti isolati. Una lettura di $52°C$ in una normale giornata d'estate è quasi certamente un errore del sensore.

Errore o valore vero?

Altezze di 7 studenti in cm: $148, 152, 155, 158, 160, 163, 1630$. Che cosa dovresti fare con $1630$?

Trova $Q_1$ e $Q_3$: Mediana $= 158$. La metà inferiore $148, 152, 155$ dà $Q_1 = 152$. La metà superiore $160, 163, 1630$ dà $Q_3 = 163$ = $Q_1 = 152$, $Q_3 = 163$

Trova il limite superiore: $\text{IQR} = 11$, $1{,}5 \times 11 = 16{,}5$, $163 + 16{,}5$ = Limite superiore $= 179{,}5$

1630 è un valore anomalo?: $1630 > 179{,}5$ = Sì, è anomalo

Chiediti: il valore è possibile?: $1630$ cm sono $16{,}3$ m, più di un palazzo di cinque piani. Nessuno studente è così alto. = È un errore

Decidi: Probabilmente è un errore di battitura (uno zero di troppo). Controlla il registro originale: se c'è scritto $163$, correggi il valore. = Correggere in $163$

Answer: $1630$ è un valore anomalo e anche un valore impossibile, quindi è un errore di registrazione. Correggilo se trovi il valore vero; altrimenti eliminalo e dichiaralo. I valori anomali veri (uno studente molto alto ma possibile) restano nei dati.

Mistake: Usare $Q_3 + \text{IQR}$ invece di $Q_3 + 1{,}5 \times \text{IQR}$

Why: Senza il fattore $1{,}5$ i limiti sono troppo vicini alla scatola e valori normali vengono segnati come anomali.

Correct: Moltiplica sempre prima: $1{,}5 \times \text{IQR}$, poi sottrailo da $Q_1$ e sommalo a $Q_3$.

Mistake: Costruire i limiti partendo dalla mediana, dal minimo o dal massimo

Why: La regola misura la distanza dalla scatola, e la scatola finisce in $Q_1$ e $Q_3$.

Correct: Limite inferiore $= Q_1 - 1{,}5 \times \text{IQR}$, limite superiore $= Q_3 + 1{,}5 \times \text{IQR}$. Non partire mai dalla mediana o dagli estremi.

Mistake: Disegnare il baffo fino al valore anomalo

Why: Così il valore anomalo sembra parte della normale dispersione e il diagramma a scatola lo nasconde.

Correct: Il baffo termina nel valore più grande (o più piccolo) che non è anomalo. Disegna ogni valore anomalo come un punto isolato.

Mistake: Eliminare automaticamente tutti i valori anomali

Why: Un valore anomalo può essere vero e importante, come un tempo record o un ordine molto grande.

Correct: Elimina o correggi un valore solo se è un errore (errore di battitura, strumento guasto, unità sbagliata). Tieni i valori anomali veri e segnalali, oppure usa la mediana e l'IQR.

Scoprire le frodi con la carta

Le banche confrontano ogni nuovo pagamento con carta con i pagamenti abituali del cliente. Un pagamento sopra il limite superiore può far scattare un controllo di sicurezza.

I pagamenti di una cliente hanno $Q_1 = 20$ € e $Q_3 = 60$ €. Un pagamento di 450 € è molto sopra il limite superiore, quindi la banca manda un SMS per confermarlo.

Controllo qualità in fabbrica

Le bottiglie di succo dovrebbero contenere tutte più o meno la stessa quantità. Le bottiglie sotto il limite inferiore vengono tolte dalla linea e controllate.

Se la maggior parte delle bottiglie contiene tra 498 mL e 502 mL, una bottiglia con 480 mL è chiaramente poco riempita, e forse la macchina va riparata.

Indicare uno stipendio tipico

I giornali spesso riportano lo stipendio mediano invece della media, perché pochi stipendi molto alti tirano la media verso l'alto.

In una piccola azienda cinque dipendenti guadagnano tra 30 e 38 mila € all'anno e la titolare guadagna 160 mila €. Il suo stipendio è un valore anomalo.

Q: Perché 1,5 e non 1 o 2?

A: Il fattore $1{,}5$ è stato scelto dallo statistico John Tukey perché funziona bene nella pratica: segnala i valori davvero insoliti senza marcare troppi valori normali. Alcuni libri usano anche $3 \times \text{IQR}$ per i valori anomali "estremi".

Q: Un insieme di dati può non avere valori anomali, o averne più di uno?

A: Sì, entrambe le cose. Molti insiemi di dati non hanno nessun valore anomalo, altri ne hanno diversi, da un solo lato o da entrambi i lati (come le temperature $2$ e $52$ negli esempi).

Q: Il minimo o il massimo è sempre un valore anomalo?

A: No. Il minimo e il massimo sono solo il valore più piccolo e quello più grande. Sono anomali solo se si trovano fuori dai limiti. Per esempio, in $60, 65, 70, 72, 75, 78, 80, 95$ il limite superiore è $96{,}25$, quindi il massimo $95$ non è anomalo.

Q: C'è un altro modo per trovare i valori anomali?

A: Sì. Con la deviazione standard puoi misurare a quante deviazioni standard dalla media si trova un valore (il suo punteggio z). I valori a più di 2 o 3 deviazioni standard vengono spesso considerati insoliti. Per i diagrammi a scatola si usa la regola 1,5 × IQR perché non dipende dalla media, che i valori anomali distorcono.