8.4 Il teorema limite centrale

Il teorema limite centrale è un raffinamento della legge dei grandi numeri, in cui si rende più precisa la convergenza delle medie empiriche, mostrando che le oscillazioni sono approssimabili tramite variabili gaussiane, qualsiasi fosse la distribuzione delle variabili di partenza. Questo risultato di “universalità” delle densità gaussiane fornisce quindi una ulteriore giustificazione della loro applicazione così diffusa in molteplici ambiti.

8.4.1 Il modello dell’urna

Torniamo all’esempio delle estrazioni con rimpiazzo da un’urna contenente una frazione \(r \in (0,1)\) di palline rosse. Posto \(R_n\) il numero di palline rosse estratte, la legge dei grandi numeri afferma (in versione informale) che vale l’approssimazione \[ \frac{R_n}{n} \approx r \pm \sqrt{ \frac{ r(1-r) }{n}}.\] Il teorema limite centrale rende più preciso il simbolo \(\pm\), mostrando che per una variabile gaussiana \(Z\) standard, ossia \(\mathcal{N}(0,1)\), vale \[ \frac{R_n}{n} \approx r + Z \sqrt{ \frac{ r(1-r) }{n}},\] dove l’approssimazione è nel senso della convergenza in legge. Equivalentemente, la variabile binomiale \(R_n\) si approssima quindi con una variabile gaussiana avente la stessa media \(nr\) e varianza \(n r(1-r)\). Possiamo visualizzare questo risultato graficamente confrontando la densità discreta binomiale e la gaussiana corrispondente.

n <- 50
r <- 1/3
k <- 0:n

par(mfrow = c(1, 2))

plot(k, dbinom(k, n, r), type = "s", lwd = 3,
  col = miei_colori[4], ylab = "probabilità",
  main = "densità binomiale")

plot(k, dnorm(k, mean = r * n, sd = sqrt(r *
  (1 - r) * n)), type = "l", lwd = 3, ylab = "densità",
  col = miei_colori[2], main = "densità gaussiana")

Figura 8.2: confronto tra densità binomiale di parametri \(n=50\), \(r=1/3\) e la densità gaussiana con medesima media \(nr\) e varianza \(nr(1-r)\).

L’approssimazione vale nel senso della convergenza in legge (quindi si confrontano le \(\CDF\) piuttosto che le densità). Per ogni intervallo \([a,b]\subseteq \R\) (anche con \(a = -\infty\) oppure \(b = \infty\)), si ha che \[ \lim_{n \to \infty} P\bra{ a \sqrt{ \frac{ r(1-r) }{n}} \le \frac{R_n}{n } -r \le b\sqrt{ \frac{ r(1-r) }{n}} } = \int_a^b \exp\bra{-\frac{ z^2}{2} } \frac{dz}{\sqrt{ 2 \pi}}.\]

Per trattare meglio la convergenza conviene introdurre le variabili standardizzate delle \(R_n/n\), ossia \[Z_n = \bra{ \frac{R_n}{n}-r} \sqrt{ \frac{n }{r(1-r)}},\] in modo che la convergenza in legge sia \(\lim_{n \to \infty} Z_n = Z\), ossia \[ \CDF_{Z_n}(t) \to \CDF_Z(t)\] per ogni \(t \in \R\). Possiamo verificare numericamente la validità di questa approssimazione scrivendo \(\CDF_{Z_n}\) in termini della \(\CDF_{R_n}\), che è binomiale. Usando l’identità \[ \CDF_{aX+b}(t) = \CDF_X((t-b)/a)\] valida per \(a>0\), \(b\in \R\), possiamo scrivere \[ \CDF_{Z_n}(t) = \CDF_{R_n}\bra{ n r + t \sqrt{nr(1-r)} },\] e visualizzare graficamente tramite opportuni comandi R.

r <- 1/2
t <- seq(-3, 3, by = 0.001)


par(mfrow = c(1, 3))

plot(t, pnorm(t), type = "l", lwd = 2, col = miei_colori[2],
  xlab = "t", ylab = "CDF", main = "n=10")

n <- 10
lines(t, pbinom(n * r + t * sqrt(n * r *
  (1 - r)), n, r), lwd = 2, col = miei_colori[4])

plot(t, pnorm(t), type = "l", lwd = 2, col = miei_colori[2],
  xlab = "t", ylab = "", main = "n=50")

n <- 50
lines(t, pbinom(n * r + t * sqrt(n * r *
  (1 - r)), n, r), lwd = 2, col = miei_colori[4])

plot(t, pnorm(t), type = "l", lwd = 2, col = miei_colori[2],
  xlab = "t", ylab = "", main = "n=100")
n <- 100
lines(t, pbinom(n * r + t * sqrt(n * r *
  (1 - r)), n, r), lwd = 2, col = miei_colori[4])

Figura 8.3: confronto tra le \(\CDF_{Z_n}\) e \(\CDF_Z\) al crescere di \(n\).

8.4.2 Il caso generale

Nonostante l’evidente validità dell’approssimazione, la dimostrazione della convergenza richiederebbe qualche calcolo non del tutto immediato già nel caso delle estrazioni dall’urna. Perciò affrontiamo direttamente una dimostrazione del risultato generale per l’approssimazione gaussiana delle medie campionarie di variabili indipendenti. Tale teorema è noto come teorema limite centrale, dove l’aggettivo “centrale” si riferisce all’importanza (appunto, centrale) tra i teoremi limite nella teoria della probabilità (in particolare, non ha a che fare con il fatto che le variabili siano centrate perché standardizzate).

Ricordiamo che informalmente, la legge dei grandi numeri si scriveva come l’approssimazione \[ \bar{X}_n \approx m \pm \frac{\sigma}{\sqrt{n}}.\] Come nel caso delle estrazioni dall’urna, possiamo rendere più preciso il simbolo \(\pm\) introducendo una variabile gaussiana \(Z\) standard \(\mathcal{N}(0,1)\).

Teorema 8.5 (teorema limite centrale) Siano \((X_n)_{n=1}^\infty\) variabili aleatorie reali indipendenti, tutte con la stessa legge e quindi valor medio \[ m = \E{X_n}\] e varianza \[\sigma^2 = \Var{X_n} \in (0, \infty)\] (che supponiamo finita). Allora, posta \(\bar{X}_n = \frac{1}{n} \sum_{i=1}^n X_i\) la media campionaria e \[Z_n = (\bar{X}_n -m ) \frac{ \sqrt{ n}}{\sigma}\] la sua standardizzata, si ha la convergenza in legge \[ \lim_{n \to \infty }Z_n = Z,\] dove \(Z\) è gaussiana standard. Esplicitamente, per ogni \([a,b] \subseteq \R\), vale \[ \lim_{n \to \infty} P( Z_n \in [a,b]) = \lim_{n \to \infty} P\bra{ a \sigma/\sqrt{n}\le \bar{X_n} - m \le b \sigma /\sqrt{n}} = \int_a^b e^{-z^2/2} \frac{dz}{\sqrt{2 \pi}}.\]

Proof. Osserviamo subito che vale l’identità \[ Z_n = \frac{1}{\sqrt {n}} \sum_{i=1}^n X'_i,\] dove \(X_i' = (X_i - m)/\sigma\) è la standardizzata di \(X_n\). Invece di dimostrare la convergenza delle \(\CDF\) mostriamo quella delle \(\MGF\), che supponiamo finita. Abbiamo già osservato nella Sezione 8.1 che le due convergenze sono caratterizzazioni equivalenti della convergenza in legge (senza dimostrarlo). Il vantaggio di usare la \(\MGF\) è che, grazie all’indipendenza, \[ \begin{split} \MGF_{Z_n}(t) & = \MGF_{\sum_{i=1}^n X'_i} (t/\sqrt{n}) = \prod_{i=1}^n \MGF_{X'_i}(t/\sqrt{n})\\ & =\bra{ \MGF_{X'_1}(t/\sqrt{n})}^n,\end{split}\] dove nell’ultimo passaggio abbiamo usato che le leggi delle \(X_i'\) sono tutte uguali, e quindi anche le \(\MGF_{X'_i}\). Ricordando che le derivate in \(t=0\) della \(\MGF\) sono i momenti e che le \(X'_i\) sono standardizzate, possiamo scrivere lo sviluppo di Taylor \[\begin{split} \MGF_{X'_1}(s) & = 1 + \E{X'_1} s + \E{(X'_1)^2} \frac{s^2}{2} + o(s^2)\\ & = 1 + \frac{s^2}{2} + o(s^2).\end{split}\] Con la sostituzione \(s = t/\sqrt{n}\), si trova \[ \MGF_{Z_n}(t) = \bra{ 1 + \frac{t^2}{2 n} + o (1/n)}^n\] che al tendere di \(n \to \infty\) è il limite notevole \((1+x/n)^n \to e^x\), da cui \[ \MGF_{Z_n}(t) \to e^{t^2/2} = \MGF_Z(t),\] avendo riconosciuto la \(\MGF\) della gaussiana standard.

Remark. Il teorema limite centrale, come la legge dei grandi numeri, ammette svariate estensioni. Una di queste tratta il caso di variabili aleatorie vettoriali, ossia a valori in \(\R^d\). Si può infatti mostrare che se le \((X_i)_{i=1}^\infty\) sono indipendenti, tutte con la medesima legge e in particolare stesso vettore dei valor medi \(m\in \R^d\) e matrice delle covarianze \(\Sigma\), allora si ha la convergenza in legge \[ \bra{ \bar{X}_n - m} \sqrt{n} \to Z\] dove \(Z\) è una variabile gaussiana vettoriale con densità \(\mathcal{N}(0, \Sigma)\).