5.1 Il caso reale
Ci sono vari modi per introdurre le densità gaussiane: la definizione più facile da memorizzare, anche se meno comoda dal punto di vista operativo, è la seguente.
Definizione 5.1 (densità gaussiana reale, definizione veloce) Si dice che una variabile aleatoria \(X \in \R\) ha densità continua gaussiana se vale \[ p(X=x) \propto \exp\bra{ ax^2 +bx}, \quad \text{per ogni $x \in \R$,}\] per degli opportuni parametri \(a\), \(b \in \R\).
In altre parole, la densità è, a meno di una costante moltiplicativa, l’esponenziale di un polinomio di secondo grado dei possibili valori \(x \in \R\). Notiamo che il termine noto nel generico polinomio di secondo grado \(ax^2+bx+c\) può essere omesso perché già “incluso” nella costante moltiplicativa (implicita).
La definizione sopra è molto generale, e forse anche troppo: si osserva subito che, dovendo essere \(\int_{-\infty}^\infty p(X=x)dx < \infty\), il coefficiente \(a \in \R\) necessariamente deve essere strettamente negativo, \(a<0\). Se poniamo \(b=0\), possiamo visualizzare il ruolo di \(a\) mediante il grafico, per scelte diverse del parametro.
deltax <- 0.01
x <- seq(-3, 3, by = deltax)
# caso a=-1
densita <- exp(-x^2)
densita <- densita/sum(densita * deltax)
plot(x, densita, type = "l", xlab = "x",
ylab = "densità", ylim = c(0, 0.9),
col = miei_colori[1], lwd = 3)
# caso a=-2
densita <- exp(-2 * x^2)
densita <- densita/sum(densita * deltax)
lines(x, densita, type = "l", col = miei_colori[2],
lwd = 3)
# caso a=-1/2
densita <- exp(-x^2/2)
densita <- densita/sum(densita * deltax)
lines(x, densita, type = "l", col = miei_colori[3],
lwd = 3)
legend("topright", fill = miei_colori[1:3],
legend = c("a=-1", "a=-2", "a=-1/2"),
cex = 0.8)
Figura 5.1: densità gaussiana al variare del parametro \(a<0\)
Osserviamo subito che la densità è una funzione pari, e al crescere di \(a\) assume con maggiore probabilità i valori vicino a \(x=0\) (che è la mediana e pure il valor medio). Un po’ come nel caso della densità esponenziale, ci possiamo aspettare un legame tra \(a\) e l’inverso della deviazione standard, tuttavia per ragioni di unità di misura (\(a\) moltiplica il quadrato di \(x\)), il legame sarà piuttosto tra \(a\) e l’inverso della varianza.
Possiamo inoltre studiare il ruolo del parametro \(b\) tenendo fisso \(a\) (ad esempio per \(a=1\)) e considerando il grafico della densità al variare di \(b\).
deltax <- 0.01
x <- seq(-3, 3, by = deltax)
# caso b=0
densita <- exp(-x^2)
densita <- densita/sum(densita * deltax)
plot(x, densita, type = "l", xlab = "x",
ylab = "densità", col = miei_colori[1],
lwd = 3)
# caso b=2
densita <- exp(-x^2 + 2 * x)
densita <- densita/sum(densita * deltax)
lines(x, densita, type = "l", col = miei_colori[2],
lwd = 3)
# caso b=-2
densita <- exp(-x^2 - 2 * x)
densita <- densita/sum(densita * deltax)
lines(x, densita, type = "l", col = miei_colori[3],
lwd = 3)
legend("topright", fill = miei_colori[1:3],
legend = c("b=0", "b=-2", "b=2"), cex = 0.8)
Figura 5.2: densità gaussiana al variare del parametro \(b\)
Vediamo dunque che al variare di \(b\) il grafico viene traslato verso destra o sinistra (a seconda del segno). Ci aspettiamo quindi un legame tra \(b\) e il valor medio di \(X\). La seguente proposizione rende queste intuizioni precise.
Proposizione 5.1 Sia \(X\) una variabile con densità gaussiana \[ p(X=x) \propto \exp\bra{ ax^2 +bx}.\] Allora vale \[ a = -\frac{1}{2 \sigma_X^2}, \quad b = \frac{\E{X}}{\sigma_X^2},\] ossia \[ \Var{X} = \sigma_X^2 = -\frac{1}{2a} \quad \E{X} = - \frac{b}{2a}.\]
Proof. Consideriamo l’integrale che definisce il valor medio e integriamo per parti \[ \begin{split} \E{X} & = \int_{-\infty }^\infty x p(X=x) d x \\ & = \int_{-\infty }^\infty x c e^{ ax^2 +bx} d x \\ & = \int_{-\infty}^\infty \bra{ \frac{1}{2a} \frac{d}{dx} e^{a x^2} } c e^{bx} dx \\ & = - \frac 1 {2a } \int_{-\infty}^\infty e^{a x^2} \frac{d}{dx} \bra{ c e^{bx}} d x\\ & = - \frac b {2a } \int_{-\infty}^\infty c e^{a x^2 + b} dx = \\ & = - \frac {b}{2a}.\end{split}\] Per la varianza, il calcolo è analogo e lo riportiamo per semplicità solo nel caso \(b=0\), in modo che \(\E{X}= 0\) e \(\Var{X} = \E{X^2}\): \[ \begin{split} \E{X^2} & = \int_{-\infty }^\infty x^2 p(X=x) d x \\ & = \int_{-\infty }^\infty x^2 c e^{ ax^2} d x \\ & = \int_{-\infty}^\infty \bra{ \frac{1}{2a} \frac{d}{dx} e^{a x^2} } x dx \\ & = - \frac 1 {2a } \int_{-\infty}^\infty e^{a x^2} \frac{d}{dx} x d x\\ & = - \frac 1 {2a } \int_{-\infty}^\infty c e^{a x^2} dx = \\ & = - \frac {1}{2a}.\end{split}\]
Sfruttando l’identificazione dei parametri \(a\), \(b\) in termini di valor medio e varianza (o deviazione standard), introduciamo quindi la parametrizzazione basata direttamente su tali indicatori. Questa è più comune rispetto alla prima che abbiamo proposto, ma spesso risulta più difficile da ricordare (e a volte non è necessaria).
Definizione 5.2 (densità gaussiana reale, definizione usuale) Si dice che \(X \in \R\) ha densità continua gaussiana di valor medio \(m \in \R\) e varianza \(\sigma^2>0\), e si scrive brevemente \(\mathcal{N}(m, \sigma^2)\), se \[ p(X=x ) \propto \exp\bra{ - \frac1 2 \frac {(x-m)^2} {\sigma^2} }.\] Più esplicitamente, si può mostrare che vale l’identità \[ p(X=x) = \exp\bra{ - \frac1 2 \frac {(x-m)^2} {\sigma^2} } \frac{1}{\sqrt{ 2 \pi \sigma^2}}.\]
Per mostrare che le definizioni coincidano, basta notare che sviluppando il quadrato nella definizione usuale si trova una densità gaussiana rispetto alla prima definizione con \[ a = -\frac{1}{2 \sigma^2} \quad b = \frac{m}{\sigma^2},\] e quindi per la Proposizione si ha che \(m = \E{X}\), \(\sigma^2 = \Var{X}\). Per ottenere la formula esplicita della densità si tratta di imporre che l’integrale su tutto \(\R\) valga \(1\). Il termine più rilevante è su cui vale la pena di concentrarsi è il fattore \(1/\sqrt{\sigma^2} = 1/\sigma\), che dipende dal parametro di deviazione standard \(\sigma\) e fa in modo che l’unità di misura sia quella corretta. Il termine \(1/\sqrt{2 \pi}\) (che sembra un po’ misterioso) è in effetti una costante interessante da calcolare analiticamente, ma non così rilevante ai fini pratici.
deltax <- 0.01
x <- seq(-5, 5, by = deltax)
# stavolta usiamo direttamente il
# comando dnorm() per ottenere la
# densità della gaussiana (l'unica
# accortezza è che R usa come parametro
# sigma e non la varianza sigma^2)
# caso m=0
densita <- dnorm(x, mean = 0, sd = 1)
plot(x, densita, type = "l", xlab = "x",
ylab = "densità", lwd = 3, col = miei_colori[1])
# caso m=2
densita <- dnorm(x, mean = 2, sd = 1)
lines(x, densita, type = "l", col = miei_colori[2],
lwd = 3)
# caso m=-2
densita <- dnorm(x, mean = -2, sd = 1)
lines(x, densita, type = "l", col = miei_colori[3],
lwd = 3)
legend("topright", fill = miei_colori[1:3],
legend = c("N(0,1)", "N(2,1)", "N(-2,1)"),
cex = 0.8)
Figura 5.3: densità gaussiana al variare del parametro \(m\) (con \(\sigma=1\) costante
deltax <- 0.01
x <- seq(-5, 5, by = deltax)
# stavolta usiamo direttamente il
# comando dnorm() per ottenere la
# densità della gaussiana (l'unica
# accortezza è che R usa come parametro
# sigma e non la varianza sigma^2)
# caso sigma=1
densita <- dnorm(x, mean = 0, sd = 1)
plot(x, densita, type = "l", xlab = "x",
ylab = "densità", ylim = c(0, 0.8),
col = miei_colori[1], lwd = 3)
# caso sigma=2
densita <- dnorm(x, mean = 0, sd = 1/2)
lines(x, densita, type = "l", col = miei_colori[2],
lwd = 3)
# caso sigma=1/2
densita <- dnorm(x, mean = 0, sd = 2)
lines(x, densita, type = "l", col = miei_colori[3],
lwd = 3)
legend("topright", fill = miei_colori[1:3],
legend = c("N(0,1)", "N(0,1/4)", "N(0,4)"),
cex = 0.8)
Figura 5.4: densità gaussiana al variare del parametro \(\sigma\) (con \(m=0\) costante
Remark. La densità gaussiana è identificata dai due parametri di valor medio \(m\) e varianza \(\sigma^2\). Si può mostrare che, al variare di tutte le possibili densità continue per una variabile \(X\), \(p(X=x)\), con \(x \in \R\), tali che il valor medio e la varianza di \(X\) siano fissati \[ \E{X} = \int_{-\infty}^\infty x P(X=x) d x = m, \quad \Var{X} = \int_{-\infty}^\infty (x-m)^2 P(X=x) d x = \sigma^2,\] la densità gaussiana \(\mathcal{N}(m,\sigma^2)\) è quella di massima entropia. Pertanto, seguento principio di massima entropia, il robot, avendo a disposizione come informazione su una variabile aleatoria (reale) solamente il suo valor medio \(m\) e la varianza \(\sigma^2\), imporrà che sia una densità gaussiana \(\mathcal{N}(m,\sigma^2)\).
Un’applicazione della formula di cambio di variabile per densità continua permette di ottenere il seguente risultato.
Proposizione 5.2 Sia \(X\) una variabile con densità continua \(\mathcal{N}(m, \sigma^2)\) e siano \(\lambda\neq 0\), \(c \in \R\). Allora la variabile \(Y = \lambda X +c\) ha densità continua gaussiana, di parametri \(\mathcal{N}(\lambda m+c, \lambda^2\sigma^2)\).
Si può anche ricordarlo solo così: trasformazioni lineari affini di variabili con densità gaussiana hanno densità gaussiana, perché per ottenere parametri di media e varianza basta ricordare il caso generale.
Proof. Applicando la formula di cambio di variabile con \(g(x) = \lambda x +c\), essendo \(g'(x) = \lambda\), \(g^{-1}(y) = (y-c)/\lambda\), si trova che \[ p(Y=y) = p( X = (y-c)/\lambda ) \cdot \frac{1}{|\lambda|}.\]
In particolare, se \(X\) ha densità gaussiana \(\mathcal{N}(m,\sigma^2)\), la sua standardizzata \[ \frac{X-m}{\sigma} \quad \text{ha densità continua $\mathcal{N}(0, 1)$,}\] pertanto detta anche densità gaussiana standard, che ha densità \[ \exp\bra{ - \frac 1 2 x^2 }\frac{1}{\sqrt{2 \pi}} \quad \text{per $x \in \R$.}\]
Remark. Nel caso \(\lambda = 0\), la variabile \(\lambda X + c = c\) è costante. Per uniformare le notazioni, si conviene di considerare anche le variabili costanti come caso degenere di una densità gaussiana. Nel caso vettoriale vedremo che una convenzione simile sarà anche più utile.
La funzione di ripartizione gaussiana (anche nel caso standard) non è esprimibile in termini di funzioni elementari. Il comando R per ottenerne i valori è pnorm().
deltax <- 0.01
x <- seq(-5, 5, by = deltax)
CDF <- pnorm(x)
plot(x, CDF, type = "l", lwd = 3, col = miei_colori[2])
Figura 5.5: CDF di una variabile gaussiana standard
Si può invece calcolare esplicitamente la funzione generatrice dei momenti e la funzione caratteristica di una qualsiasi variabile gaussiana, che possono essere utili per ottenere i momenti di ordine superiore al secondo.
Proposizione 5.3 Sia \(X\) una variabile con densità continua \(\mathcal{N}(m, \sigma^2)\). Allora \[ \operatorname{MGF}_X(t) = \exp\bra{ mt + \frac{\sigma^2}{2} t^2},\] e \[ \varphi_X(\xi) = \exp\bra{ im\xi - \frac{\sigma^2}{2} \xi^2}.\]
Proof. Diamo la dimostrazione solo nel caso della MGF (la funzione caratteristica segue formalmente ponendo \(i \omega\) al posto di \(t\)).
Scrivendo \(X = \sigma X' + m\), dove \(X'\) è la standardizzata di \(X\) e quindi ha densità gaussiana \(\mathcal{N}(0,1)\), si ha \[ \operatorname{MGF}_X(t ) =\operatorname{MGF}_{\sigma X' +m} (t ) = \operatorname{MGF}_{X'}(\sigma t) e^{tm}.\] Possiamo quindi ridurci al caso di una gaussiana standard \(\mathcal{N}(0,1)\). Scrivendo l’integrale in questione si trova che la MGF è \[\begin{split} \int_{-\infty}^\infty e^{tx} e^{- \frac{ x^2}{2}} \frac{d x}{\sqrt{ 2 \pi}} & = \int_{-\infty}^\infty \exp\bra{- \frac 1 2 \bra{ - 2 tx +x^2 }} \frac{d x}{\sqrt{ 2 \pi}}\\ & = e^{\frac {t^2}{2}} \int_{-\infty}^\infty \exp\bra{- \frac 1 2 \bra{ t^2 - 2 tx +x^2 }} \frac{d x}{\sqrt{ 2 \pi}}\\ & = e^{\frac {t^2}{2}} \int_{-\infty}^\infty \exp\bra{- \frac 1 2 \bra{ t-x}^2 } \frac{d x}{\sqrt{ 2 \pi}}\\ & = e^{\frac {t^2}{2}}, \end{split}\] dove l’ultimo integrale vale \(1\) perché riconosciamo una densità \(\mathcal{N}(t,1)\).
5.1.1 Esercizi
Esercizio 5.1 Usando il comando \(pnorm()\), verificare la “regola” del \(68\)-\(95\)-\(99.7\), ossia mostrare che con probabilità del \(68\%\) circa una variabile gaussiana \(\mathcal{N}(m, \sigma^2)\) assume valori nell’intervallo \([m-\sigma, m+\sigma]\), con probabilità \(95\%\) nell’intervallo \([m-2\sigma, m+2 \sigma]\) e infine con probabilità \(99.7\%\) nell’intervallo \([m-3\sigma, m+3\sigma]\).
Esercizio 5.2 Mostrare che il quantile di una densità gaussiana standard \(q: (0,1) \to \R\) soddisfa l’identità \(q(1-\alpha) = -q(\alpha)\) per ogni \(\alpha \in (0,1)\). Verificarlo anche mediante plot usando il comando qnorm().
Esercizio 5.3 Calcolare il momento terzo e quarto di una variabile con densità gaussiana standard e successivamente anche nel caso di una densità gaussiana generale \(\mathcal{N}(m, \sigma^2)\).