7.2 Esempi

In questa sezione descriviamo alcuni modelli fondamentali di processi a stati continui, calcolandone esplicitamente la funzione di autocovarianza e discutendone la gaussianità e stazionarietà. Nella sezione successiva inquadreremo questi processi come casi particolari di una famiglia di processi, detta ARIMA.

7.2.1 Rumore bianco gaussiano

Il più semplice processo a stati continui che consideriamo consiste di variabili aleatorie \((W_t)_{t \in \mathcal{T} }\), tutte con la medesima legge e indipendenti. Tale processo assume vari nomi a seconda dell’ambito di studio e in particolare a seconda della legge comune delle marginali. Ad esempio, nel caso di variabili Bernoulli indipendenti, tutte aventi lo stesso parametro \(p \in [0,1]\), ossia \(P(W_t = 1) = p\) per ogni \(t \in \mathcal{T}\), il processo è detto processo di Bernoulli.

In questo capitolo ci concentriamo invece sui processi a stati continui, e il caso che consideriamo è quando tutte le marginali \(W_t\) siano variabili reali, tutte con medesima densità continua gaussiana, di media nulla e varianza \(\sigma^2\): la densità della marginale è quindi \[ p(W_t = w) = \exp\bra{ - \frac {w^2} {2 \sigma^2} } \frac{1}{\sqrt{ 2 \pi \sigma^2}}.\] Un tale processo \((W_t)_{t \in \mathcal{T}}\) è detto rumore bianco gaussiano (in inglese, Gaussian white noise, che giustifica la notazione \(W\)) di intensità \(\sigma^2\), sull’insieme dei tempi \(\mathcal{T}\).

Remark. Il termine rumore è motivato dall’utilizzo in modelli di teoria dell’informazione. Supponendo che un messaggio \((M_t)_{t \in \mathcal{T}}\), ad esempio una sequenza di bit, venga trasmesso tramite un mezzo di comunicazione reale (ad esempio tramite onde elettromagnetiche), per modellizzare l’effetto di molteplici fenomeni naturali che portano ad una possibile “distorsione” nella ricezione del messaggio, si suppone che il ricevitore osservi il processo \[ (M_t + W_t)_{t \in \mathcal{T}},\] dove \((W_t)_{t \in \mathcal{T}}\) è un rumore bianco gaussiano di una certa intensità \(\sigma^2\) (è un parametro del modello che si può stimare). Il fatto che il rumore sia sommato spiega perché a volte il rumore bianco gaussiano è anche accompagnato dall’aggettivo additivo. Notiamo di passaggio che in questi modelli anche il messaggio è trattato come una variabile aleatoria (per questo usiamo una lettera maiuscola). Questo è evidente se lo pensiamo dal punto di vista del ricevente, ma anche se assumiamo il punto di vista dell’ingegnere che deve studiare/progettare il mezzo di comunicazione e possibilmente contrastare l’effetto del rumore.

Consideriamo un rumore bianco gaussiano \((W_t)_{t \in \mathcal{T}}\) di intensità \(\sigma^2\). La funzione di media, avendo supposte tutte le \(W_t\) centrate è identicamente nulla: \[ t \mapsto \E{W_t} = 0.\] Anche la funzione di autocovarianza è molto semplice, ricordando che variabili indipendenti non sono correlate, mentre per ipotesi \(\Var{W_t} = \sigma^2\). Pertanto \[ C(s,t) = \begin{cases} 0 & \text{ se $s \neq t$,}\\ \sigma^2 & \text{ se $ s = t$.}\end{cases}\] A volte si usa una notazione abbreviata introducendo la funzione delta (di Dirac discreta) centrata in \(0\), definita così: \[ \delta_0(x) = \begin{cases} 0 & \text{se $x \neq 0$,}\\ 1 & \text{se $x=0$.}\end{cases} \] Si trova allora che \[ C(s,t)= \sigma^2 \delta_0( t-s).\] In particolare, il processo è stazionario in senso lato. Essendo un processo gaussiano, è anche stazionario in senso stretto.

Remark. Se il parametro \(\sigma^2\) non è noto, si può stimarlo da \(n\) osservazioni \(W_{t_i} = w_i\), riconoscendo che il problema è lo stesso della stima della varianza di un campione gaussiano (di cui la media è nota). In particolare la stima di massima verosimiglianza in questo caso è data da \[ \sigma_{\mle}^2 = \frac 1 n \sum_{i=1}^n w_i^2.\]

Per comprendere l’aggettivo bianco è invece necessario considerare la trasformata di Fourier del processo. Supponiamo, per evitare di considerare serie, che l’insieme dei tempi sia finito e precisamente \(\mathcal{T} = \cur{0, 1, \ldots, n-1}\). Allora la trasformata di Fourier di \((W_t)_{t=0}^{n-1}\) è data da \[ \hat{W}(\xi) = \sum_{t=0}^{n-1} W_t e^{-2 \pi i \xi t/n}.\] In particolare, osserviamo che per ciascuna frequenza \(\xi \in \cur{0, \ldots, (n-1)}\) la variabile aleatoria \(\hat{W}(\xi)\) è una combinazione lineare (a coefficienti complessi) di variabili gaussiane indipendenti. Il fatto che siano complesse complica un po’ la cosa, perché vanno pensate come variabili gaussiane vettoriali a valori in \(\R^2\), ma si può mostrare che sono comunque variabili gaussiane. Il valor medio di ciascuna di esse è, usando la linearità, \[ \E{ \hat{W}(\xi)} = \sum_{t=0}^{n-1} \E{W_t} e^{-2 \pi i \xi t/n} = 0,\] mentre il valor medio dell’energia associata a ciascuna frequenza \(\xi\) è \[ \begin{split} \E{ | \hat{W}(\xi) |^2 } & = \E{ \hat{W}(\xi) \overline{ \hat{W} (\xi)} } \\ & = \E{ \sum_{t=0}^{n-1} W_te^{-2 \pi i \xi t/n} \sum_{s=0}^{n-1} W_s e^{2 \pi i \xi s/n}}\\ & = \sum_{t=0}^{n-1}\sum_{s=0}^{n-1} e^{-2 \pi i \xi (t-s) /n} \E{ W_t W_s}\\ & = \sum_{t=0}^{n-1}\sum_{s=0}^{n-1} e^{-2 \pi i \xi (t-s) /n} \sigma^2 \delta_0(t-s)\\ & = \sigma^2 \sum_{t=0}^{n-1} 1 = \sigma^2 n. \end{split}\] Quindi l’energia in media su ciascuna frequenza è costante. Poiché il termine \(n\) è l’intervallo di tempo (supponendo di aver osservato a istanti temporali equispaziati con intervalli di ampiezza \(1\)) la quantità \[ \frac{ \E{ | \hat{W}(\xi)|^2 } }{n}\] può essere pensata come una potenza (energia su tempo) media, ed è un caso particolare del concetto di densità spettrale di potenza. Ritorneremo su questa nozione, in generale, nella Sezione 7.5.

7.2.2 Passeggiata aleatoria gaussiana

Il secondo esempio che trattiamo consiste nella somma cumulativa di un rumore bianco gaussiano \(W\). Precisamente, posto \(\mathcal{T} = \cur{0,1, \ldots, n}\) o eventualmente \(\mathcal{T} = \N\), definiamo \[ S_0 = 0, \quad S_t = W_1+W_2+ \ldots +W_t = \sum_{s=1}^t W_s,\] dove \((W_s)_{s}\) è un rumore bianco gaussiano di instensità \(\sigma^2\). Si può in alternativa usare una definizione ricorsiva ponendo \(S_0 = 0\) e per ogni \(t \in \mathcal{T}\), \(t \ge 1\), \[ S_t = S_{t-1} + W_t.\] In questo caso il processo si intepreta come una “passeggiata”, in cui ad ogni istante \(t \ge 1\), partendo dalla posizione \(S_{t-1}\), si compie un nuovo “passo” \(W_t\) e spostandosi nella posizione \(S_t = S_{t-1}+W_t\). Il processo \((S_t)_{t}\) è detto passeggiata aleatoria gaussiana.

Remark. La passeggiata aleatoria, un po’ come il rumore bianco, si può anche considerare con leggi diverse dalla gaussiana. Un esempio nel discreto è il caso in cui ciascuna \(W_s\) assuma solo valori \(\cur{-1, 1}\), con probabilità uniforme, detto passeggiata aleatoria simmetrica semplice.

Tornando alla passeggiata aleatoria gaussiana, la media di ciascuna \(S_t\) è nulla, infatti \[ \E{S_t} = \E{ \sum_{s=1}^t W_s} = \sum_{s=1}^t \E{W_s} = 0.\] Tuttavia la passeggiata aleatoria gaussiana non è un processo stazionario (neppure in senso lato). Infatti, se lo fosse, la varianza \(\Var{S_t} = C(t,t)\) dovrebbe essere costante, ma vale \[ \begin{split} \Var{S_t} & = \Var{ \sum_{i=1}^ t W_i } = \sum_{i=1}^t \Var{W_i} \\ & = \sum_{i=1}^t \sigma^2 = t \sigma^2.\end{split}\] (ovviamente supponiamo che \(\sigma^2>0\)). Possiamo anche calcolare la funzione di autocovarianza, dati \(s\), \(t \in \mathcal{T}\), ad esempio con \(s \le t\), \[ \begin{split} C(s,t) &= \Cov{S_s, S_t} = \Cov{ S_s, S_s + W_{s+1}+\ldots + W_{t}}\\ & = \Cov{ S_s, S_s } + \sum_{i=s+1}^t \Cov{S_s, W_{i}}\\ & = \Var{S_s} = \sigma^2 s \end{split}\] avendo usato che \(S_s\) è indipendente da \(W_i\), se \(i>s\) perché è funzione del rumore bianco \(W_j\) soltanto nei tempi \(j \le s\). Poiché la funzione di autocovarianza è simmetrica, concludiamo che vale \[ C(s,t) = \sigma^2 \min\cur{s,t}.\] Riassumiamo quanto visto nella seguente proposizione.

Proposizione 7.2 Sia \(\mathcal{T} = \cur{0,1, \ldots, n}\) oppure \(\mathcal{T} = \mathbb{N}\) e sia \((S_t)_{t \in \mathcal{T}}\) tale che, per \(t \ge 1\), \[ S_t = S_{t-1} + W_t.\] dove \((W_t)_{t \in \mathcal{T}}\) è un rumore bianco gaussiano di indensità \(\sigma^2\) e \(S_0=0\). Allora il processo \((S_t)_{t}\), detto passeggiata aleatoria gaussiana, non è stazionario, e ha funzione di media nulla e di autocovarianza \[ C(s,t) =\sigma^2 \min\cur{s,t}.\]

Remark. Osserviamo che, nel caso fossimo interessati a condizioni iniziali \(X\) diverse da \(S_0 =0\), basta aggiungere alla passeggiata il valore \(X\), ottenendo \(S_k+X\). Se \(X\) è una variabile indipendente dal rumore bianco, i calcoli visti sopra non cambiano, eccetto che alla funzione media va aggiunta la media di \(X\), mentre alla funzione di autocovarianza va aggiunta la varianza di \(X\).

Remark. Se il parametro \(\sigma^2\) di intensità del rumore bianco non è noto, si può stimarlo da \(n\) osservazioni \(S_t = s_t\), per \(t=1,2, \ldots n\) passando tramite una differenza finita (o derivata discreta) dalla passeggiata aleatoria al rumore bianco gaussiano: definendo \[ w_t = s_t - s_{t-1}\] si trovano \(n\) osservazioni, e quindi la stima di massima verosimiglianza è data da \[ \sigma_{\mle}^2 = \frac 1 n \sum_{t=1}^n (s_t - s_{t-1})^2.\]

7.2.3 Equazione lineare con smorzamento

Il terzo esempio che consideriamo può essere visto come una variante della passeggiata aleatoria, in cui prima di ogni nuovo passo “trasformiamo” lo stato tramite una dilatazione di un parametro \(\alpha\). In formule, posto \((W_i)_{i}\) un rumore bianco gaussiano di instensità \(\sigma^2\), l’equazione ricorsiva è, per ogni \(t \in \mathcal{T}\), \(t \ge 1\), \[ X_t = \alpha X_{t-1} + W_t.\]

Remark. Nel caso \(\alpha=1\) si recupera l’equazione della passeggiata aleatoria. Se \(|\alpha | < 1\), l’effetto è di riavvicinare \(X_{t-1}\) verso l’origine, e proprio questo vedremo permetterà di avere un processo stazionario (purché \(X_0\) sia specificato opportunamente). L’effetto è quindi di uno smorzamento, che senza la presenza del rumore sarebbe semplicemente esponenziale: si avrebbe \[X_t = \alpha X_{t-1} = \alpha^2 X_{t-2} = \ldots = \alpha^t X_0.\]

Supponiamo che \(X_0\) abbia densità gaussiana di parametri \(\mathcal{N}(0, \sigma_0^2)\) e sia indipendente dal rumore bianco gaussiano. Allora si vede facilmente che la funzione di media del processo è costante e nulla. Infatti soddisfa \[ \E{ X_t} = \E{\alpha X_{t-1} + W_t} = \alpha \E{X_{t-1}} +\E{W_{t-1}} = \alpha \E{X_{t-1}},\] e quindi, ripetendo \(t\) volte, \[ \E{X_t} = \alpha \E{X_{t-1}} = \alpha^2 \E{X_{t-2}} = \ldots = \alpha^t \E{X_0} = 0.\] Per la varianza, possiamo argomentare similmente, usando il fatto che \(X_{t-1}\) è indipendente da \(W_t\), \[ \Var{X_t} = \Var{ \alpha X_{t-1}+ W_t} = \Var{\alpha X_{t-1}} + \Var{W_t} = \alpha^2 \Var{X_{t-1}} + \sigma^2.\] Ripetendo questa uguaglianza partendo da \(\Var{X_{t-1}}\) e poi da \(\Var{X_{t-2}}\) ecc. darebbe una formula per la varianza, che tuttavia risulta piuttosto complicata. Se siamo interessati al caso in cui \(X\) sia stazionario, è sufficiente tuttavia capire sotto quali condizioni la varianza sia costante \(\Var{X_t} = \sigma^2\), e in particolare uguale a \(\Var{X_0} = \sigma_0^2\). Si trova quindi \[\sigma_0^2 = \alpha^2 \sigma_0^2 + \sigma^2, \] da cui \[ \sigma_0^2 = \frac{ \sigma^2}{1-\alpha^2}.\] Ricordando che una varianza deve essere positiva, affinché il processo sia stazionario, il termine \(1-\alpha^2\) deve essere pure positivo, e quindi deve valere \[ |\alpha| <1.\] Questo calcolo spiega anche in modo diverso perché la passeggiata aleatoria, ossia il caso \(\alpha = 1\), non possa essere stazionaria.

Per concludere che \(X\) sia stazionario dobbiamo anche mostrare che in generale la funzione di autocovarianza \(C(s,t)\) dipende solo dalla differenza dei tempi \(|t-s|\). Dati \(s<t\), usiamo ancora l’equazione di definizione per ottenere \[ \begin{split} C(s,t) & = \Cov{X_s, X_t} = \Cov{ X_s, \alpha X_{t-1} + W_t}\\ & = \alpha \Cov{ X_s, X_{t-1}} + \Cov{X_s, W_t}= \alpha C(s,t-1),\end{split}\] dove abbiamo usato il fatto che \(W_t\) è indipendente da \(X_s\) (se \(s<t\)). Ripetendo l’argomento \(t-s\) volte, si ottiene che \[ C(s,t) = \alpha C(s, t-1) =\alpha^2 C(s, t-2) = \ldots = \alpha^{t-s }C(s,s) = \alpha^{t-s} \sigma_0^2.\] che dipende solamente dalla differenza \(t-s\) come cercato. Riassumiamo le proprietà viste nella seguente proposizione.

Proposizione 7.3 Sia \(\mathcal{T} = \cur{0,1, \ldots, n}\) oppure \(\mathcal{T} = \mathbb{N}\) e sia \((X_t)_{t \in \mathcal{T}}\) tale che, per \(t \ge 1\), soddisfi la seguente equazione lineare con smorzamento: \[ X_t = \alpha X_{t-1} + W_t,\] dove \((W_t)_{t \in \mathcal{T}}\) è un rumore bianco gaussiano di indensità \(\sigma^2\) e \(X_0\) ha densità gaussiana di parametri \(\mathcal{N}(0, \sigma_0^2)\) (e indipendente dal rumore bianco). Se \(|\alpha|<1\) e vale \[ \sigma_0 = \frac{ \sigma}{\sqrt{1 - \alpha^2}},\] allora il processo \(X\) è gaussiano e stazionario, con funzione di media nulla e autocovarianza \[ C(t-s) = C(s,t) = \alpha^{|t-s|} \sigma_0^2.\]

La funzione di autocorrelazione è semplicemente \(\rho(t) = \alpha^t\). Il segno di alpha cambia leggermente tale funzione, come mostrano i seguenti grafici.

t <- 0:10
alpha <- 1/2

plot(t, alpha^t, pch = 16, lwd = 3, col = miei_colori[2],
  ylab = "autocorrelazione", xlab = "intervallo di tempo (lag)",
  ylim = c(-1, 1))

Figura 7.1: funzione di autocorrelazione dell’equazione lineare con smorzamento per \(\alpha=1/2\)

t <- 0:10
alpha <- -1/2

plot(t, alpha^t, pch = 16, lwd = 3, col = miei_colori[2],
  ylab = "autocorrelazione", xlab = "intervallo di tempo (lag)",
  ylim = c(-1, 1))

Figura 7.2: funzione di autocorrelazione dell’equazione lineare con smorzamento per \(\alpha=-1/2\)

Remark. Se i parametri \(\alpha\) e \(\sigma^2\) non sono noti, si possono stimare da \(n\) osservazioni \(X_t = x_t\) per \(t = 0,1, \ldots, n\). Similmente a quanto visto per la passeggiata aleatoria, ci possiamo ricondurre ad \(n\) osservazioni di rumore bianco gaussiano tramite le differenze \[ w_t = x_t - \alpha x_{t-1}.\] La funzione di verosimiglianza per il rumore bianco è molto semplice (essendo gaussiane indipendenti) e si trova quindi \[\begin{split} L( \alpha, \sigma^2 ; (x_t)_{t=0}^n) & = p( W_t= x_t-\alpha x_{t-1}, \ldots, W_1 = x_1 - \alpha x_0 | \alpha, \sigma^2)\\ & = \exp\bra{ - \frac 1 2 \sum_{t=1}^n \frac{ (x_t - \alpha x_{t-1})^2 }{\sigma^2 } } \frac {1}{\sqrt{ (2 \pi )^n \sigma^{2n}}} \end{split}\] Con i soliti passaggi si riconduce la stima di massima verosimiglianza a minimizzare la funzione congiunta di \(\alpha\) e \(\sigma^2\), \[ \sum_{t=1}^n \frac{ (x_t - \alpha x_{t-1})^2 }{\sigma^2 } - n \log( \sigma^2)\] In particolare, \(\alpha_{\mle}\) minimizza la somma dei quadrati dei “residui” \[ \alpha \mapsto \sum_{t=1}^n (x_t - \alpha x_{t-1})^2,\] e quindi, imponendo che la derivata si annulli, \[ \alpha_{\mle} = \frac{\sum_{t=1}^n x_t x_{t-1}}{ \sum_{t=1}^n x_{t-1}^2} \] mentre \(\sigma_{\mle}^2\) si ottiene di conseguenza \[ \sigma_{\mle}^2 = \frac 1 n \sum_{t=1}^n (x_t - \alpha_{\mle} x_{t-1})^2.\]

7.2.4 Esercizi

Esercizio 7.1 Trovare la stima di massima verosimiglianza per \(\sigma^2\) quando si osserva una passeggiata aleatoria gaussiana a istanti di tempo non costanti \(0\le t_1 < t_2 < \ldots < t_n\).