STATISTICA BAYESIANA
Distribuzioni
Legge condizionata: f(x|θ)
Prior: π(θ)
Posterior: π(θ|x) = f(x|θ) π(θ) / (int{ f(x|θ) π(θ) }) = f(x|θ) π(θ) / m()x
1/m(x) costante di normalizzazione
Modelli
Bernoulli-Beta
X ~ Be(θ)
Famiglia esponenziale
Distribuzioni coniugate
π(θ) ~ Beta(α, β)
π(θ|x) ~ Beta(α + s, β + n + s)
Poisson-Gamma
X ~ Po(θ)
π(θ) ~ Gamma(α, β)
π(θ|x) ~ Gamma(α + s, β + n)
Exp-Gamma
X ~ Exp(θ)
π(θ) ~ Gamma(α, β)
π(θ|x) ~ Gamma(α + n, β + s)
Normale-Normale
X ~ N(μ, σ^2 nota)
π(θ) ~ N(μ_0, σ^2_0 nota)
π(θ|x) ~ N([μ_0 σ^2 + nE(x)σ^2] / [ σ^2_0 n + σ^2 ], σ^2 σ^2_0 /[ σ^2 + n σ^2_0])
Normale-Gamma inversa
X ~ N(μ, nota σ^2)
π(θ) ~ Gammainv(α, β)
π(θ|x) ~ Gammainv(α + n/2, β + (sum xi - μ )/2)
Uniforme-Pareto
X ~ U(0, θ)
π(θ) ~ Pareto(α, β)
π(θ|x) ~ Pareto(α + n, max{β, X_{n}})
Inferenza Bayesiana
Stima
Puntuale
Indice di sintesi distr post
Media/mediana/moda(θ|x)
Intervallare
HPD
Sh : {θ Ε Θ : π(θ|x) >=h}
Sh : P(θ Ε Sh|x) = 1 - α
CS
Intervallo nella distr a posteriori
Come IC nella classica
Previsiva
m(x'|x)
Predittiva finale
Int { f'(x'|θ) π(θ|x) dθ }
Elicitazione prior
Assegnazione diretta
se si hanno tante informazioni
Distribuzioni non informative
Prior impropria
Laplace
1/k uniforme se Θ è limitato
Impropria se Θ è infinito: π(θ) = 1
Jeffreys
π_j(θ) prop sqrt{ Ia(θ)}
Ia(θ) inf attesa di Fisher
Invariante
Vague
distr con elevata varianza
int π(θ)dθ = inf
accettabili se posterior propria
Tramite predittiva iniziale
Coniugate
Prior e posterior stessa distr
Vedi modelli
Famiglia esponenziale
f(λ, θ) = exp{θλ - C(θ)} - D(x)
π(θ) prop exp{η1θ - η2C(θ)}
π(θ|x) ~ (η1 + sum xi, η2 + n)
λ = g(θ)
π^~(λ)
π*(λ)
1: Elicito
2: Riparametrizzo
π*(λ) = π(g^-1(λ)) | dg^-1(λ) / dλ |
1: Riparametrizzo
2: Elicito
se π*(λ) = π^~(λ) allora c'è invarianza
Scelta iperparametri
Diretta
Esperto di dominio
Gerarchica
1: π(θ|α)
2: π(α)
3: π(θ) = int π(θ|α)π(α) dα
Empirica
da h(x) a α0
Uso il campione
Non coerente con procedere bayesiano
Ricorso a m(x)
Sintesi Posterior
E[ g(θ)|x] = E^π(θ|x) [g(θ)]
Spesso non calcolabile
m(x) non calcolabile
impos calc integrale analiticamente
Metodi analitici
Approssimazione normale
m(x) non necessario
π(θ|x) ~ N(θ#, Σ#)
θ# moda
Σ# = [-d^2 log π(θ|x)/ dθiθj]^-1_θ=θ#
θ - θ# ~ N(0, Σ#)
Approssimazione Laplace
m(x) non necessario
Sviluppo di Taylor
exp{nh(θ)} / exp{nh*(θ)}
Metodi simulativi
Monte Carlo
1: Estrarre g(θ1),......, g(θm) campioni MC
2: Calcola media campionaria g-m
IC con var g-m
MCIS (import sampling)
Estrarre θ'1,......,θ'm da h(θ)
h(θ) stesso supporto posterior
ωi = π(θ'|x) / h(θ'i)
I pesi bilanciano h verso la posterior
g-m = 1/m sum ωig(θ'i)
MCMC
Generare CMO della posterior
Burn-in period
m osservazioni buttate
Tengo tra m e m + n oss
Gibbs Sampling
θ =(θ1,......,θd)
Esistono le full conditionals
π(θi |θ1,......,θd)
Algoritmo
1: inizializzo la catena
2: aggiorno usando le full conditionals
3: Ripeto 1 e 2 m+n volte
Metropolis
Catena reversibile
α(θ, θ')
Algoritmo
1: si inizializza θ0
2: si genera θ' da proposal
3: accetto θ' in base a α(θ, θ')
Algoritmo accettazione rifiuto
4: Ripeto
Tipologie
Hastings
q(θ, θ') sul supporto posterior
RW
θ' = θ + x
Independent
h(θ') non dip dal candidato precedente
Approccio decisionale
θ è una vc
Criteri Bayesiani
K[L(θ,a)] = numero
Del valore atteso
Media-Var
K[L(θ,a)] = int L(θ,a) π(θ)dθ
K[L(θ,a)] = E[L(θ,a)] + αVar[L(θ,a)]
Soglia critica
K[L(θ,a)] = P{ θ: L(θ,a) > λ}
Funzione di perdita
Quadratica
Lineare
Assoluta
Lineare
Pesata
0/1
Verifica di ipotesi
Usando le funzioni di perdita
(Θ, Δ = A, L(θ, δ(x)), K)
A = decisioni ammissibili
Stima
Puntuale
l quadratica
Media a posteriori
l assoluta
Mediana a posteriori
l lineare asimmetrica
quantile k0/(k0+k1)
l 0/1
Moda a posteriori
Intervallare
HPD
EHPD
Verifica di ipotesi
Senza approccio decisionale
rifiuto H0 se P(θ Ε Θ1|x) >P(θ Ε Θ0|x)
Con approccio decisionale
si usa la funzione di perdita
Fattore di Bayes
B(Hi|x) = B(Hi|x) / B(Hi)
O = odds ratio= p(Hi)/ (1- p(Hi))
Fattore a favore di un ipotesi in presenza del risultato sperimentale
Rifiuto H0 se
B(H0|x) < k0P(H1) / k1P(H0)
se fattore di Bayes a favore di H0 è troppo piccolo