Please enable JavaScript.

Coggle requires JavaScript to display documents.

Hopfield models (The Hopfield network (Energy function (låter oss…

- - - - p images/patterns,
        each with N bits
        
        index µ = 1,...,p
        
        \(x_{i}^{(\mu)}\) = the ith bit of pattern µ
      - Association task: Find the index \(\nu\) for which the Hamming distance \(h_{\nu}\) is minimal, \(h_{\nu}\leq h_{\mu}\) for all \(\mu=1,...,p\)
      - Solved like this:
        
        Set \(n_{i}(t=0)=x_{i}\)
        
        Find a set of weights so that the network converges to the correct stored pattern:
    - - Possible states for neuron j:
        
        istället för {0,1}. Transformation till detta:
        
        och thresholds
        
        bitarna i mönstren på samma sätt
        
        och vi använder sgn som aktiveringsfunktion:
      - Uppdateringsregel
        
        Detta också svårt. Vi begränsar oss först till p=1 (ett enda mönster): \(\mathbf{x}^{(1)}\)
        
        Generell egenskap hos McCulloch-Pitts-dynamik med Hebbs regel: om \(\mathbf{x}^{(1)}\) är en attraktor så är \(-\mathbf{x}^{(1)}\) också det
        
        Kan ej visa att små fel korrigeras, men i praktiken gör de det och det funkar bra
        
        Testa att sätta in , utvärdering enligt uppdateringsregeln # ger då att \(S_{j}\) för nästa steg är oförändrad
        
        Lämpliga vikter ges av Hebb's regel:
        
        Svårt att bevisa denna konvergens. Visa ist. att \(\mathbf{x}^{(\nu)}\) (ett korrekt mönster) inte förändrar sig utan stannar kvar i sitt korrekta tillstånd:
        
        Generaliserad Hebb's regel:
        summera över alla mönster\[w_{ij}=\frac{1}{N}\sum_{\mu=1}^{p}x_{i}^{(\mu)}x_{j}^{(\mu)}\qquad\theta_{i}=0\]
        
        Fråga: känns mönstret \(\mathbf{x}^{(\nu)}\) igen?
        dvs är sant?
        
        \(b_{i}^{(v)}=\sum_{j}w_{ij}x_{j}^{(v)}=\frac{1}{N}\sum_{j}\sum_{\mu}x_{i}^{(\mu)}x_{j}^{(\mu)}x_{j}^{(v)}=x_{i}^{(v)}+\underbrace{\frac{1}{N}\sum_{j}\sum_{\mu\neq v}x_{i}^{(\mu)}x_{j}^{(\mu)}x_{j}^{(v)}}_{\textrm{cross-talk term}}\)
        
        Vi ser att villkoret uppfylls om cross-talk term inte påverkar tecknet av \(b_{i}^{(v)}\)
        
        Om p är tillräckligt litet så borde inte cross-talk-termen göra något
        
        Analys: antag att mönstren är slumpmässiga (varje bit är +1/-1 med 50% sannolikhet)
        
        Vad är då sannolikheten att cross-talk-termen ändrar detta signum?
        dvs att nätverket producerar en felaktig bit i en asynkron uppdatering, om alla bitar ursprungligen var korrekta
        
        Bryr oss bara om cross-talk om den har annat tecken än \(x_{i}^{(v)}\) (och abs större än 1 (vilket är abs av \(x_{i}^{(v)}\))). Definiera\[C_{i}^{(v)}\equiv-x_{i}^{(v)}\underbrace{\frac{1}{N}\sum_{j}\sum_{\mu\neq v}x_{i}^{(\mu)}x_{j}^{(\mu)}x_{j}^{(v)}}_{\textrm{cross-talk term}}\]
        
        Om \(C_{i}^{(v)}\)>0: samma tecken som \(x_{i}^{(v)}\) så vi bryr oss ej
        Om 0<\(C_{i}^{(v)}\)<1: bryr oss ej heller
        Om \(C_{i}^{(v)}\)>1: SIGNUM ÄNDRAS!!!
        
        Hur ofta sker detta?
        
        För random patterns ges svaret av one-step error probability:
        
        :timer_clock: Vi kan räkna ut detta med CLT om
        
        2 more items...
        
        Eftersom olika bitar/mönster är oberoende kan vi skriva \(C_{i}^{(v)}\) som en summa av oberoende slumpvariabler \(c_{m}\) som är +1 och -1 med lika sannolikhet:
        
        där correctionen är termerna för j=i, vilka är konstanta -1/N och tillsammans lika med -(p-1)/N. När # så är ju denna försumbar.
        
        Varje term \(c_{m}\) i summan är oberoende med mean 0 och varians 1.
        När # så ger # att \(\sum_{m}c_{m}\) är normalfördelad. \(C_{i}^{(v)}\) är därför normalfördelad med
        \(E[-\frac{1}{N}\sum_{m}c_{m}]=-\frac{1}{N}\sum_{m}E[c_{m}]=0\)
        \(\textrm{Var}[-\frac{1}{N}\sum_{m}c_{m}]=\frac{1}{N^{2}}\sum_{m}\textrm{Var}[c_{m}]=\frac{1}{N^{2}}\sum_{m=1}^{(N-1)(p-1)}1=\frac{(N-1)(p-1)}{N^{2}}\approx\frac{p}{N}\)
        
        YTTERLIGARE ANALYS
  - - - Nära relaterat till statistical mechanics-teori om spin glasses
        
        order-disorder transition
        
        sharp, in the limit of large N
    - - Om vi matar in ett lagrat mönster så vill vi att nätverket stannar i närheten av detta mönster. Hur bra detta går mäts med order-parametern \(m_{\mu}\):
        
        där
      - Poängen för genomsnittsbit är 1 vid t=0
        
        Sedan efter en transient lägger den sig i ett steady state där den fluktuerar kring ett medelvärde med en definit fördelning som är oberoende av T.
        
        "This mean value is usually a bit lower than unity, an
        effect of the noise." <alltså vanligtvis inte helt rätt mönster?>
      - Mean-field theory
        
        Svårt att beräkna \(m_{\mu}(T)\). Vi börjar med N=1 dvs fallet med bara en neuron.
        
        local field blir då bara threshold: \(b_1=\theta_1\)
        
        För att beräkna \(m_{\mu}\) behöver vi beräkna tidsgenomsnittet av \(S_{1}(t)\) (för N=1 kan ju \(x_{1}^{(\mu)}\) flyttas ut utanför limes, se #). Vi denoterar tidsgenomsnittet med angular brackets:
        
        Eftersom local field är konstant så ges \(S_{1}(t)\) för vilket tidssteg som helst av #, alltså kommer andelen \(g(b_{1})\) vara +1 och andelen \(\left(1-g(b_{1})\right)\) vara -1 vilket ger medelvärdet
        \(g(b_{1})-(1-g(b_{1}))\)
        
        När vi sätter in aktiveringsfunktionen \(g\) får vi:
        
        Generalisering till flera neuroner
        
        För neuron i har vi:
        
        För stora N kan vi anta att \(b_{i}(t)\) förblir ungefär konstant under steady state, oberoende av t. "The argument is that fluctuations of the states of the neurons around neuron number i average out when N is large, so that \(b_{i}(t)\) is approximately given by its time average"
        
        Mean field theory = teori som negligerar de små fluktuationerna:
        
        Mean-field-ekvationerna är N icke-linjära ekvationer för \(\left\langle S_{i}\right\rangle \) för givna fixed patterns \(x_{i}^{(\mu)}\)
        
        Vill lösa dessa för att bestämma \(\left\langle S_{i}\right\rangle \), och order-parametrarna från
        
        då är ju local field för neuron i konstant, så att vi får samma situation som för N=1 #. Vi får:
        
        ()
      - Storage capacity*
        
        Den tidigare analysen ersatte summan i mean-field-ekvationerna # med sin första term \(x_{i}^{(1)}m_{1}\), dvs cross-talk-termen negligerades, vilket fungerar då \(\alpha=\frac{p}{N}\) är tillräckligt litet.
        
        För den stokastiska versionen kan vi undersöka felsannolikheten för många fler än ett steg även när \(\alpha\) är stort.
        
        Låt \(p\sim N\) så att \(\alpha\) förblir ändlig då \(N\rightarrow\infty\)
        
        Nu kan inte de andra termerna negligeras, utan vi behöver utvärdera alla \(m_{\mu}\) för att kunna beräkna \(\left\langle b_{i}\right\rangle \)
        
        Vi har \(\left\langle S_{i}\right\rangle =\tanh(\beta\left\langle b_{i}\right\rangle )=\tanh(\beta\sum_{\mu}x_{i}^{(\mu)}m_{\mu})\)
        och om vi sätter in detta i uttrycket för \(m_{v}\) får vi:
        
        \[m_{v}=\frac{1}{N}\sum_{i}x_{i}^{(v)}\left\langle S_{i}\right\rangle =\frac{1}{N}\sum_{i}x_{i}^{(v)}\tanh(\beta\sum_{\mu}x_{i}^{(\mu)}m_{\mu})\]
        
        Detta ekvationssystem är ekvivalent med mean-field-ekvationerna.
        
        Lösa systemet
        
        Vi antar att nätverket stannar nära mönstret \(x_{i}^{(1)}\) i sitt steady state, så att \(m_{1}\approx1\). Samtidigt låter vi de andra order-parametrarna förbli ändliga (yet possibly small). Vi antar slumpmönster så att \(m_{\mu}\) blir slumpvariabler som fluktuerar kring 0 med varians \(\left\langle m_{\mu}^{2}\right\rangle \). Denna varians kan approximativt beräknas med ekvation #. I \(\mu\)-summan måste vi separera ut fallet \(\mu=v\) (eftersom \(v\) finns även på vänstersidan). Vi måste också behandla termen \(\mu=1\) separat som innan. Det blir nödvändigt att skilja mellan fallet \(v=1\) och \(v\neq1\) (så vi inte räknar dubbelt då).
        
        \(v\neq1\)
        
        \(v=1\)
      - Beyond mean-field theory
        
        <?>
- - - - där \(Z=\sum_{\mathbf{n}}e^{-\beta H(\mathbf{n})}\) är en normaliseringsfaktor, kallad partition function
      - "The vector \(\mathbf{n}\) represents the state vector of the system, as in the Hopfield network."