Please enable JavaScript.

Coggle requires JavaScript to display documents.

Unsupervised Learning (Kohonen's algorithm (Boundaries (För att…

- - - - Låt genomsnittet över T iterationer denoteras
      - Vi visar nu att steady statet \(\mathbf{w}^{*}\) har följande egenskaper:
        
        \(\left|\mathbf{w}^{*}\right|=1\)
        
        \(\mathbf{w}^{*}\) är egenvektorn av \(\mathbb{C}'=\left\langle \mathbf{x}\mathbf{x}^{T}\right\rangle \)
        med maximalt egenvärde
        
        \(\mathbf{w}^{*}\) maximerar \(\left\langle y^{2}\right\rangle \) över alla \(\mathbf{w}\) med längd 1.
        
        BEVIS
        
        Bevisa 1.
        (+ att vi är egenvektor)
        
        Antag att ett steady state \(\mathbf{w}^{*}\) har uppnåtts.
        I ett sådant måste inkrementen \(\delta\mathbf{w}\) i genomsnitt vara noll eftersom vikterna skulle växa/krympa annars:
        \(0=\left\langle \delta\mathbf{w}\right\rangle _{\mathbf{w}^{*}}\)
        
        Vi sätter in inlärningsregeln #:
        \(0=\left\langle \eta y(\mathbf{x}-y\mathbf{w}^{*})\right\rangle \)
        \(0=\left\langle \eta\mathbf{w}^{*T}\mathbf{x}(\mathbf{x}-\mathbf{w}^{*T}\mathbf{x}\mathbf{w}^{*})\right\rangle \)
        \(0=\left\langle \mathbf{x}^{T}\mathbf{w}^{*}\mathbf{x}-\mathbf{w}^{*T}\mathbf{x}\mathbf{x}^{T}\mathbf{w}^{*}\mathbf{w}^{*})\right\rangle \)
        \(0=\left\langle \mathbf{x}\mathbf{x}^{T}\mathbf{w}^{*}-\mathbf{w}^{*T}\mathbf{x}\mathbf{x}^{T}\mathbf{w}^{*}\mathbf{w}^{*})\right\rangle \)
        \(0=\left\langle \mathbf{x}\mathbf{x}^{T}\right\rangle \mathbf{w}^{*}-\mathbf{w}^{*T}\left\langle \mathbf{x}\mathbf{x}^{T}\right\rangle \mathbf{w}^{*}\mathbf{w}^{*}\)
        \(0=\mathbb{C}'\mathbf{w}^{*}-\underbrace{\mathbf{w}^{*T}\mathbb{C}'\mathbf{w}^{*}}_{\lambda}\mathbf{w}^{*}\)
        
        Det följer att \(\mathbf{w}^{*}\) måste lyda \(\mathbb{C}'\mathbf{w}^{*}=\lambda\mathbf{w}^{*}\), dvs vara en egenvektor till \(\mathbb{C}'\), och att \(\left|\mathbf{w}^{*}\right|=1\) #
        
        Bevisa 2.
        
        Vi vill visa att endast egenvektorn motsvarande \(\lambda_{\textrm{max}}\) representerar ett stable steady state.
        
        För att demonstrera detta, undersök linear stability av \(\mathbf{w}^{*}\). Ansats:
        \(\mathbf{w}=\mathbf{w}^{*}+\boldsymbol{\epsilon}\)
        Beräkna genomsnittlig ändring av \(\boldsymbol{\epsilon}\) efter ett iterationssteg:
        \(\left\langle \delta\boldsymbol{\epsilon}\right\rangle =\left\langle \delta\mathbf{w}\right\rangle _{\mathbf{w}^{*}+\boldsymbol{\epsilon}}\) (9.8)
        
        Vi vet att \(\mathbf{w}^*\) är en egenvektor till \(\mathbb{C}'\). Det vi gör nedan är alltså att kalla egenvärdet \(\alpha\) och egenvektorn \(\mathbf{u}_{\alpha}\).
        
        Bevisa 3.
        
        Vi behöver visa att \(\left\langle y^{2}\right\rangle =\mathbf{w}^{*}\cdot\mathbb{C}'\mathbf{w}^{*}\) maximeras när \(\mathbf{w}^{*}\) är längs max-egenvärde-riktningen.
        
        Vi beräknar
        \(\mathbf{w}^{*}\cdot\mathbb{C}'\mathbf{w}^{*}=\sum_{\alpha}\lambda_{\alpha}\left(\mathbf{w}^{*}\cdot\mathbf{u}_{\alpha}\right)^{2}\)
        
        Vi behöver också att vilket vi får från (1).
        Tillsammans visar uttrycken att ingen annan riktning w ger ett större värde på \(\left\langle y^{2}\right\rangle \), vsv.
- - - - Output-enheter med \(\mathbf{w}_{i}\) som är långt från något mönster kanske aldrig uppdateras
      - Möjlig lösning: initiera vikterna till riktningar från inputserna.
    - - där
      - Bortsett från summan över mönster så är detta samma som competitive-learning rule.
        "The angular brackets on the l.h.s. of this Equation indicate that
        the weight increments are summed over patterns."
- - - - \(\mathbf{w}^{*T}\mathbb{C}'\mathbf{w}^{*}\mathbf{w}^{*}\)
        \(+\mathbf{w}^{*T}\mathbb{C}'\boldsymbol{\epsilon}\mathbf{w}^{*}\)
        \(+\boldsymbol{\epsilon}^{T}\mathbb{C}'\mathbf{w}^{*}\mathbf{w}^{*}\)
        \(+\boldsymbol{\epsilon}^{T}\mathbb{C}'\boldsymbol{\epsilon}\mathbf{w}^{*}\)