掃一掃人工智能深度學(xué)習(xí)中與內(nèi)存進(jìn)行交互的基本方法
來(lái)源：未知 時(shí)間：2018-25-28 瀏覽次數(shù)：173次
內(nèi)存是大腦和計(jì)算機(jī)的主要部件。在很多深度學(xué)習(xí)領(lǐng)域，我們通過(guò)和記憶匹配來(lái)擴(kuò)展深度網(wǎng)絡(luò)的能力，例如，提問(wèn)與回答，我們先記憶或存儲(chǔ)事先處理的信息，然后使用這些信息回答問(wèn)題。來(lái)自神經(jīng)圖靈機(jī)（NTM）論文（https://arxiv.org/pdf/1410.5401.pdf）：
我們通過(guò)將神經(jīng)網(wǎng)絡(luò)連接到外部存儲(chǔ)資源來(lái)擴(kuò)展神經(jīng)網(wǎng)絡(luò)的功能，通過(guò)記憶過(guò)程與這些資源進(jìn)行交互。
在外行看來(lái)，我們創(chuàng)建了一個(gè)記憶結(jié)構(gòu)，通常是數(shù)組，我們向記憶結(jié)構(gòu)中寫入或從其中讀取數(shù)據(jù)。聽(tīng)起來(lái)很簡(jiǎn)單：但事實(shí)并非如此。首先，我們沒(méi)有無(wú)限的存儲(chǔ)空間用來(lái)保存我們遇到的圖片或聲音，我們是通過(guò)相似性或相關(guān)性來(lái)訪問(wèn)信息（并不完全匹配）。在這篇文章中，討論了如何使用NTM來(lái)處理信息。我們之所對(duì)這篇論文感興趣，主要是因?yàn)樵诎∟LP和元學(xué)習(xí)等很多研究領(lǐng)域，她都是一個(gè)重要的起點(diǎn)。
記憶結(jié)構(gòu)
我們的記憶結(jié)構(gòu)Mt包含N行，M個(gè)元素。每行代表一條信息（記憶），例如，你對(duì)表兄的描述。
讀取
通常編程中，我們使用Mt[i]訪問(wèn)記憶。但對(duì)于人工智能來(lái)說(shuō)，我么通過(guò)相似性獲取信息。所以我們推出了一個(gè)使用權(quán)重的閱讀機(jī)制，也就是說(shuō)，我們得到的結(jié)果是內(nèi)存的加權(quán)和。
所有權(quán)值總和等于1。
你可能立即會(huì)問(wèn)這樣做的目的是什么。讓我們通過(guò)一個(gè)例子來(lái)解釋。一個(gè)朋友遞給你一杯飲料，它嘗起來(lái)有點(diǎn)像茶，并感覺(jué)像牛奶，通過(guò)提取茶和牛奶的記憶資料，應(yīng)用線性代數(shù)方法得出結(jié)論：它是珍珠奶茶。聽(tīng)起來(lái)很神奇，但在單詞潛入中，我們也使用了相同的線性代數(shù)來(lái)處理關(guān)系。在其他的例子比如提問(wèn)和回答中，基于累計(jì)的知識(shí)來(lái)合并信息是非常重要的。一個(gè)記憶網(wǎng)絡(luò)會(huì)讓我們很好的達(dá)成目標(biāo)。
我們?nèi)绾蝿?chuàng)建這些權(quán)值呢? 當(dāng)然，需要依靠深度學(xué)習(xí)?？刂破鲝妮斎胄畔⒅刑崛√卣鳎╧t），我們利用它計(jì)算權(quán)值。例如，你打電話時(shí)，不能立即分辨出對(duì)方的聲音，這個(gè)聲音很像你的表弟，但有似乎又像你的哥哥。通過(guò)線性代數(shù)，我們可能分辨出他是你的高中同學(xué)，即便那個(gè)聲音完全不像你記憶中的樣子。
通過(guò)計(jì)算權(quán)值w，對(duì)比kt和我們每條記憶的相似性，我們用余弦相似性計(jì)算出了一個(gè)分?jǐn)?shù)K。
這里， u是我們提取的特征量kt，v代表我們內(nèi)存中的每一行。
我們將softmax函數(shù)應(yīng)用于分?jǐn)?shù)K，來(lái)計(jì)算權(quán)值w。 βt 被添加進(jìn)來(lái)用于放大或縮小分?jǐn)?shù)的差異。 例如，如果它大于1，就放大差異。w基于相似性檢索信息，我們稱之為內(nèi)容尋址。
寫入
我們?nèi)绾螌⑿畔懭胗洃?。?LSTM中，一個(gè)記憶單元的內(nèi)部狀態(tài)由之前的狀態(tài)和當(dāng)前輸入值共同決定。借用相同的情形，記憶的寫入過(guò)程也是由之前的狀態(tài)和新的輸入組成。這里我們先清除部分之前的狀態(tài)：
et是一個(gè)清除向量。 (計(jì)算過(guò)程就像LSTM中的輸入門一樣)
然后，我們寫入新的信息。
at是我們想添加的值。
這里，通過(guò)產(chǎn)生w的控制器，我們可以向記憶中寫入或讀取信息。
來(lái)源https://arxiv.org/pdf/1410.5401.pdf
尋址機(jī)制
我們的控制器通過(guò)計(jì)算w來(lái)提取信息，但是采用相似性（內(nèi)容尋址）來(lái)提取信息還不夠強(qiáng)大。
補(bǔ)充
w表示我們記憶中當(dāng)前的焦點(diǎn)（注意力）。在內(nèi)容尋址中，我們的關(guān)注點(diǎn)只基于是新的輸入。然而，這不足以解釋我們最近遇到的問(wèn)題。例如，你的同班同學(xué)在一小時(shí)之前發(fā)信息給你，你應(yīng)該可以很容易 回想起他的聲音。在獲取新的信息時(shí)我們?nèi)绾卫弥暗淖⒁饬?？我們根?jù)當(dāng)前的焦點(diǎn)和之前的焦點(diǎn) 計(jì)算出合并權(quán)值。是的，這挺起來(lái)有點(diǎn)像LSTM或GRU中的遺忘門。
根據(jù)之前的焦點(diǎn)和當(dāng)前輸入計(jì)算出g。
卷積變換
卷積變換完成焦點(diǎn)的變換。它并不是特地為深度學(xué)習(xí)設(shè)計(jì)的。相反，她揭示了NTM如何執(zhí)行像復(fù)制與排序這樣的基礎(chǔ)算法。例如，不用通過(guò)訪問(wèn)w[4]，我們想把每個(gè)焦點(diǎn)移動(dòng)3行，也就是 w[i] ← w[i+3]。
在卷積變換中，我們可以將需要的焦點(diǎn)移動(dòng)到指定的行，即w[i] ←卷積（w[i+3], w[i+4], w[i+5] ） 。通常，卷積僅僅是行的線性加權(quán)和： 0.3 × w[i+3] + 0.5 × w[i+4] + 0.2 × w[i+5]。
這是焦點(diǎn)變換的數(shù)學(xué)公式：
在很多深度學(xué)習(xí)模型中，我么忽略這一步或者設(shè)置s(i)為 0，s(0) = 1例外。
銳化
我們的卷積移位就像一個(gè)卷積模糊濾波器。所以在有需要時(shí)，我們會(huì)對(duì)權(quán)值采用用銳化技術(shù)，達(dá)到模糊的效果，γ將會(huì)是在銳化焦點(diǎn)時(shí)控制器輸出的另一個(gè)參數(shù)。
小結(jié)
我們使用權(quán)值w從記憶中檢索信息。w包括這些因素：當(dāng)前輸入，以前的交點(diǎn)，可能的變換與模糊。這里是系統(tǒng)框圖，其中控制器輸出必要的參數(shù)，這些參數(shù)用于在不同的階段計(jì)算w。
