Please enable JavaScript.
Coggle requires JavaScript to display documents.
Sequence-to-Sequence Domain Adaptation Network for Robust Text Image…
Sequence-to-Sequence Domain Adaptation Network
for Robust Text Image Recognition
大綱
Domain adaptation
已顯示出緩解域移位問題的有希望的進展
最近的視覺域適應工作通常集中在具有全局粗略對齊的非順序對象識別上,這不足以為具有可變長度細粒度字符信息的類似序列的文本圖像傳遞有效的知識
這不足以為具有可變長度細粒度字符信息的類似序列的文本圖像傳遞有效的知識
序列到序列域自適應網絡(SSDAN)
強健性的文本圖像識別
通過基於注意力的序列編碼器-解碼器網絡來利用無監督的序列數據
引入了門控注意相似度(GAS)單元
自適應地集中於在所關注的字符級特徵空間中對齊源和目標序列數據的分佈,而不是全局粗略對齊
介紹
由於在“測試階段”遇到實際數據時不可避免的域轉移,構建一個能夠在新情況下有效處理各種數據的健壯的文本識別器仍然具有挑戰性
如圖1所示,文本數據分佈傾向於受到多種因素的影響,例如自然場景文本中的外觀不同,手寫文本中的各種手寫樣式甚至數學表達式中的不同結構
為了使轉換後的目標文本圖像構建一個健壯的文本識別器,一種通用的解決方案是收集大規模的帶註釋的文本圖像,而這些圖像成本高昂並且無法涵蓋所有多樣性
但是,無監督的目標文本圖像很容易獲得。 如果我們可以利用無監督的文本圖像來減少域偏移,那將是有幫助的
無監督域自適應是一種使用未標記目標域數據減輕域偏移的有效方法
源域(source domain)和目標域(target domain)之間對齊特徵分佈
他們通常會優化字符的整體表示,以最大程度地減少域偏移的度量
相關對齊距離(CORAL)
最大平均差異(MMD)
對抗性損失(adversarial loss)
但是,文本圖像是不同字符的組合,這是可變長度的標籤序列而不是分開的
因此,最流行的域自適應方法不能直接應用於序列預測
因為全局固定長度表示在字符級別缺少重要的細粒度信息,從而無法適當地描述類似序列圖像的內容
Sequence-to-Sequence Domain Adaptation Network (SSDAN)
如圖2所示,提出的SSDAN是用於處理序列的基於注意力的編碼器-解碼器模型
它可以在解碼時自動將注意力集中在字符最相關的區域上,從而使類似序列的文本圖像免於將源序列的所有信息壓縮為全局固定長度向量的麻煩
引入了門控注意相似度(GAS)單元
以在有人照看的字符級特徵空間對齊源域和目標域的分佈,在這裡我們採用門函數來控制模型,該模型側重於有效的字符級特徵,而不是 全局粗調
使用無監督的字符級相似度損失來指導模型,以減少源序列和目標序列之間的域偏移
然後,通過共同最小化無監督的字符級相似度損失和有監督的源解碼損失,實現無監督的序列到域域自適應,從而可以學習對已轉移目標域有效的不變域和區分特徵
相關工作
文本識別方法
現有的文本圖像識別方法通常是為特定情況設計的,不能有效地推廣到不同的任務。 儘管我們的領域適應模型是為不同的場景而設計的,包括自然場景文本,手寫文本和數學表達式識別。 此外,在現有方法中,文本圖像數據中的固有域偏移通常被忽略。 相反,我們的SSDAN利用領域自適應技術來解決領域轉移問題,該領域自適應地執行文本圖像中的字符級自適應
文本識別的域自適應
以專注於細粒度(fine-grained)的字符級特徵,從而成功地傳輸了可變長度序列知識
這些方法在全局圖像上以不同樣式的信號字符有限地轉換字體,但仍然不能擴展到文本行圖像
方法
可以使用帶有標註好的文本標籤(字符或符號序列)的源域文本圖像,而我們只能訪問目標域中未標記的文本圖像(分佈不同)
Ns個帶註釋的源域樣本X s = {xsi} Ns i = 0
帶有相應的標籤Y s = {ysi} Ns i = 0
並且Nt個未標記的目標域樣本X t = {xti } Nt i = 0
在訓練時間內沒有任何可用的帶註釋的標籤。 對於y∈Ys,y = {y1,y2,...,yT}
yk和T分別表示字符標籤和可變長度的文本
文本識別模組
通過cnn網絡輸出H
W
C的特徵圖。 把通道維度的特徵作為1維的 vector,H和w相乘的值作為序列的總數。 這個序列輸入lstm做attention,將求出的attention的值與原序列相乘得到一個字符的context vector。 之後通過一個GRU來做decoder。 下一個時刻的隱藏層利用了前一時刻隱藏層,輸出層,和當前字符的context vector。
GAS模組
通過前面的encoder和decoder的模塊,我們可以將字符串轉換為一個字符特徵序列。 在字符序列特徵的空間中,不同域提取出來的特徵應該盡可能的靠近。 這樣就可以減少兩個域特徵空間之間的距離。 兩個域的圖片得分別得到字符的特徵序列。 這時,出現了一個問題:如果attention不准確,會導致context vector並不是對應字符的特徵。 因此作者設立了一個判斷條件,如果網絡能夠通過這個context vector預測出正確的值,那麼就保留這個特徵,反之則除去。 然後對這兩個與的特徵計算距離。 有MMD(norm of difference between two domain),CORAL(covariance of two domain)和adversial(uexidao的特徵不能夠分辨到底是source還是target) 的loss