Please enable JavaScript.
Coggle requires JavaScript to display documents.
人工智慧, 對 話 機 器 人 歷 史, 學習(數據較少), AutoModel, 將最大機率作為結果, 開放類, 人臉識別,…
人工智慧
對
話
機
器
人
歷
史
GOOGLE開源語言模型BERT
ELIZA已知最早聊天機器人程式
1966
羅傑斯心理治療BASIC腳本程式
PARRY
1972
美國精神病學家在史丹佛大學
LISP模擬篇執型精神分裂症
Jabberwacky
1988
英國程式設計師創造有趣娛樂幽默
UC UNIX Consultant
1988
加州柏克萊分校
協助使用者學習UNIX
美國科學家設立人工智慧年度比賽
分為金銀銅獎
1990
ALICE 2
1995
人工智慧博士
IBM Watson
2001
Siri
2010
APPLE
源自美國防部高級研究規劃局的CALO計畫
學習(數據較少)
監督式學習
(分類、回歸)
半監督式學習
(分類、回歸)
無監督式學習
(聚類)
半監督聚類
(有標記資料是標記不確定的)
類似:肯定不是xxx,很可能是yyy
強化學習
AutoModel
bayesian
貝氏搜尋
根據貝氏定理來測試成功率最高的超參數組合
每個模型都會更改多個超參數
hyperband
對不同超參數模型各訓練兩次
再拿表顯最好者來進一步訓練
greedy
貪懶搜尋
每次調整一個超參數,測試所有可能性
也有可能重復測試同樣模型
以目前表現最好模型為出發點
randon
在每個模型隨機調整超參數
將最大機率作為結果
CRF
與LSTM結合
HMM
ICTCLAS
Stanford Word Segmenter
開放類
名詞
形容詞
動詞
副詞
人臉識別
雲從
曠視
商湯
Tensorflow
MAC
支援pytjon以pip為基礎安裝
virtualenv
安裝tensorflow
Linux
可照著Mac環境準備
安裝CPU版
$ pip install tensorflow==1.1.0
安裝GPU版
$ pip install tensorflow-gpu==1.1.0
windows
封閉類
冠詞
介係詞
連接詞
自然語言理解基本技術
2.句法分析
片語結構句法分析
主要基於上下文無關文法
為讓系統強健
須將邵下文無關文法
擴充為隨機上下文無關文法
PCFG
亦即每條文法規則指定出線機率
最後利用最大似然估計
MLE
計算每條規則機率
是取得上下文無關文法最簡單直觀的方法
規則
人工編寫
規則之間的衝突會隨規則數量增加而加劇
為繼續增加規則而困擾
資料驅動的自動學習規則
(主流方法)
因效能較低
一條文法規則與左側非終結符號有關
而與其他上下文資訊無關
弱化改進方法
於上下文無關規則中
導入辭彙資訊(辭彙化)
符號重標記
透過改寫(細化泛化)非終結符號方式
將上下文資訊導入句法分析器
深層文法句法分析
辭彙化樹臨接文法
LTAG
2-19頁
辭彙功能文法
LFG
組合範疇文法
CCG
依存句法分析
依存分析常用關係
https://blog.51cto.com/u_16213570/8783100
依存關係五條公理
https://blog.csdn.net/fgg1234567890/article/details/115388445
2.句子的其他成分都从属于某一成分;
3.任何一个成分都不能依存于两个或两个以上的成分;
4.如果成分 A 直接从属成分 B,而成分 C 在句子中位于 A 和 B 之间,那么,成分 C 或者从属于 A,或者从属于 B,或者从属于 A 和 B 之间的某一成分;
5.中心成分左右两边的其他成分相互不发生关系。
資料驅動的依存句法分析方法
基於圖
基於轉移
arg-eager
arc-standard
easy-first
1.一个句子中只有一个成分是独立的;
1.詞法分析
3.語意分析
代價函數(損失函數)
Cost Function
相關係數/決定係數
凸函數
convex
沒有局部極小值,只有全局最小值
非凸函數
non-convex
有一或多及佈局小值
閒聊系統
對話庫
生成模型
中文分詞工具
Paoding Analysis
庖丁解牛分词器
IKAnalyzer
詞性標註工具
Stanford Log-linear Part-Of-Speech Tagger
哈爾濱工業大學LSP工具
AlphaGO
微軟深藍
微軟小冰
ChatGPT
學習(數據較多)
深度學習
(類神經網路)
1數學知識
機率論及數學統計
工程數學
線性代數
2機器學習理論及算法
LR、SVM、決策樹、RF.......
3程式開發工具
python、C++、Go、Java....
4研究論文、公眾號、網誌
LeNet、GoogleNet、AlexNet、LSTM、GAN
5動手做訓練
進行範例訓練,自己實現演示範例
6深入工作相關領域
計算機視覺、自然語言處理
7遇到問題
ImageNet
影像識別資料庫
企業
ILSVRC
Kaggle
個人
眾包平台
問題定義
資料蒐集
資料準備
資料分析
特徵工程
模型構建
改善結果
回歸
預測數據為連續型數據
分類
預測數據為類別型數據,並且類別已知
聚類
預測數據為類別型數據,並且類別未知
一元線性回歸
圖表中將已知數據點分布在一條直線上,可以預測未有資料的數據
特徵值feature
(元數量)
標籤/結果target
Training Set
Learning Algorithm
h
Estimated price
回歸分析
regression analysis
用來建立方程模擬兩個或多個因變量之間如何關聯
因變量
dependent variable
被預測的變量也是被輸出值(output)
自變量
independent variable
被用來進行預測的變量也是被輸入值(input)
包含兩個以上自變量稱為多元線性回歸(multiple regression)
Size of house
AutoML自動化機器學習(筆記)
01-AutoML入門
1-1標準ML工作流程剖析
1.資料擷取(data ingestion)
2.資料預處理(data preprocessing)
3.建模(modeling)
4.模型佈署(model depolyment)
5.模型監控(model monitoring)
1-2什麼是ML?
1-3AutoML種類
1.自動化特徵工程
2.自動化模型種類選擇與超參數最佳化
3.自動化神經網路架構選擇
1-4AutoML工具
資料擴增
透過正規化、隨機轉化、隨機翻轉、調整大小,這種透過隨機處理來產生額為圖像的過程
使用AutoModel自訂圖像模型的搜尋空間
如果已經有DL相關知識,對網路架構已經有個底,可以進一步限縮AutoKeras要搜尋的超參數範圍,甚至指定網路組成方式
遷移學習
pretrained參數設定true
如此AutoKeras會沿用事先訓練好的權重
以減少從頭自行訓練的時間
Dropout
Dropout 是一個有效降低過擬合的方法
seq2seq
Seq2Seq 是由 Encoder 與 Decoder 兩個 RNN 構成,Encoder 就是負責將輸入序列消化、吸收成一個向量,我們通常把這個向量稱為 context vector
問答系統
四種主流問答方法
語意解析
圖尋訪
深度學習
範本比對
對話系統
任務導向
旨在完成使用者指定任務
自然語言理解
對話狀態追蹤
對話策略學習
自然語言生成
NLU
DST
DPL
NLG
事實問答
What
Who
Which
Where
When
非事實問答
How
Why
聊天機器人系統框架
自動語音辨識
自然語言理解
對話管理
自然語言生成
語音合成
自然語言表示和基於深度學習的自然語言理解
1.詞袋模型
Bag of Words
2.TF-IDF
3.詞嵌入
圖靈測試
CNN
旋積神經網路
RNN
循環神經網路
LSTM
長短期記憶網路
梯度下降法
sklearn
AutoML(自動化機器學習)
normalize
正規化
epoch
週期
patience
表示幾個週期的val_loss指標未能降低
則跳過模型
augment
圖像擴增
flatten
壓池化(池化區)
RegressionHead
回歸
最佳模型路徑
auto_model/best_medel/
斷詞(tokenization)
中文自然語言處理
聊天機器人系統評測
問答系統KBQA
Amazon Lex
Facebook Wit.ai
SVM
AdaBoost
結構感知器模型
條件隨機域模型