人工智能

机器学习

工作方式

模型数据

验证模型

测试模型

使用模型

调优模型

选择数据

地位

实际应用

演化

五大流派

符号主义

贝叶斯派

联结主义

进化主义

Analogizer

演化阶段

1980 符号主义

1990-2000 贝叶斯

2010 联结主义

2010末联结+符号

2020+ 联结+符号+贝叶斯+...

2040 算法融合

算法

如何选择

种类以及优缺点

树形模型

线性模型

回归

隐性马尔可夫模型

朴素贝叶斯分类

随机森林

神经网络

种类

DNN

图灵测试

定义

测试设定

质疑

避而不答通过

改进版本或其他评价方法

或许通过图灵测试的软件

通过测试的欺骗性技巧

预测问题

回归问题

分类问题

支持向量机

决策树

梯度提升

实现权值共享的网络

线性回归

逻辑回归

知识图谱

目的

构成

知识获取

数据融合

处理非结构化数据

处理半结构化数据

知识计算及应用

提取正文

识别实体

实体链接

命名实体识别

包装器学习抽取规则

具有大量重复性结构

储存到数据库

本体

实体匹配

本体融合技术

数据储存

知识计算

本体/规则推理技术

链接预测

社会计算的不同算法

不一致检测技术

技术 (方法,例子,缺点）

实体关系识别技术

基于监督学习

半监督学习

无监督学习

知识融合技术

对比传统融合

改进

本体匹配

算法

模式匹配

实例匹配

技术层面分类

启发式方法

概率方法

基于图的方法

基于学习的方法

基于推理的方法

实体链接技术

根本难点

核心研究问题

方法

基于概率生成模型方法

基于主题模型方法

基于图的方法

基于深度神经网络的方法

知识推理技术

基于符号的推理

基于统计的推理

实体关系学习方法

潜在特征模型

图特征模型

类型推理方法

模式归纳方法

开放知识图谱介绍

研究十大主题排名

数学基础

线性代数

Moore-Penrose伪逆

性质

定义

奇异值分解

性质

利用SVD计算非奇异矩阵逆矩阵

稀疏SVD

表示

定义

诱导矩阵范数

性质

常用矩阵p-范数

2-范数

无穷范数

1-范数

定义

向量范数

常见p-范数

性质

无穷（最大）范数

欧几里得（2）范数

1-范数

定义

范数

性质

定义

基础表示

QR 分解

正交将矩阵

矩阵可逆性

逆矩阵

矩阵

0向量和1向量

n维向量

RandNLA

基本算法

跨学科领域

图论

概率图模型

种类

贝叶斯网络

马尔可夫网络

问题设置

条件独立

三门问题例子

参数估计

推理算法

对贝叶斯网络

对马尔可夫网络

边际推理

后验推理

最大后验推理

算法

变量消除

置信度传播

近似推理

应用：图像去噪

概率论

基本定义

概率

频率

条件概率

独立事件

贝叶斯概率论

抽样与统计

样本均值

样本方差

分布

随机变量

连续分布

离散分布

常见数据类型

离散

连续

伯努利分布

二项分布（多重伯努利分布）

泊松分布

均匀分布

指数分布

正态分布

定义

种类

树状图

有向图 vs 无向图

聚类算法

K-均值聚类

层级聚类

图团体检测

Fast-Greedy Modularity-Maximization

可替代 Modularity-Maximization的方法

分辨率极限

Edge-Betweenness

Clique Percolation

谱聚类算法

深度学习架构谱系

长短期记忆与门控制神经网络（LSTM)

基本

定义

输入 Xk

权重向量

函数

估计函数

激活函数

图片：3个RGB M x N 矩阵

分层

输入层

隐藏层

输出层

一般不用线性函数

损失函数

样本数量 m

训练

优化算法

调整权值改变函数

基于梯度

不基于梯度

随机梯度下降

小批量梯度下降

反向传播

计算梯度

动量随机梯度下降算法

数学表示

直观理解

为什么更好用

CNN

卷积

卷积核

方法演示

为什么图像卷积有用

滤波器

不同的核产生多种feature map

特征学习

同时学习多层级的多个核

卷积定理

快速傅里叶变换

频率过滤与卷积

理解传播子

架构

卷积层

激活函数

池化层

作用

池化方法

Sigmoid

tanh

ReLU

LeakyReLU

Softmax

维度计算

全连接层

输入数据

函数

损失函数

MSE

均方对数误差

L2损失函数

L1损失函数

平均绝对误差

平均绝对百分比误差

交叉熵

学习过程

前馈传播过程

卷积运算流程

输出： feature map

激活函数

处理输入的网络

前馈网络

循环网络

全连接

稀疏链接

限制对结果有影响的权重数量，可以实现更高效的计算

窗口式的权重共享网络

流行的模型

区别

不同的网络架构

不同层级数量

滤波器形状

层级类型

连接方式

开发资源

框架

分类数据集

硬件

评估和比较的基准指标

模型

硬件

error模型精准度

模型参数

权重量

运算量

能量效率

片外带宽

区域效率

吞吐量

前馈神经网络FNN

不考虑输入数据可能具备的结构

解决隐藏层难以训练的问题

架构

特征

加权平均值

激活函数

层级

输入层

全连接层

输出层

损失函数

梯度下降需要数据样本

正则化技术

反向传播

采样方法

Full-bath

随机梯度下降

小批量梯度下降

梯度优化技术

Chain Rule

如果用梯度更新权重

动量法

RMSprop

Adam

权重初始化

改进批归一化

实例

现实架构

LeNet

AlexNet

VGG

GoogleNet

ResNet

负面影响

inception层

残差模块

传播方式

全连接到池化

从输出到全连接层

从全连接到全连接

池化到卷积

卷积到卷积

卷积到池化

RNN

RNN-LSTM中的反向传递

特征

隐藏层详解

特征

数据也以新的时间依赖方向传递

强化学习

闭环系统

没有正确的输入输出对

尝试->奖励

尝试影响长期奖励

框架

状态

基本要素

图解

Agent 组成

策略

确定策略

随机策略

价值函数

Q价值函数

优化价值函数

模型

方法

基于价值的强化学习

基于策略的强化学习

基于模型的强化学习

结合深度学习

基于价值的深度强化学习

存在问题

解决方案

DQN深度强化网络

采样之间的相关性

不稳定的对象

改进

双深度Q网络

有优先级的经历回访

决斗网络

基于策略的深度强化学习

深度策略网络

策咯梯度

Actor-Critic 算法

异步优势Actor Critic 算法 (A3C)

Google Gorila

图解

没有Google的情况下，如何加速强化学习

异步强化学习

标准cpu多线程

并行执行一个agent的多个实例

线程共享Network 参数

并行消除数据相关性

方式

遗忘机制

保存机制

数学描述

变量标准名称

长期记忆 ltm(t)

工作记忆 wm(t)

记忆向量 remember(t)

保存向量 save(t)

注意向量 focus(t)

研究内部

计数

来自计数的计数

记忆状态

复制任务

拓展

门控循环神经网络

发现区分记忆门和保存门是多余的

迁移学习

定义

为什么需要

域

任务

目的

场景

跨语言适应（cross-lingual adaptation）

域适应（domain adaptation）

YS≠YT。两个任务的标签空间不同

P（Ys|Xs）≠P（Yt|Xt），源任务和目标任务的条件概率分布不同。

应用

从模拟中学习

适应到新的域

跨语言迁移知识

方法

使用预训练的 CNN 特征

学习域不变的表征

让表征更加相似

混淆域