Please enable JavaScript.

Coggle requires JavaScript to display documents.

深度学习 (模型分类 (深度神经网络, 卷积神经网络(CNN), 递归神经网络(RNN), 注意力模型), 神经元 (分类…

- - - - 公式
        
        $$g(z)=max\lbrace 0,W^\top x+b\rbrace$$
      - 特征
        
        与线性单元非常类似，易于优化
        
        不能通过基于梯度的方法学习那些使它们激活为0的样本
        
        通过给公式中的b设置一个小的正值，使神经元很可能初始时就对训练集中大多数输入呈激活状态
      - 扩充
        
        类似扩充
        
        概述
        
        基于当z<0时使用一个非0的斜率
        
        绝对值整流
        
        渗透整流线性单元(Leaky ReLU)
        
        参数化整流线性单元(PReLU)
        
        maxout单元
        
        特征
        
        使用足够大的k，maxout单元可以以任意的精确度来近似任何凸函数
        
        具有一些冗余来帮助它们抵抗一种被称为灾难遗忘的现象
    - - 双曲正切
        
        公式
        
        $$g(z)=tanh(z)$$
        
        特征
        
        当必须使用sigmod是，双曲正切通常比sigmoid变现更好
        
        tanh在0是，更像单位函数，更容易训练
      - logistic sigmod
        
        特征
        
        大部分定义域内都是饱和的，仅仅当z接近0时它们才对输入强烈敏感，因此不鼓励用作前馈网络中的隐藏单元
        
        在循环网络、许多概率模型以及一些自编码器有一些额外需求才会用
        
        公式
        
        $$g(z)=\sigma(z)$$
    - - 概述
        
        许多未发布的激活函数与流行的激活函数表现一样好
        
        糖厂新的隐藏单元只有在被明确证明能够提供显著改进时才会被发布
      - 分类
        
        没有激活函数
        
        原因
        
        神经网络的一些层时纯线性也是可以接受的
        
        softmax
        
        原因
        
        具有k个可能性的离散型随机变量的概率分布，可以用作一种开关
        
        径向基函数
        
        softplus函数
        
        概述
        
        ReLU的平缓版本
        
        虽然比ReLU可导，但从经验来看，并没有比ReLU更好
        
        硬双曲正切函数(hard tanh)
- - - - 理解
        
        因为神经网络是人工仿生网络，类似图像识别和自然语言处理灵感就是来自神经科学，因为底层的人工神经网络类似于底层的生物神经网络，意味着我们识别东西的最初部分都是相似的（详情参考感觉心理学），所以训练好的神经网络底层可在类似的问题上重用，高层的神经网络可以视数据量重新训练
      - 分类
        
        Transfer Learning
        
        任务A和任务B有相同的输入X
        
        任务A的数据要被任务B的数据多得多
        
        任务A和任务B底层特征相似
        
        Multi-task learning
        
        训练一些底层特征相同的任务
        
        每个任务的数据很相似
        
        有训练这个大网络模型的运算量
  - - - End-to-end deep learning
        
        定义
        不同阶段的数据处理系统或学习系统模块组合在一起
        
        例子
        语音识别