Please enable JavaScript.
Coggle requires JavaScript to display documents.
三代神经网络 - Coggle Diagram
三代神经网络
第二代神经网络:解决了非线性的问题,包括添加了隐藏层,激活函数。典型代表:DNN。
第三代神经网络:脉冲神经网络(
SNN
)
区别:第二代和第三代神经网络之间最大的区别在于信息处理性质。第二代神经网络使用了实值计算(real-value)(例如,信号振幅),而SNN则使用信号的时间(脉冲)处理信息。
特点:SNNs中的神经元单元只有在接收或发出尖峰信号时才处于活跃状态,因此它是事件驱动型的,因此可以使其节省能耗。SNN脉冲神经网络增加了时间的维度,有利于持久学习不遗忘;SNN以脉冲的形式,可以以二进制进行学习,更节省能耗
定义:SNN是由海德堡大学和伯尔尼大学的研究人员首次提出[3],作为一种快速和节能的技术,使用尖峰神经形态基质进行计算。
脉冲神经网络编码
速率编码(Rate Coding)
二进制编码(Binary Coding)
完全时间性编码(Fully Temporal Coding)
延迟编码(Latency Coding)
优点:
SNN是一个动态系统。因此,它在动态过程中表现出色,如语音和动态图片识别
当一个SNN已经在工作时,它仍然可以继续进行学习
训练一个SNN时,你只需要训练输出神经元
然而,SNN通常相较ANN有更少的神经元
由于神经元发送脉冲而不是连续的值,利用了信息的时间呈现,SNNs提高了信息处理的效率和抗噪音能力,可以高效的运作,并相比于ANN,消耗更少的能量
缺点
SNNs训练过程比较困难
到目前为止,还没有专门为这项任务建立的学习算法
目前,建立一个小型的SNN并不实用
第一代神经网络:McCulloch–Pitt感知机