一文讲清神经网络、BP神经网络、深度学习的关系

人工神经网络中的顶级代表。往往说《神经网络》就是指《BP神经网络》。

大家研究着各种神经网络，研究得不亦乐乎，

来了两个家伙Romelhart 和Mcclelland，

提出了一个特殊的结构，并命名：

BP神经网络提出后，瞬间崛起后当了主力军。

以致于几乎成为了《神经网络》的代名词，

为什么拎出来特别划为一类？

因为它实在太出名了，在不特指时，往往说神经网络都是指BP神经网络（这一种结构的神经网络）。

大家印象中的神经网络是不是都是这种结构？

但其实它只是BP神经网络的特有的结构，

神经网络有千万种结构，只是BP神经网络太普及了，现在大家几乎把BP神经网络结构=神经网络结构，

实际BP神经网络结构仅是神经网络结构的一种。

深度学习可以看作是BP神经网络的一种加强版。解决输入极极多的问题。

（1）BP在解决多输入时受挫

BP神经网络虽然很牛X，但当要处理图象，音频，文字等问题时，却SB了，

因为这类问题的输入极多（例如一个50*50像素的图象，就有2500个输入 ），

而BP神经网络的参数会随着输入个数指数增长（假设有100个隐节点，则2500个输入在第一层的权重参数就有2500*100个），

参数个数量级太爆炸，导致BP在求解时，很难找到优秀解，就挂B了。

（2）根据业务特性去冗解决问题

这本来是个没办法的事，但偏偏图象，音频这些问题，它的输入存在很严重的相关性（例如相邻像素的值总是相近的），

因此，可以根据这个业务特性，进行输入个数压缩，或者在求解时根据这个业务特性进行特殊讨巧（例如相邻输入对应的权重参数共享），

使BP神经网络又可以解决这类问题了。

问题解决了，BP还是BP，但毕竟，有少许变种了！

不管怎么样，解决了新问题了，得显示牛B，挂个名： 深度学习！

就这样，2006年，开启了全民深度学习年代！不懂点深度学习都不好意思说自己做人工智能。

2016年，alpha go的出现，深度学习秀足了风头，开启了全民超级深度学习模式~！

总的来说，深度学习底层还是BP，你可以把深度学习当成 《专用于解决输入极极多，且输入变量之间有极强相关性的问题》的BP神经网络。

凡是模仿人的神经网络构建出来的数学模型，都叫神经网络

（2）BP神经网络：

神经网络最经典的代表就是BP神经网络，能解决很多问题。

深度学习可以看作《加强版BP神经网络》，专用于解决输入极极多，且输入变量之间有极强相关性的问题。

（4）其它神经网络：

除了BP神经网络外，还有很多杂七杂八的神经网络，经典的有感知机、Hopfield神经网络、径向基神经网络等等。

​《BP神经网络梯度推导》

​​​​​​《BP神经网络提取的数学表达式》

《一个BP的完整建模流程》