神经网络（容易被忽视的基础知识） Evan 180 人赞了该文章 以下大多笔记主要来自cs231n和其他深度学习资料和一些我自己的补充，首先CS231n一个非常不错的deep learning课，值得一看，奉上 链接 ，然后，cs231n本身是有笔记的- 链接 ，最后，知乎上的一些大神对这个笔记进行了翻译--- 链接 。在这里，我主要是将一些重要的笔记，我认为是比较容易被我们忽视的，加上查阅其他博文，做一个笔记和心得总结！ 这次主要讲解的内容有： 基本神经元 作为线性分类器的单个神经元 为什么要是深度神经网而不是”肥胖“神经网络？ 为什么在人工神经网络中的神经元需要激活函数？ 一些主要的激活函数 神经网络中的偏置有什么意义？ 初始化神经网络的参数可以全为0吗，其他普通线性分类器呢？ 交叉熵损失存在的意义和与平方差损失相比有什么好处？ 神经元 下面图表的左边展示了一个生物学的神经元，右边展示了一个常用的数学模型。乍一看还是有点相似的，事实上也是，人工神经网络中的神经元也有受到生物神经元的启发。总结要点： 在生物的神经元（也就是左图）中，树突将信号传递到细胞体，信号在细胞体中相加。如果最终之和高于某个阈值，那么神经元将会 激活 ，向其轴突输出一个峰值信号， 注意这里输出是一个脉冲信号！ 在数学计算模型（也就是右图）中，首先将输入 进行加权求和加上偏执 ，得到待激励值，然后将该值作为输入，输入到 激活函数 中，最后输出的是一个 激励后的值 ，这里的激活函数可以看成对生物中神经元的激活率建模。由于历史原因，激活函数常常选择使用 sigmoid函数 ， 当然还有很多其他激活函数，下面再仔细聊！ 需要注意： 1.一个神经元可以看成 包含两个部分 ，一个是对输入的加权求和加上偏置，一个是激活函数对求和后的激活或者抑制。2.注意生物中的神经元要复杂的多，其中一个是生物中的输出是一个脉冲，而现在大多数的数学模型神经输出的就是一个值，当然现在也有一些脉冲人工神经网络，可以自行了解！ 作为线性分类器的单个神经元 比如基础的逻辑回归，结合上面的神经元知识，可以发现，逻辑回归就是激活函数是 sigmoid 的单层简单神经网络。也就是说，只要在神经元...
Comments
Post a Comment