神经元的输出,在作用激励函数(也有称激活函数)之前,是权重和输出的点积,形如:
w·x+b的形式,wx可以理解,b代表什么意思?
最初的最简单神经网络,输入输出是线性变换,当权重和输出的点积大于某一个阈值的时候,输出1,否则输出2.如下
wx>t------输出1
wx<t------输出0
t衡量输出1的难易度。这个算式变换一下:
wx-t>0----输出1
wx-t<0----输出0
我们用b代替-t。这就是偏执值。所以b也是衡量激活难易的参数。这一方式貌似发展到有激活函数的神经网络后就用处不大,比如有的网络就取消了b参数简化运算。
w·x+b的形式,wx可以理解,b代表什么意思?
最初的最简单神经网络,输入输出是线性变换,当权重和输出的点积大于某一个阈值的时候,输出1,否则输出2.如下
wx>t------输出1
wx<t------输出0
t衡量输出1的难易度。这个算式变换一下:
wx-t>0----输出1
wx-t<0----输出0
我们用b代替-t。这就是偏执值。所以b也是衡量激活难易的参数。这一方式貌似发展到有激活函数的神经网络后就用处不大,比如有的网络就取消了b参数简化运算。
Comments
Post a Comment