Skip to main content

偏执值的意义

神经元的输出,在作用激励函数(也有称激活函数)之前,是权重和输出的点积,形如:
w·x+b的形式,wx可以理解,b代表什么意思?
最初的最简单神经网络,输入输出是线性变换,当权重和输出的点积大于某一个阈值的时候,输出1,否则输出2.如下
wx>t------输出1
wx<t------输出0
t衡量输出1的难易度。这个算式变换一下:
wx-t>0----输出1
wx-t<0----输出0
我们用b代替-t。这就是偏执值。所以b也是衡量激活难易的参数。这一方式貌似发展到有激活函数的神经网络后就用处不大,比如有的网络就取消了b参数简化运算。

Comments

Popular posts from this blog

Session Run的用法

feed_dict参数的作用是替换图中的某个tensor的值。例如: a = tf.add(2, 5)                        #a=7 b = tf.multiply(a, 3)                 #b=3*7=21 with tf.Session() as sess:     print(sess.run(b))     replace_dict = {a:15}           #用15代替b算式中的a     print(sess.run(b, feed_dict = replace_dict)) --------------------- 输出如下: 21 45

tf.split用法

按照行或者列分割一个矩阵 第一个参数是待切分的张量,第二个是切分的大小,共切分为三个,每一个分别为4列,15列,11列。第三个参数为1表示按照列切分,为0表示按照行切分。 切分的子块的大小加起来应该等于母块的大小。比如这个例子,4+15+11=30列 看下面的代码例子