权重(weights)和偏置(biases)是神经网络中非常重要的两个概念。
权重代表神经元之间的连接强度。每个神经元与其他神经元的连接都有一个权重值,它决定连接的强弱及信息传递的效果。权重值越高,两个神经元之间的连接越强,传递的信息影响也越大。
偏置代表神经元自身的激活阈值。当神经元的总输入(所有输入连接的输入值之和)加上偏置大于某个值(通常为0)时,神经元就会被激活。偏置让神经元有机会在没有任何输入的情况下也被激活。
举个简单的例子:
假设有两个神经元,神经元A和神经元B。它们之间的连接权重为0.7,这表示它们之间的连接比较强。
神经元A的输入值为0.6,偏置为0.2;
神经元B的输入值为0.3,偏置为0.1。
那么:
神经元A的总输入为输入值0.6 + 与神经元B的连接权重0.7 * 神经元B的输入值0.3 = 0.6 + 0.21 = 0.81
由于0.81 + 偏置0.2 > 0,所以神经元A被激活。
神经元B的总输入为输入值0.3 + 与神经元A的连接权重0.7 * 神经元A的输入值0.6 = 0.3 + 0.42 = 0.72
由于0.72 + 偏置0.1 > 0,所以神经元B也被激活。
可以看出,神经元之间的连接权重和各自的偏置常常共同决定了神经元的激活与传递的信号。它们是构建神经网络的基础,通过训练可以获取到使神经网络产生理想输出的权重和偏置值。
所以简而言之:
权重决定神经元之间连接的强度,用以控制信息的流动。
偏置决定神经元自身的激活阈值,用以控制神经元的激活。
权重和偏置的使用让神经网络拥有强大的表达能力和学习能力。