This commit is contained in:
by931
2022-09-06 22:30:37 +08:00
parent 66970f3e38
commit 3d6528675a
796 changed files with 3382 additions and 3382 deletions

View File

@@ -217,12 +217,12 @@ function hide_canvas() {
<h3>随机梯度下降法求解神经网络参数</h3>
<p>最后,我们利用 AI 框架的第三个公式<em><strong>w</strong></em>*= argmin L(<em><strong>w</strong></em>),来求解神经网络。在神经网络中,<em><strong>w</strong></em>系数就是所有的 wijk。</p>
<p>我们把到现在为止的所有已知条件进行整理</p>
<p><img src="assets/Cip5yF_wgq2AKSy7AABA7VeZyF8001.png" alt="71.png" /></p>
<p><img src="assets/Cip5yF_wgq2AKSy7AABA7VeZyF8001.png" alt="png" /></p>
<p>y = sigmoid[sigmoid(x1w111+x2w121+x3w131)·w211+sigmoid(x1w112+x2w122+x3w132)·</p>
<p>w221]</p>
<p>其中对于某个给定的数据集而言xi 和 ŷi 都是已知的。也就是说,我们要求解出让上面损失函数 L(<em><strong>w</strong></em>) 取得极小值的 wijk 的值,我们可以考虑用先前学的随机梯度下降法来进行求解。</p>
<p>在使用随机梯度下降法的时候,只会随机选择一个样本(假设标记为 m进行梯度下降的优化。因此损失函数的大型求和符号就可以消灭掉了</p>
<p><img src="assets/Cip5yF_wgreAHb13AAAotbO_Dwc622.png" alt="81.png" /></p>
<p><img src="assets/Cip5yF_wgreAHb13AAAotbO_Dwc622.png" alt="png" /></p>
<p>ym=sigmoid[sigmoid(xm1w111+xm2w121+xm3w131)·w211+sigmoid(xm1w112+xm2w122+xm3w132)·w221]</p>
<p>在这个例子中,我们有 8 个 wijk 变量,分别是 w111、w121、w131、w211、w112、w122、w132、w221因此需要求分别计算损失函数关于这 8 个变量的导数。</p>
<p>既然表达式都有了,我们就利用大学数学求导的<strong>链式法则</strong>,耐着性子来求解一下吧。</p>