题目改错
线性回归第三题:
QQ图片20200214140020.png
这个题目最开始差点写错了,差点忘记除以2了,这个因为是自己定义的和Pytorch的定义的计算公式不太相同。需要注意
多层感知机第二题:
QQ图片20200214140333.png
虽然这个题目只是忘记把计算器复制的答案中的逗号去掉,但是本题的知识点仍然比较重要。
首先MLP,相当于将上一层的输入矩阵乘以权重矩阵然后经过激活函数,再作为隐藏层的输入矩阵乘以权重矩阵然后得到输出矩阵。根此我们可以得到两个方程如下:将
将[256,256]的图像像素展平$256*256=65536$
设batch_size = n
那么第一个方程为:

\begin{equation*} \begin{aligned} x_0*w &= x_1\\ [n*65536]*[65546*1000]&=[n*1000]\\ \end{aligned} \end{equation*}那么第二个方程为: \begin{equation*} \begin{aligned} X_1*W &= Y\\ [n*1000]*[1000*10]&=[n*10]\\ \end{aligned} \end{equation*}

所以答案为:$65536*1000+1000*10=65546000$

然后在欠拟合、过拟合里面最开始我的概念理解有一定问题,现在记录如下
过拟合是指:训练误差达到一个较低的水平,而泛化误差依然较大。
欠拟合是指:训练误差和泛化误差都不能达到一个较低的水平。
发生欠拟合的时候在训练集上训练误差不能达到一个比较低的水平,所以过拟合和欠拟合不可能同时发生。

循环神经网络基础中关于困惑度的理解有问题,现在记录如下:
微信图片_20200214141948.png

Last modification:February 14th, 2020 at 02:24 pm
If you think my article is useful to you, please feel free to appreciate