山东大学2024深度学习期末考试回忆

2024.6.17考
整体来说比往年难了些，没有考计算图。LSTM看上去必考了，LSTM的图一定要会画。

名词解释（24分，一个3分）

分布式表示

超参数

共现矩阵

截断BPTT

attention机制

梯度确认

语言模型

困惑度

简答题（48分，一个8分）

1.简述训练数据、测试数据、验证数据的作用，为什么要划分训练数据测试数据

2.为什么激活函数不能使用非线性激活函数

3.为什么dropout能抑制过拟合

4.简述神经网络的学习过程

5.简述batch normalization的三个优点

6.word2vec计算哪里有瓶颈，给出方法减小计算量

综合分析（28）

一、

1.计算全连接层，给一张256*256的输入图像，只有一个隐藏层，隐藏层有10个神经元，输出层有1000个神经元，在不考虑偏置的情况下，参数数量是多少，给出计算过程（6分）

2.卷积神经网络的特点（3分）

3.随机梯度下降低效的根本原因，给出除随机梯度下降以外的3种参数更新方法（4）

二、

1.画出LSTM的内部图（5）

2.LSTM三个门的作用（5）

3.改进RNNLM的三个措施（5）