刘老师讲的要会

10道题，每道10分

1、EM算法（计算题，会求参数的公式，没有证明，即给出很多数求参数值）

选初值，迭代直到收敛，
E步公式：
M步公式：

2、主题模型

LDA是什么？
LDA概率图怎么画？（P40页的图）
文档数量，主题数量，单词数量
如何训练？明确训练算法
后续就不用了

3、聚类算法

会有课上的原题（讲的每道题都该会，尤其是计算题）
层次聚类（计算题）
图聚类，度矩阵，邻接矩阵，拉普拉斯矩阵

4、SVM

给出数据点，求线性可分支持向量机，最后求出分类决策面的方程

  • P120 公式6.7

  • 超平面临界点的αi\alpha_i不等于0，其余点等于零

给出数据点，求非线性可分支持向量机，要核函数

  • 核函数定义K(xi,xj)=φ(xi)φ(xj)K(x_i,x_j)=\varphi(x_i)\varphi(x_j)

最基本的公式，求目标优化方程

5、概率无向图模型（计算题）

给定输入序列（观测序列）X，标注序列Y，算每一条路径的条件概率（用条件随机场求）
逻辑斯谛模型为什么是图，为什么是无向图模型（P145 HC定理，吉布斯分布）
无向图中的条件随机场 （P156 图7.5左图）
转移特征函数，状态特征函数，权重

6、概率有向图模型

给出贝叶斯概率有向图，写出联合概率分布
贝叶斯模型

  • 贝叶斯定理 P165 先验与后验转化

条件分离——谁与谁彼此独立?如何判定?（P168）（A⊥\perpB|C 给定C的条件下A与B独立）

隐马尔可夫模型HMM
估计问题，寻找状态序列，

  1. 估计问题：给定观测序列，状态序列，求给定状态序列下观测某个值的概率（会前向，后向算法）

  2. 寻找状态序列：会维特比算法

  3. 学习模型参数：应该不考？

思考：在哪些地方用过半正定矩阵？（支持向量机的拉普拉斯矩阵，谱聚类的拉普拉斯矩阵，图神经网络的拉普拉斯矩阵）（只要特征值大于等于零就是半正定矩阵）

7.神经网络

  1. 卷积神经网络：卷积层，池化层，激活层，全连接层
    会卷积的计算（P230，231，232

  2. 循环神经网络：输入层x，隐含层s，输出层h
    参数构成：RN有3部分
    （输入到隐含的权重U，数量为输入维度*隐含维度）
    （隐藏层到隐藏层，数量为隐藏层维度 *隐藏层维度）
    （隐藏层到输出层，数量为隐藏层维度 *输出层维度）

卷积神经网络防止过拟合的策略