Pengyu Chen

不只调用API:深度解析与手撸常见优化算法

在深度学习领域,优化器是必不可少的组件。深度学习将分类或回归问题建模成一个优化问题,而优化器负责调整模型的内部参数(如权重和偏置),以最小化损失函数。这个过程就像是登山者在迷雾中寻找山谷的最低点,而优化器就是为登山者提供方向和步幅的向导。一个好的优化器能够帮助模型更快、更稳定地收敛,找到一个更好的参数组合,从而提升模型的性能。从基础的梯度下降到更复杂的Adam和RMSProp,优化器是模型训...

PLSA理论与实践

PLSA理论与实践 PLSA又称为概率潜在语义分析,是一种利用概率生成模型对文本集合进行话题分析的无监督学习方法。该模型最大的特点是加入了主题这一隐变量,文本生成主题,主题生成单词,从而得到单词-文本共现矩阵。本文将对包含物理学、计算机科学、统计学、数学四个领域的15000条文献摘要的数据集(保存在Task-Corpus.csv中)使用PLSA算法进行处理。 一、算法推导 1.1 E-...