机器学习

凸优化与非凸优化-OpenSL

凸优化与非凸优化

admin阅读(20)评论(0)

数学中最优化问题的一般表述是求取,使,其中是n维向量, 是的可行域,是上的实值函数。 凸优化问题是指是闭合的凸集且是上的凸函数的最优化问题,这两个条件任一不满足则该问题即为非凸的最优化问题。 其中,是 凸集是指对集合中的任意两点,有,即任意...

进一步理解熵的概念

admin阅读(22)评论(0)

最开始阅读最大熵模型一篇时,遇到了熵这个概念。一开始,局限在了物化角度上的熵,实际上,这里有了新的意义-信息熵。不同于物化上的熵,信息熵有着新的理论以及计算方式。 自信息与熵 在信息论中,熵用来衡量一个随机事件的不确定性。假设对一个随机变量...

贝叶斯推断的进一步理解

admin阅读(21)评论(0)

近期,再次研读机器学习经典算法,在阅读到逻辑斯汀回归时,又一次的遇到了贝叶斯估计。逻辑斯汀回归用后验概率作为回归结果。 那么到底什么是先验概率,什么是后验概率呢? 在我看来,先验概率就是人们根据经验或者甚至随机的给定的一个概率值,可能不准。...

评价模型好坏的指标-OpenSL

评价模型好坏的指标

admin阅读(66)评论(0)

精确率、召回率、F1、AUC ROC曲线和混淆矩阵: 精确率就是预测为P的样例中实际为P的概率; 召回率就是为P的样例中预测为P的概率; ROC曲线是对不同的判断阈值(判定为P所需要的最小概率)(从0到1时)所得到的预测准确率曲线,显然理想...

confused matrix 混淆矩阵-OpenSL

confused matrix 混淆矩阵

admin阅读(47)评论(0)

混淆矩阵是除了ROC曲线和AUC之外的另一个判断分类好坏程度的方法。 以下有几个概念需要先说明: TP(True Positive): 真实为0,预测也为0 FN(False Negative): 真实为0,预测为1 FP(False Po...

岭回归与最小二乘法-OpenSL

岭回归与最小二乘法

admin阅读(36)评论(0)

当X不是列满秩,或者某些列之间的线性相关性比较大时,X’X的行列式接近于0,即X‘X接近于非奇异,计算(X‘X) ^-1 时误差会很大。此时传统的最小二乘法缺乏稳定性与可靠性。岭回归是对最小二乘回归的一种补充,它损失了无偏性,来换取高的数值...

神经网络语言模型(NNLM)-OpenSL

神经网络语言模型(NNLM)

admin阅读(18)评论(0)

1. 模型原理 用神经网络来训练语言模型的思想最早由百度 IDL (深度学习研究院)的徐伟提出[1],NNLM(Nerual Network Language Model)是这方面的一个经典模型,具体内容可参考 Bengio 2003年发表...

梯度下降算法和正规方程组-OpenSL

梯度下降算法和正规方程组

admin阅读(39)评论(0)

为了修正权系数,最终实现正确的分类,我们可以使用梯度下降法和正规方程法。其中特征变量比较少(n没有上万)时,我们既可以用梯度下降法又可以用正规方程法,但当特征变量比较多时,我们最好用梯度下降法,因为当特征变量比较多是,用正规方程法计算会比较...

关联规则挖掘——Apriori算法的基本原理以及改进-OpenSL

关联规则挖掘——Apriori算法的基本原理以及改进

admin阅读(59)评论(0)

问题引入 关联规则挖掘发现大量数据中项集之间有趣的关联或者相互联系。关联规则挖掘的一个典型例子就是购物篮分析,该过程通过发现顾客放入其购物篮中不同商品之间的联系,分析出顾客的购买习惯,通过了解哪些商品频繁地被顾客同时买入,能够帮助零售商制定...

挖掘建模–分类与预测

admin阅读(37)评论(0)

前面我们已经谈了关于数据预处理:数据清洗、数据集成、数据变换和数据规约的问题。下面将描述关于数据挖掘与建模的问题: 1.分类与预测问题 分类和预测问题是预测问题的两种主要类型(在统计学习中称为生成和判别) 分类属有监督学习; 分类算法的两步...