线性模型概述,一般线性模型

1.线性模型概述,线性模型是自然界中最普遍也最简单的模型,一般描述一个或多个自变量对另一个因变量的影响,成比例或线性关系,例如房子的面积与房子的价格,线性模型通常在二维空间内可以用一条直线来表示,在三维空间是一个平面,更高的维度下被称为超平面。

线性回归就是依据输入和输出值,找到一个线性模型,在最佳程度上拟合给定的数值,从而在给定新的输入时进行预测输出。

2.线性模型的训练,在二维平面中,给点的两点可以确定一条直线,但是在实际的预测中可能有多个样本点,无法找到一个可以贯穿所有样本点的直线,只能找到一条足够接近或者与各个点的距离足够小的直线,而寻找这条直线的过程就需要使用到损失函数。

2.1损失函数,损失函数是由样本中给出的度量真实值和预测值之间的差异,损失函数越小,表明模型的预测与真实值之间的差异越小,也就是模型性能越好,损失函数的值越大,模型预测值与真实值之间的差异就越大,模型性能越差,在回归问题中均方差是常用的损失函数。基于均方差最小化进行模型求解的方法称为最小二乘法,线性回归中,最小二乘法就是试图找到一条直线,是所有样本到直线欧式距离值和最小。

2.2梯度下降法,

为什么引入梯度下降法,在使用最小二乘法的时候会遇到一些问题,最小二乘法需要计算逆矩阵,有可能逆矩阵不存在,或者样本量过于巨大时,计算逆矩阵非常的耗时。所以实际的计算中更多地是使用梯度下降来求解损失函数,来找到模型的最优解。何为梯度下降,梯度就是一个向量,表示某一个函数在该点处的方向导函数沿着该方向取得最大值,即函数在该点处沿着该方向变化最快,变化率最最大,损失函数沿着梯度相反方向手链最快,也就是说可以最快的找到极值点,当梯度为零或者接近于零时,说明达到一个极值点,也就是梯度下降的终止条件。通过梯度下降可以将寻找最优参数问题转化为寻找损失函数最小值问题。梯度下降算法描述:损失函数是否足够小,如果不是计算损失函数梯度。按梯度方向反向走一小步,以缩小损失,循环,迭代直到逼近极小值所在点。

3.使用sklearn提供的API实现线性回归

4.模型评估

平均绝对误差,单个样本预测值与观测值的绝对值的平均值。均方误差,单个样本预测值与观测值的平方的平均值。中位数绝对偏差,与数据中值绝对偏差的中值。R2决定系数,取值在0到1之间,趋向于1,模型越好,趋向于0模型越差。

线性模型概述,一般线性模型

什么是一般线性模型

一般线性模型包含了许多不同的统计模型:ANOVA,ANCOVA,MANOVA,MANCOVA,普通线性回归,t检验和F检验。一般线性模型是多元线性回归模型对多个因变量情况的推广。如果Y,B和U是列向量,则上面的矩阵方程将表示多重线性回归。
用一般线性模型进行的假设检验可以用两种方法进行:多变量或多个独立的单变量检验。在多元测试中,Y的列被一起测试,而在单变量测试中,Y的列被独立地测试,即具有相同设计矩阵的多个单变量测试。

线性模型概述,一般线性模型

给出线性模型的定义及基本性质

线性统计模型(简称为线性模型)是数理统计中一类重要的模型,包括线性回归模型、方差分析模型、协方差分析模型、方差分量模型等.线性模型中的"线性"是指待估计参数与应答变量间的关系为线性的.

上一篇: 女销售原来靠这样卖房(楼盘置业顾问提成大概多少)
下一篇: 张大仙的王者荣耀昵称,孤影的外号是什么