一元线性回归模型详细讲解

一元线性回归模型是一种用来描述一个因变量和一个自变量之间线性关系的统计模型。一元线性回归模型的一般形式为：

Y_i=\beta_0+\beta_1X_i+\epsilon_i \\

其中，Y_i 是第 i 个观测值的因变量，X_i 是第 i 个观测值的自变量，\beta_0 是截距，\beta_1 是斜率，\epsilon_i 是随机误差项。

一元线性回归模型的参数估计方法有最小二乘法、矩方法和极大似然法。最小二乘法是最常用的方法，它通过最小化误差的平方和来寻找数据的最佳函数匹配。最小二乘法的估计量为：

b_0=\hat\beta_0=\bar Y-b_1\bar X\\ b_1=\hat\beta_1=\frac {\sum (X_i-\bar X) (Y_i-\bar Y)} {\sum (X_i-\bar X)^2}\\

其中，\bar X 和 \bar Y 分别是自变量和因变量的样本均值。

一元线性回归模型的统计推断主要包括对参数进行假设检验和置信区间的构造。假设检验是用来判断参数是否显著不等于零或者某个特定值的方法。置信区间是用来给出参数的一个可能取值范围的方法。假设检验和置信区间都需要用到参数估计量的抽样分布。在误差项服从正态分布的假设下，可以证明：

b_0\sim\mathcal N (\beta_0,\sigma^2 (b_0)) \\

b_1\sim\mathcal N (\beta_1,\sigma^2 (b_1)) \\

其中，

\sigma^2 (b_0)=\sigma^2\left (\frac {1} {n}+\frac {\bar X^2} {\sum (X_i-\bar X)^2}\right) \\

\sigma^2 (b_1)=\frac {\sigma^2} {\sum (X_i-\bar X)^2} \\

由于 \sigma^2 是未知的，所以需要用残差平方和除以自由度得到的 s^2 来估计。于是，在做假设检验时，有统计量：

T=\frac {b_0-c} {s (b_0)} \sim t_{n-2}\mid H_0:\beta_0=c \\

T=\frac {b_1-c} {s (b_1)} \sim t_{n-2}\mid H_0:\beta_1=c \\

其中，

s (b_0)=s \sqrt{ \frac {1} {n}+ \frac { \bar X^2} { \sum (X_i- \bar X)^2}} \\

s (b_1)=s \frac {1} { \sqrt{ \sum (X_i- \bar X)^2}} \\

根据统计量和显著性水平，可以得到拒绝域和 p 值，进而判断是否拒绝原假设。置信区间则是根据统计量和置信水平，得到参数估计量周围的一个区间，使得该区间包含真实参数值的概率等于置信水平。

一元线性回归模型意思是指模型中只有一个自变量和一个因变量。用一个直线去最大程度的拟合样本特征和样本输出标记之间的关系。