留学美国教奥巴马女儿学中文

线性回归建模–变量选择和正则化（1）：R包glmnet 2013-07-15 21:41:04 #本文的目的在于介绍回归建模时变量选择和正则化所用的R包，如glmnet,ridge,lars等。算法的细节尽量给文献，这个坑太大，hold不住啊。 1.变量选择问题：从普通线性回归到lasso 使用最小二乘法拟合的普通线性回归是数据建模的基本方法。其建模要点在于误差项一般要求独立同分布（常假定为正态）零均值。t检验用来检验拟合的模型系数的显著性，F检验用来检验模型的显著性（方差）。如果正态性不成立，t检验和F检验就没有意义。 对较复杂的数据建模（比如文本分类，图像去噪或者基因组研究）的时候，普通线性回归会有一些问题： （1）预测精度的问题 如果响应变量和预测变量之间有比较明显的线性关系，最小二乘回归会有很小的偏倚，特别是如果观测数量n远大于预测变量p时，最小二乘回归也会有较小的方差。但是如果n和p比较接近，则容易产生过拟合；如果n