统计方法与应用

null 统计方法 与应用 统计方法 与应用 主要主要内容一、统计的理解 二、统计方法的理解 三、向量自回归模型 四、结构方程模型 五、 Panel Data模型 六、应用的思考 一、统计的理解一、统计的理解 数据采集 整理 科学 艺术 数据—— 规律 —— 有用的信息 目标 对象 数据的类型 定性 定量 数据的分布 已知 未知 正态 非正态 数据不同，方法（模型）不同 数据的预处理数据的预处理 1. 异常（缺失）值处理 数据现 异常值的判断 观察数据的变化 是否有异常数据出现 原因分析 规律分析 是否有冲击或干扰 瞬间 持续null6000080000100000120000140000989900010203Ynull5.0E+081.0E+091.5E+092.0E+092.5E+093.0E+093.5E+0999:0199:0700:0100:0701:0101:0702:0102:07Ynullnull 2. 数据的转换 原因 现象的量变与质变 数据转换后将更有意义 更便于解释 方法 重新分类编码 虚拟变量（哑变量）引入 连续变量离散化 如年龄 收入 多项选择的转化二、统计方法的理解 二、统计方法的理解 1. 数据的基本描述 —— 特点 基本规律 表 图 特征值(示例) 分组(类) 检验 2. 变量之间关系 截面 线性回归模型 被解释变量: 连续 离散 解释变量: 连续 离散nullnullnull              虚拟变量 当解释变量不是定量测量数据，或在不同的情况下，所产生的结果不同，就需要将解释变量区分开，可以采用设虚拟变量的方法。 虚拟变量是取值仅取1或0的变量。一般，基础类型、肯定类型取值“1”，比较类型、否定类型取值“0”。 nullnull 工具变量法 引入工具变量的目的是改善由解释变量与误差项相关导致OLS估计的不一致性． 工具变量Z是与解释变量X高度相关，但与误差项不相关的一组变量，且这些变量间是线性独立的． nullnull 线性回归模型 广义线性模型 因子分析——潜变量 结构方程模型 3. 变量随时间变化规律 时序模型 纵向数据模型 null 4. 模型的应用 分析实际现象之间变化关系 现象之间关系有一定理论做依据,大体关系已知 回归模型 模型应用的条件 多水平 结构方程 联立方程 现象之间关系没有一定理论做依据,但有相互关系 单变量时间序列模型 AR MA ARMA ARIMA 多变量时间序列模型 VAR SVAR VEC Panel Data 模型作用 定量的角度 分析探讨现象或之间的数量关系 三、向量自回归模型 VAR 、 SVAR与VEC模型 多变量序列之间动态变化关系 VAR(p) 多平稳序列之间动态变化规律描述 没有变量序列之间同期的相互关系 SVAR (p) 多平稳序列之间动态变化规律描述 存在变量序列之间同期的相互关系 VEC 具有协整关系的多变量序列之间动态 变化规律描述 三、向量自回归模型null(一) 向量平稳性检验 我国出口额（ ）、进口额（ ）和外汇储备（ ） 示例、进出口与外汇储备nullnull一阶差分后序列图nullnull （二） 模型识别 对模型阶数p作出选择 1. 阶数的初选 阶数p的初选，通常可以借助序列间的互相关函数进行。 阶数p要足够大，以完整反映变量之间的动态特征； p不宜过大，模型待估计参数增多，自由度减少，没有足够的样本数目时，可能导致参数不能得到正确有效的估计。 和普通线性回归一样，一个待估计参数，一般来说，至少需要10个观测期的数据。 null2. 利用评价指标确认 利用初选的阶数p可以构建VAR模型，参数估计后，可以利用几个评价指标帮助判断合适的阶数 （1） LR检验（似然比检验） ：附加约束是正确的 服从自由度为M的分布 （2）最终预测误差FPE（Final prediction error ） 其中， 是滞后p期时模型残差的方差估计， n是样本量，k是待估计参数的个数 。 FPE（p）= null（3）AIC（Akaike inof criterion） 准则 其中：∣∣指VAR(p) 模型残差的协方差阵的行列式；n是有效的观测数目；m是变量序列的数目；p是阶数 （4）SC（Schwarz criterion）准则 （5）HQ（Hannan-Quinn criterion）准则 其中：L是似然函数，k是待估计参数的个数，其它符号意义同上 AIC=log∣∣+2m2p/n，p=1, …, k SC=log∣∣+（logn），p=1, …, k ∣+（logn） HQ = null差分后序列滞后4阶检验结果 nullVAR（3）AR特征多项式系数 nullAR特征多项式根的倒数分布图 null原序列VAR（3） AR特征多项式系数 null原序列VAR（3）AR特征多项式根的倒数分布图 null迹检验结果 (三) 变量间协整关系检验 选择序列有线性趋势， 协整方程有截距的情况，并选p=3 null最大特征值检验结果 null (四) 向量误差修正模型 协整方程为 VEC模型为 null 四、结构方程模型 （Structural Equation Modeling，SEM ）四、结构方程模型 （Structural Equation Modeling，SEM ） （一） 问题的提出 研究学生学习成绩与什么因素有关 学习成绩 学习能力 教师要求 自信 同学关系 null回归分析 假设 自变量非随机（不存在测量误差） 自变量之间不存在相关关系学习成绩学习能力教师要求自 信同学关系因变量自变量null因果关系分析 直接因果效应 间接因果效应观测变量的变异：随机误差的变异、系统误差的变异、潜变量的变异——因子分析学习成绩教师要求自 信同学关系学习能力null因子分析 探索性因子分析 已有数据 探索其规律关系 验证性因子分析 已知可能有 某种关系 利用数据验证null 结构方程模型（Structural Equation Modeling，简称SEM ），亦称协方差结构模型（Conariance Structure Models，简称CSM），也称线性结构模型（Linear Structural Relations Models），或称LISREL模型。 SEM是一般线性模型的扩展，主要用于研究不可直接观测变量（潜变量）与可测变量之间关系和潜变量之间的关系。 （二） 模型形式 协方差结构模型由两部分组成： 测量模型 结构模型 潜变量（Latent Variable） 无法直接测量的变量,亦称隐变量； 可测变量（Manifest Variable） 可以直接测量的变量,亦称显变量。 外生、内生变量 测量模型 （Measurement Model） 测量模型 （Measurement Model） 亦称为验证性因素分析模型，主要表示观测变量和潜变量之间的关系。模型形式 null其中， 为q×1阶外生观测变量向量， 为p×1 阶内生观测变量 向量； 为n×1阶外生潜变量向量， 为m×1阶内生潜 变量向量； 为q×n矩阵，是外生观测变量 在外生 潜变量 上的因子载荷矩阵； 为p×m 阶矩阵，是内 生观测变量 在内生潜变量 上的因子载荷矩阵； 为q×1阶测量误差向量， 为p×1 阶测量误差向量， 它们表示不能由潜变量解释的部分。 （1）（2） 结构模型（Structural Model） 又称为潜变量因果关系模型，主要表示 潜变量之间的关系。模型形式为 结构模型（Structural Model） 又称为潜变量因果关系模型，主要表示 潜变量之间的关系。模型形式为 (3)其中，和 分别是内生潜变量和外生潜变量向量； 是内生潜变量 的系数矩阵，亦是内生潜变量间的通径系数矩阵； 是外生潜变量 的系数矩阵，也是外生潜变量对相应内生潜变量的通径系数矩阵；为残差向量。 模型的假设模型的假设 假定： 与 相互独立， 与 相互独立， 与 相互独立， 、 及 为相互独立； 在对角线上为0，且 为非奇异阵。 （三）模型的设定（三）模型的设定初始理论模型的设定 根据理论或以往研究的成果，构建潜变量和观测变量以及潜变量和潜变量之间的关系，即设定初始模型。通常采用路径图的形式表示。一个潜变量通常会对应几个可测变量，至于究竟对应多少，根据研究的具体问题而定，但一般不宜少于两个。潜变量可以可以根据理论确定，也可以利用因子分析提取。 注意因子分析的运用：因子之间关系 nullnullnull作业量学习状态玩耍状态朋友数目言语推理数学英语统计提问次数例1 学生成绩的影响因素nullnull测量模型=+null=+结构模型=++null（四）模型参数的估计参数估计的思路和方法 估计方法 最小二乘 偏最小二乘 最大似然 途径 如何实现目标 算法 样本量：不同估计方法所需样本量不同 为什么？ null参数估计的思路 当初始模型确定，模型（1）、（2）中变量的数目随之确定。模型中，变量 和 是不可观测的，因而无法直接估计。但是，如果模型定义正确，总体协方差矩阵与模型拟合协方差矩阵应该相等。 其中， 是总体协方差矩阵， 是含有待估计参数的模型拟合协方差矩阵。 待估计的参数： =null总体协方差矩阵 未知，需要用样本协方差矩阵估计. 若S为样本观测变量之间方差和协方差的矩阵，即要有 =S。于是，对协方差结构模型的参数估计就转化为求解一组参数，使得 与S的差距达到最小。 求解模型参数的过程，是不断的将一些参数代入模型，计算出方差和协方差，使得模型拟合协方差矩阵 中的每一个元素都尽可能的接近S中相应元素的过程。 与S的接近程度可以通过定义的拟合函数得到测定。 null不同的估计方法定义的拟合函数不完全相同 极大似然估计法对应的拟合函数 其中， 是模型拟合协方差矩阵，p是外生变量的数目，q是内生变量的数目，tr是求矩阵的迹 （4）若 与S越接近，则S 越接近一个(p+q)×(p+q)阶的单位阵，也就是越趋近于(p+q)，此时，第一项与第二项也越接近。因此，当 等于S时，极大似然估计的拟合函数为零。 null（四）模型的评价模型与数据间的拟合程度评价 残差矩阵 -S的各个元素越接近于0，表明模型越能很好地拟合数据，所建模型越有效 两类指标：绝对拟合指数（Absolute Index） 相对拟合指数（Relative Index） null（五）模型的修正模型拟合效果 变量的选择 变量之间关系的确定 模型的调整null公司形象工作期望工作感受满意度忠诚抱怨0.553210.66772- 0.030610.6592260.155660.183390.154840.553760.6578775.0071.2177.7480.6365.3580.00全国的客户满意度情况（03年）全国的客户满意度情况（05年）全国的客户满意度情况（05年）人文奥运工程实施效果 人文奥运工程实施效果 人文奥运，是一个非常抽象的概念. 初始模型设定 六个潜变量 对人文奥运氛围产生直接影响， 每个潜变量都有若干个可测指标测度。 数据采集 电话调查共得到有效样本336份 参数估计 模型修正 nullnullnull 模型能够同时反映研究对象在时间和截面单元两个方向上的变化规律及不同时间、不同单元的特性。 模型形式 根据模型截距和斜率参数的不同可以有几种形式： 斜率相同且截距相同 五、Panel Data模型null斜率相同但截距不同 斜率和截距都不同null 模型类型 固定效应 随机效应 参数估计 模型检验 回归系数显著 拟合优度检验 D.W.检验nullnull 统计模型 – 应用为目的 模型用以解决实际问题 宏观 微观 模型改善以应用为前提 依据 为什么要用 如何用 结果解释 解决什么问题 如何解决的 效果如何 上市公司财务与业绩 不同收入居民的消费行为 六、应用的思考研究内容示例研究内容示例影响心理的因素证券投资者心理证券投资者行为心理学范畴行为金融学范畴参考文献参考文献侯杰泰、温忠麟、成子娟： 结构方程模型及其应用，教育科学出版社，2004年7月 黄芳铭：结构方程模式—理论与应用，中国税务出版社，2005年4月 3. 张雷、雷雳、郭伯良：多层线性模型应用，教育科学出版社，2005年6月第2版 4. 刘红云、张雷：追踪数据分析方法及其应用，教育科学出版社，2005年5月 5. Kenneth A. Bollen: Structural Equations with Latent Variables, John Wiley & Sons,1989 6. 易丹辉:数据分析与EViews应用,中国人民大学出社,2008年10月 7. 易丹辉：结构方程模型：方法与应用，中国人民大学出版社，2008年4月 报告结束，谢谢！ 报告结束，谢谢！