第五章回归分析预测法
1. 一元线性回归分析预测法 1. 概念（思路） 根据预测变量（因变量）Y和影响因素（自变量）X的历史统计数据，建立一元线性回 归方程[pic]，然后代入X的预测值，求出Y的预测值的方法。 基本公式：y=a+bx 其中：a、b为回归系数，是未知参数。 基本思路： 1. 利用X，Y的历史统计数据，求出合理的回归系数：a、b，确定出回归方程 2. 根据预计的自变量x的取值，求出因变量y的预测值。 2. 一元线性回归方程的建立 1. 使用散点图定性判断变量间是否存在线性关系 例：某地区民航运输总周转量和该地区社会总产值由密切相关关系。 |年份 |总周转量（亿吨公里）Y |社会总产值(百亿元)X | |1 |12.5 |30 | |2 |14.5 |36 | |3 |14.7 |38 | |4 |15.1 |41 | |5 |15.5 |48 | |6 |16.8 |52 | |7 |17.5 |53 | |8 |18.2 |53.5 | |9 |18.8 |55 | 2. 使用最小二乘法确定回归系数 使实际值与理论值误差平方和最小的参数取值。 对应于自变量xi，预测值（理论值）为b+m*xi，实际值yi， min∑(yi-b-mxi)2，求a、b的值。 使用微积分中求极值的方法，得： 由下列方程代表的直线的最小二乘拟合直线的参数公式： 其中 m 代表斜率 ，b 代表截距。 一元线性回归.xls 3. 回归方程的显著性检验 判断X、Y之间是否确有线性关系，判定回归方程是否有意义。 有两类检验方法：相关系数检验法和方差分析法 1. 相关系数检验法 构造统计量r [pic] 相关系数的取值范围为：[- 1，1]，|r|的大小反映了两个变量间线性关系的密切程度，利用它可以判断两个变量 间的关系是否可以用直线方程表示。 |r值 |两变量之间的关系 | |r=1 |完全正相关 | |1>r>0 |正相关，越接近1，相关性越强。越接近0，相 | | |关性越弱 | |r=0 |不线性相关 | |0>r>-1|负相关，越接近-1，相关性越强；越接近0，相| | |关性越弱 | |r=-1 |完全负相关 | 两个变量是否存在线性相关关系的定量判断规则： 对于给定的置信水平α，从相关系数临界值表中查出r临（n- 2），把其与用样本计算出来的统计量r0比较： 若|r0|〉r临（n- 2）成立，则认为X、Y之间存在线性关系，回归方程在α水平上显著。差异越大，线性关 系越好。反之则认为不显著，回归方程无意义，变量间不存在线性关系。 其中：n为样本数。 2. 方差分析法： 方差分析的基本特点是把因变量的总变动平方和分为两部分，一部分反映因变量的 实际值与用回归方程计算出的理论值之差，一部分反映理论值与实际值的平均值之差 。 Y的总变差=Y的残余变差+Y的说明变差，SST=SSE+SSR 或：总离差平方和=剩余平方和+回归平方和 [pic] 回归平方和U与剩余平方和Q相比越大，说明回归效果越好。 注：在方差分析中，已被解释的和未被解释的变差除以相应的自由度的个数即变为方差 。Y的方差是Y的总偏差平方和除以n- 1，被解释的方差等于被解释的变差（因为回归只比估计Y的均值多用一个约束条件） ，残余方差等于残差偏差平方和除以n- 2，残差的方差S2是误差方差的无偏且一致的估计（S叫做回归标准差）S2=Q/(n-m) 定量判断回归有效性有两种方法： 1) 可决系数检验法 拟合优度统计量；判定系数 ：r2=SSR/SST=U/Syy 调整的r2 =1-[Q/(n-m)]/[Syy/(n-1)] 复相关系数检验法：构造统计量R=SQRT［1-Q/Syy］=SQRT（U/Syy） 判断规则： 对于给定的置信度α，从相关系数r分布表中查出r临（n- m），把其与用样本计算出来的统计量R0比较： 若R0〉r临（n- m）成立，则认为回归方程在α水平上显著。反之则认为不显著，回归方程无意义， 变量间不存在线性关系。 2) F检验法：构造统计量F=（U/m-1）/［Q/（n-m）］ 其中：m为变量个数（总数）；n为样本数。 统计量F服从第一自由度为m-1、第二自由度为n-m的 F（m-1，n-m）分布。 F=r2/(1-r2)*(n-m)/(m-1) 判断规则： 对于给定的置信度α，从F分布表中查出Fα（m-1，n- m），把其与用样本计算出来的统计量F0比较： 若F0〉Fα（m-1，n- m）成立，则认为回归方程在α水平上显著。反之则认为不显著，回归方程无意义， 变量间不存在线性关系。 4. 回归方程没有通过检验的原因 1. 定性分析选择的各变量间，本来不存在因果关系。定性分析设想不准确。 2. 选择的变量间存在因果关系，但还存在其它起着更重要作用的变量尚未列入模型之中 。 3. 选择变量之间的关系是非线性关系。 5. 利用检验通过的回归方程进行预测 y=6.34+0.213x 点估计值：若给定x值，则y的预测值为6.34+0.213*58=18.69 区间估计： 标准误差：S=sqrt((∑e^2)/(n-m)) 2. 一元非线性回归分析预测法 思路：与一元线性回归分析基本相同。即通过变量替换将非线性方程转化为线性方程； 使用最小二乘法建立线性回归方程；在通过逆变换将线性方程转化为非线性方程。 函数的线性变换及逆变换是个数学问题，不讲了。 例题，参见160页：航空货物周转量=a*（社会总产值）α 196页，SB机场空运需求预测 202页，利雅得国际机场业务量预测 3. 多元回归分析 1. 思路 多元非线性回归分析——转换为多元线性回归分析，多元线性回归分析，与一元线性回 归分析基本相同，只是在自变量的选定上、求解回归方程及统计检验等方面比一元回归 要复杂一些。 设多元线性回归模型为：y=b0+b1*x1+b2*x2+……+bm*xm 2. 参数求法为最小二乘法： min∑（yi-（b0+b1*x1i+b2*x2i+……+bm*xmi ））2 分别对bj求偏导数，偏导数等于0时，上式取得最小值。 可以得到m+1个关于bj的标准方程，使用线性代数中的行列式解法，可以求出回归系数b j。 以二元回归分析为例，说明多元回归方程的建立 1. 定性判断得知，因变量Y与自变量X1, X2存在线性相关关系。模型形式为：y=b0+b1*x1+b2*x2 2. 确定回归系数b0、b1、b2，最小二乘法。分别对b0、b1、b2求偏导，令偏导数=0，构成 如下方程组： 手工列表计算： 3. 回归方程的统计检验 1. 回归方程的显著性检验，检验回归方程的有效性 检验方法有：F检验法、复相关系数检验法 2. 回归系数的显著性检验，检验回归系数的有效性， 检验方法有：t检验法 构造统计量t 其中：m为变量个数；n为样本数。 统计量t服从自由度为n-m的t（n-m）分布。 判断规则： 对于给定的置信度α，从t分布表中查出tα/2（n- m），把其与用样本计算出来的统计量t0比较： 若t0〉tα（n- m）成立，则认为回归方程在α水平上显著。反之则认为不显著，回归系数无意义，变量 间不存在线性相关关系。 统计假设检验总结：对于一元回归，四种检验方法选一即可；对于多元回归必须进行t检 验和R、F间严重的一种。 |检验目的 |检验方法 |统计量 |判断规则 | | |相关系数检验法 |r | | |检验回归方程的有效| | | | |性 | | | | | |复相关系数检验法 |R | | | |F检验 |F | | |检验回归系数的有效|t检验 |t | | |性 | | | | 4. 例题： 国外预测模型简介 全行业运量预测 5. 几个基本问题及内在假设 1. 自变量的选择——（回归分析测法的程序） 1) 确定预测变量 2) 确定影响预测变量的因素——定性分析，具有经济上的意义和内在的因果关系。 3) 收集整理预测变量及其影响因素的历史统计资料 4) 分析因变量和自变量的关系，确定回归模型——定量分析，因变量与自变量、自变 量之间的相关系数，判别因变量和自变量是否显著相关，显著相关的影响因素 作为自变量；同时与因变量不相关或与某个自变量高度线性相关的自变量，应 予剔除。 实践经验确定 散点图分析确定 理论试算（计算拟和误差（预测误差）），选出拟和程度最好的模型 5) 求解模型参数，建立回归方程 6) 检验回归方程的有效性 7) 利用检验通过的回归方程进行预测，并确定预测值的置信区间 2. 多元共线性（多重共线性） 1. 概念：回归分析中，自变量之间存在着相关关系，称这种关系为多元共线性。 多元回归分析的假设是自变量之间是独立的。得出的参数估计值是不可靠的。 例如：某省宏观经济模型中， 建筑业产值=2.1684+0.1601*工业总产值- 0.0795*上年工业总产值+0.5651*上年建筑业产值 负号的出现很难解释，上年工业总产值和上年建筑业产值存在共线性。 2. 检验多元共线性的方法： U——χ2（m-1）分布 Q——χ2（n-m）分布 Syy——χ2（n-1）分布 拟和优度判定系数： 1. 判定系数法：把某自变量用其它自变量进行回归计算，计算相应的判定系数R2，若 R2较大，说明本自变量可以用其它自变量的线性组合替代，存在多重共线性。或 者用因变量分别与含有本自变量或不含有本自变量的自变量组合进行回归计算， 若两者计算的判定系数差不多，则说明本自变量与其它自变量间存在多元共线性 。 2. 逐步回归法：逐个引进自变量，根据R2的变化情况判断是否存在多重共线性。若R 2变化显著，则不存在多重共线性，应引入；若R2无显著变化，则无需引入。 3. 偏相关系数检验法，计算两两变量间的相关系数，进行分析检验。 3. 自相关（序列相关） 概念：若随机误差项在不同样本之间存在相关性，ei与ej相关，则称为序列相关；较 多的是ei与eI+1之间序列相关，称为自相关 自相关的检验： 1. 达宾—沃尔森检验 计算出D.W值后，查达宾—沃尔森检验表判定是否存在自相关。 2. 冯诺曼比检验 3. 回归检验 4. 线性假设 回归的另一假设是线性假设，因变量和自变量间的关系可以用线性表示出来。无法将 其转化为线性的回归方程，不能采用回归分析方法，而要采取别的方法，如仿真方法。 5. 样本数据 样本数据的多少，影响变量个数的选择。5个数据，一个自变量；三十个数据，最多只 能有5个自变量。 有20个到30个样本数据，预测精度较高。 4. 自回归分析——实质是时间序列分析法 利用预测变量本身的时间序列在不同时期取值之间存在的依存关系，即自身相关， 建立起回归方程进行预测的方法。 预测模型：yt=b0+b1yt-1+ b2yt-2+ ……+bnyt-n+e ——AR（n） n=1时，称为一阶自回归分析 例题见书上。 ----------------------- [pic] [pic] [pic] [pic] [pic] [pic] [pic] [pic] [pic]
第五章回归分析预测法