给定xy的条件期望是x的线性函数.ppt

简单回归模型n简单回归模型的定义n普通最小二乘法的推导nOLS的操作技巧n度量单位和函数形式nOLS估计量的期望值和方差n过原点回归1-简单回归模型2-简单回归模型的定义n 在简单线性回归模型y=b b0+b b1x+u中,我们一般称y为：qDependent Variable（因变量）qLeft-Hand Side VariableqExplained Variable（被解释变量）qRegressand（回归子）3-n在简单线性回归模型y=b b0+b b1x+u中,我们一般称x为qIndependent Variable（自变量）qRight-Hand Side VariableqExplanatory Variable（解释变量）qRegressor（回归元）qCovariate（协变量）qControl Variables（控制变量）4-简单回归的术语 yx因变量自变量被解释变量解释变量响应变量控制变量被预测变量预测变量回归子回归元5-A Simple Assumption（一个简单假设）n变量u称为 error term（误差差项）或者 disturbance（扰动项）代表除了x之外影响y的其它因素。计量研究关注的是x而非u对y的影响，但u与x的关系至关重要。n如果u中的其他因素保持不变，则u的变动为零，x对y存在线性效应，可得2.2，其中b1为斜率参数。n总体中u的均值为零，意味着：E(u)=0n既然我们可以用b0 将E(u)标准化为零，E(u)=0 并非一个限制性条件。6-零条件均值假定nu和x的相关性假定至关重要。n 相关关系只度量了u和x之间的线性关系，u和x不相关，但却可能与x的函数比如x2相关。一种更好的方法是，对给定x时u的期望做出假定：u的平均值与x值无关，即 E(u|x)=E(u)=0nE(y|x)=b b0+b b1x population regression function（总体回归函数）7-E(y|x)是x的一个线性函数，对任何给定的x值，y的分布都以 E(y|x)为中心。8-2.2普通最小二乘法的推导n回归的基本思想是利用样本估计总体参数n令(xi,yi):i=1,n 表示从总体中抽取的一个容量为n的随机样本。n对于样本中的每一个观测，我们都可以写作 yi=b0+b1xi+ui9-.y4y1y2y3x1x2x3x4u1u2u3u4xy总体回归线、样本数据点集和相关的误差项E(y|x)=b0+b1x10-OLS估计值的推导nE(u|x)=E(u)=0 意味着x和u之间的协方差也为零，即 Cov(x,u)=E(xu)=0 n因为：Cov(X,Y)=E(XY)E(X)E(Y)11-OLS推导续n 既然u=y b0 b1x我们可以将上述两个限制条件改写为由 x,y,b0 and b1 表达的式子E(y b0 b1x)=0 Ex(y b0 b1x)=0n这被称为矩条件。12-运用矩法推导OLSn运用矩法进行估计意味着将总体的矩条件应用于样本矩条件.13-OLS推导续n给定样本均值的定义和求和的性质，条件一可改写为：14-15-16-OLS估计的斜率参数x 和 y之间的样本协方差x的样本方差17-OLS斜率估计值的相关总结n斜率估计值等于x和y之间的样本协方差除以x的样本方差。n 斜率估计值的符号取决于x和y的正负相关性：x和y正相关，斜率估计值为正；x和y负相关，斜率估计值为负。n得到斜率估计值的必要条件是，x在样本中是有变异的。18-19-nOLS通过样本点来拟合曲线，使得残差平方和尽可能小，故称为“最小二乘”法。n残差是误差项u的估计值,等于实际观察值与拟合值（样本回归函数）之差。20-拟合值和残差.y4y1y2y3x1x2x3x41234xy21-推导的另一思路n根据拟合曲线的直观思想，我们可以通过建立最小化问题，即我们选择可使残差平方和最小化的参数：22-推导的另一思路（续）n利用微积分优化，我们可得到OLS估计值的一阶条件：23-n例子 2.3 CEO 薪酬和股本回报率24-25-2.3 OLS的操作技巧n拟合值和残差26-27-OLS的代数性质 n OLS残差之和等于零。n OLS残差的样本均值为零。n x与 的样本协方差为零。nOLS回归线总是通过样本均值：点 总在OLS回归线上28-29-相关术语30-证明:SST=SSE+SSR31-拟合优度n计算总平方和被模型解释的比例，有助于了解样本回归线对样本数据的拟合是否良好?R2=SSE/SST=1 SSR/SST 32-33-Units of Measurement and Functional Form34-Units of Measurement and Functional Form(cont)The goodness-of-fit of the model should not depend on the units of measurement of our variables.35-Incorporating Nonlinearities in Sample Regression36-nExample 2.11 CEO Salary and Firm Sales37-38-Units of Measurement and Functional Form(cont)39-OLS估计的期望值和方差nOLS的无偏性nOLS估计的方差n估计误差项的方差40-Unbiasedness of OLS:four assumptionsn Assumption SLR.1:the population model is linear in parameters as y=b0+b1x+un Assumption SLR.2:we can use a random sample of size n,(xi,yi):i=1,2,n,from the population model.Thus we can write the sample model yi=b0+b1xi+uin Assumption SLR.3:E(u|x)=0nAssumption SLR.4:there is variation in the xi41-Unbiasedness of OLS:Four Assumptions42-43-44-45-OLS无偏性n考虑无偏性，需要用总体参数重写参数估计值：46-OLS无偏性（续）47-OLS无偏性（续）48-OLS无偏性：证明49-50-关于无偏性的一个总结nOLS estimates of b b1 和和 b b0 的的OLS估估计是无偏是无偏的，如果的，如果n无偏性的无偏性的证明依明依赖于前述于前述4个假个假设，若任何一个，若任何一个假假设满足，足，OLS并非一定是无偏的。并非一定是无偏的。n无偏性是无偏性是对参数估参数估计值的无偏性：的无偏性：给定一个定一个样本，参数估本，参数估计值与真与真实的的总体参数或体参数或远或近。或近。n当当u包含了影响包含了影响y同同时又与又与x相关的因素，相关的因素，简单回回归将将导致虚假相关（致虚假相关（spurious correlation）.51-n例子2.12 学生数学成绩和学校免费午餐计划math10：10分制考试中及格学生的比例lnchprg:符合资格享受免费午餐计划的学生的比例52-OLS估计值的方差n参数估参数估计值的的样本分布是以真本分布是以真实总体参数体参数为中心的。中心的。n了解了解这个分布的分散程度是很重要的。个分布的分散程度是很重要的。n增加一个假增加一个假设条件，更容易了解条件，更容易了解这个方差的性个方差的性质：Assumption SLR.5:Var(u|x)=s s2 （同方差假（同方差假设）53-OLS方差（续）nVar(u|x)=E(u2|x)-E(u|x)2nE(u|x)=0,so s s2=E(u2|x)=E(u2)=Var(u)ns s2 是无条件方差，称是无条件方差，称为误差方差差方差。ns s称称为误差差标准差准差。nE(y|x)=b b0+b b1x：给定定x,y的条件期望是的条件期望是x的的线性函数；性函数；nVar(y|x)=s s2 意味着：意味着：给定定x，y的方差是一个的方差是一个常数。常数。54-55-n如如Var(u|x)依依赖于于x,误差差项显示出异示出异质性。性。n既然既然Var(u|x)=Var(y|x),当当Var(y|x)是是x的一个函的一个函数，数，误差差项存在异存在异质性。性。n例子：工例子：工资方程中异方差性方程中异方差性 工工资依依赖于教育水平。但教育水平越高，工于教育水平。但教育水平越高，工资的的变异性越大，反之亦然。异性越大，反之亦然。56-57-OLS方差（续）58-证明:59-关于OLS方差的小结n误差方差差方差s s2越大，斜率估越大，斜率估计值的方差越大。的方差越大。nxi 的的变异性越大，斜率估异性越大，斜率估计值的方差越小。的方差越小。n因此，增加因此，增加样本容量可以减少斜率参数估本容量可以减少斜率参数估计值得方差。得方差。n问题是，是，误差差项的方差是未知的。的方差是未知的。60-The proof can be seen at Li Zinai,2009,p.37.61-估计误差方差n因因为无法无法观测误差差项ui，所以我所以我们无法知道无法知道误差差项方差方差s s2。n我我们能能够观测的是残差的是残差项i。n我我们可以用残差可以用残差项来估来估计误差方差。差方差。62-误差方差估计（续）63-无偏估计量，但不真实，因为我们观察不到ui用OLS残差代替误差，有偏误但真实，因未考虑OLS残差满足的两个限制条件64-65-66-误差方差估计（续）67-过原点回归68-