数学建模回归分析

数学建模回归分析

回归分析统计工具箱中的回归分析命令

一元线性回归

多元线性回归

数 学 模 型 及 定 义

模 型 参 数 估 计

检 验

性可 回线 归性 (化 曲的 线一 回元 归非 )线

数 学 模 型 及 定 义

模 型 参 数 估 计

检 验多 与元 预线 测性 回 归 中 的

*

*

*

*

逐 步 回 归 分 析

一、数学模型例1 测16名成年女子的身高与腿长所得数据如下：身 高 (cm) 腿 长 (cm)88 85 88 91 92 93 93 95 96 98 97 96 98 99 100 102 143 145 146 147 149 150 153 154 155 156 157 158 159 160 162 164

以身高x为横坐标，以腿长y为纵坐标将这些数据点(xi,yi) 在平面直角坐标系上标出.102 100 98 96 94 92 90 88 86 84 140 145 150 155 160 165

解答

y 0 1 x (1)

散点图

一般地，称由(1)确定的模型为一元线性回归模型， 记为 y 0 1 x 2 E 0 , D 固定的未知参数 0 、 1 称为回归系数，自变量 x 也称为回归变量.

Y 0 1 x ,称为 y 对 x 的回归直线方程.

一元线性回归分析的主要任务是：1.用试验值(样本值)对 0 、 1 和 作点估计； 2.对回归系数 0 、 1 作假设检验； 3.在 x= x0 处对 y 作预测，对 y 作区间估计.

返回

二、模型参数估计1.回归系数的最小二乘估计有 n 组独立观测值(x 1,y 1) , (x 2,y 2) , , (xn,yn)

yi 0 x1 i , i 1, 2,..., n 设 2 E 0, D 且 1 2 ,..., n 相互独立 i i记

Q Q( 0 , 1 ) y i 0 1 x i i 1 2 i i 1

n

n

2

使得 , 最小二乘法就是选择 0 和 1 的估计 1 0 , ) minQ( , ) Q( 0 1 0 1 0 , 1

解得

y x 0 1 xy x y 1 2 x x2

或

1

xi 1 n

n

i

x y i y

2 x x i i 1

n n 1 n 1 n 1 1 2 2 其中 x xi , y y i , x xi , xy xi y i . n i 1 n i 1 n i 1 n i 1

(经验)回归方程为:

x y (x x) y 0 1 1

2. 2 的无偏估计 , ) 记 Qe Q( 0 1 y n i 1 i

0

x 1 i

) (y y2 n i 1 i i

2

称 Qe 为残差平方和或剩余平方和 (SSE).

e2 Qe (n 2) 2 的无偏估计为 e 为剩余方差(残差的方差) 称 ,22 独立. 、 e 分别与 1 0

e 称为剩余标准差 .

返回

检 验1.回归方程的显著性检验对回归方程 Y 0 1 x 的显著性检验，归结为对假设

H0 : 1 0; H1 : 1 0进行检验.

假设 H 0 : 1 0 被拒绝，则回归显著，认

为 y 与 x 存在线性关 系，所求的线性回归方程有意义；否则回归不显著，y 与 x 的关系 不能用一元线性回归模型来描述，所得的回归方程也无意义.

检 验

F 检验

当 H 0 成立时， 其中 U n

F

U ~F( 1,n-2) Qe /(n 2)

2 (回归平方和) (SSR) y y i i 1

, ) 记 Qe Q( 0 1

yn i 1

i

x 0 1 i

(y2 n i 1

i

i )2 y

称 Qe 为残差平方和或剩余平方和 (SSE). 故 F> F1 (1, n 2) ,拒绝 H 0 ,否则就接受 H 0 .

检 验

r 检验

记

r

(xi 1 n i 1

n

i

x )( y i y )n

2 2 ( x x ) ( y y ) i i i 1

当|r|> r 1 时，拒绝 H0;否则就接受 H0.1 1 n 2 F1 1, n 2

其中 r1

检 验

回归系数的置信区间

0 和 1 置信水平为 1-α 的置信区间分别为2 2 1 x 1 x t (n 2) t (n 2) e , 0 e 0 1 1 n Lxx n Lxx 2 2

e / Lxx , 1 t (n 2) e / Lxx 和 1 t (n 2) 1 1 2 2

2 的置信水平为 1- 的置信区间为 Qe Qe 2 (n 2) , 2 (n 2) 1 2 2

四、可线性化的一元非线性回归 (曲线回归)例2 出钢时所用的盛钢水的钢包，由于钢水对耐火材料的侵蚀， 容积不断增大.我们希望知道使用次数与增大的容积之间的关 系.对一钢包作试验，测得的数据列于下表：使用次数 2 3 4 5 6 7 8 9 增大容积 6.42 8.20 9.58 9.50 9.70 10.00 9.93 9.99 使用次数 10 11 12 13 14 15 16 增大容积 10.49 10.59 10.60 10.80 10.60 10.90 10.76

解答

11

曲线回归10.5 10 9.5 9 8.5 8 7.5 7 6.5 6 2 4 6 8 10 12 14 16

散 点 图

此即非线性回归或曲线回归 问题(需要配曲线) 配曲线的一般方法是：先对两个变量 x 和 y 作 n 次试验观察得 ( xi , yi ), i 1,2,...,n 画出散点图， 根据散点图确定须配曲线的类型.然后由 n 对试验数据确定每一类曲线的未知 参数 a 和 b.采用的方法是通过变量代换把非线性回归化成线性回归，即采用 非线性回归线性化的方法.

通常选择的六类曲线如下：1 b (1)双曲线 a y x(2)幂函数曲线 y=a x b , 其中 x>0,a>0

(3)指数曲线 y=a e 其中参数 a>0.

bx

(4)倒指数曲线 y=a e

b/ x

其中 a>0,

(5)对数曲线 y=a+blog x,x>0

1 (6)S 型曲线 y a be x

解例 2.由散点图我们选配到指数曲线 y=a e

b/ x

1.1107 2.4587 根据线性化方法，算得 b ,A由此

e A 11.6789 ay 11.6789e 1.1107 x

返回最后得

一、数学模型及定义一般称

Y X 2 E ( ) 0,COV( ,

) I n

为高斯-马尔可夫线性模型(k 元线性回归模型),并简记为 (Y , X , 2 I n )

y1 1 x11 x12 ... x1k 0 1 y 1 x x ... x 21 22 2k 1 2 Y 2 , X , , 1 xn1 xn 2 ... xnk k n yn y 0 1 x1 ... k xk 称为回归平面方程.线性模型 (Y , X , I n ) 考虑的主要问题是：2

返回

(1)用试验值(样本值)对未知参数 和 2 作点估计和假设检验，从而建立 y 与

x1 , x2 ,...,xk 之间的数量关系；(2)在 x1 x01 , x2 x02 ,..., xk x0k , 处对 y 的值作预测与控制，即对 y 作区间估计.

二、模型参数估计1.对 i 和 2 作估计用最小二乘法求 0 ,..., k 的估计量：作离差平方和

Q yi 0 1 xi1 ... k xik i 1

n

2

选择 0 ,..., k 使 Q 达到最小. 1 T 解得估计值 X X X TY

服从 p+1 维正态分布， 注意： 且为 的无偏估计，协方差阵2 为 C .C=L-1=(cij), L=X XT

代入回归平面方程得： 得到的 i

x ... x y 0 1 1 k k称为经验回归平面方程. i 称为经验回归系数.