第7章 曲线拟合的最小二乘法

Ch.7 离散数据的曲线拟合引言 曲线拟合问题仍然是已知 x1 … xm ; y1 … ym, 求一个简单易 算的近似函数 P (x) 来拟合这些数据。

但是

① m 很大；② yi 本身是测量值，不准确，即 yi f (xi)

这时没必要取 P (xi) = yi , 而要使 i=P (xi) yi 总体上

尽可能地小。 称为“残 这种构造近似函数 的方法称为曲线拟合，P差” (x) 称为拟合函数

“使 i =P (xi) yi 尽可能地小”有不同的准 则 较复杂， 常见做法：| P ( x i ) y i | 最小 使 max 1 i m

使

| P( x ) yi 1 im i 1

m

i

| 最小

2 | P ( x ) y | 使 最小 i i

一

最小二乘法求解矛盾方程组

设线性方程组

aj 1

n

ij

x j bi (i 1, 2,

, N)

或

Ax b

(1)

其中 A (aij )N n , x ( x1, x2 ,

, xn )T , b (b1, b2 ,

, bn )T

当线性方程组(1)的系数矩阵和增广矩阵的秩不相等时, 方程 组无解, 这时称方程组为矛盾方程组. 引理1: 设 n 元实函数 f ( x1 , x2 , , xn ) 在点 P 0 (a1 , a2 , 某个邻域内连续, 且有一阶连续偏导数, 若 (1)

, an ) 的

f |P0 0 (k 1, 2, xk

, n)

(2) 矩阵

2 f | 2 P0 x1 2 f |P0 M x1 x2 2 f |P0 x1 xn是正定(负定) 矩阵. 则 f (a1 , a2 , 大) 值.

2 f |P0 x1 x2 2 f | 2 P0 x2 2 f |P0 x2 xn

2 f |P0 x1 xn 2 f |P0 x2 xn 2 f | 2 P0 xn

, an ) 是 n 元函数 f ( x1 , x2 ,

, xn ) 的极小(极

引理2: 设非齐次线性方程组(1) 的系数矩阵 A: r ( A ) = n , 则 (1) 矩阵 AT A 是对称正定矩阵; (2) n阶线性方程组 AT Ax AT b 有唯一解.

证: (1) 显然 AT A 是对称矩阵 因为 r (A)=n , 所以Ax=0有唯一零解, 故 x 0 有 A x 0 于是 ( A x)T Ax xT ( AT A) x 0 , 因此 AT A 是正定矩阵.

(2) 因为 AT A 是正定矩阵, 所以 r ( AT A) n . 故 AT Ax AT b 有唯一解说明: 引理2 说明在r (A)=n的条件下, 无论方程组(1)是否有解, n阶方程组 AT Ax AT b 都有唯一解. 矛盾方程组在某种意义下的解:

由于矛盾方程组(1)的精确解不存在, 故转化为寻求某种意义 下的解.令

i a ij x j bi (i 1, 2,j 1

n

, N)

称 i 为偏差

工程中许多问题归结为偏差平方和

Q i2 ( a ij x j bi )2i 1 i 1 j 1

N

N

n

达到最小, 这一条件称为最小二乘原则. 按最小二乘原则选择 未知数 x1 , x2 , , xn 的一组取值的方法称为求解矛盾方程组 的最小二乘法. 符合条件的 x1 , x2 , , xn 的一组取值称为矛盾 方程组的最小二乘解. 将Q看作关于 x1 , x2 ,

, xn 的n 元二次函数, 记为, xn )

Q f ( x1 , x2 ,

求(1)的最小二乘解就是求该二次函数的最小值点.Th1. 设矛盾方程

组(1)的系数矩阵 A的秩为n , 则二次函数

Q f ( x1 , x2 ,

, xn ) ( a ij x j bi ) 2i 1 j 1

N

n

T T 必存在最小值, 且方程组 A Ax A b 的解就是其最小值点.

证: Q为 x1 , x2 ,

, xn 的二次函数, 且有连续的1、2阶偏导数. 2aN k ( aN j x j bN )j 1 n

n n Q 2a1k ( a1 j x j b1 ) 2a2 k ( a2 j x j b2 ) xk j 1 j 1

2(a1k , a2 k ,

n a1 j x j b1 j 1 n a2 j x j b2 , aN k ) j 1 2(a1k , a2 k , n a x b N N j j j 1 T

, aN k )( Ax b)

Q Q , , x1 x2

Q T T T , 2 A ( Ax b ) 2( A Ax A b) xn

令

Q 0 , (k 1, 2, xk

, n)

即 A Ax A bT T

T T A Ax A b 有唯一解, 设为 x1 a1 , 由引理 2 知

, xn an

记 P 0 (a1 , a2 ,

, an ) , 二元函数 Q 存在 P0 , 使得

Q |P0 0 , (k 1, 2, xk故满足引理1的条件 (1) . 又

, n)

2Q 2(a1k a1t a2k a2t xk xt

aN k aN t ) 2 aik aiti 1

n

N 2 ai1 i 1 N ai1ai 2 M i 1 N ai1ain i 1

ai 1 N i 1

N

i1 i 2

a

2 a i2

ai 1

N

i2

ain

ai1ain i 1 N ai 2 ain T 2 A A i 1 N 2 a in i 1 N

由引理 2 知 M 正定, 故满足引理 1 的条件 (2) , 所以Q 存在极

小值. 又方程组 AT Ax AT b 有唯一解, 所以Q 的极小值即 为最小值. 方程组 AT Ax AT b 的解就是最小值点.T T 线性方程组 A Ax A b 称为正则方程组

说明: Th1说明只要矛盾方程组(1)的系数矩阵 A的秩为n , 则

① 矛盾方程组(1)的最小二乘解存在; ② 正则方程组有唯一解, 此解就是矛盾方程组 (1) 的最小二 乘解. 例1: 求下列矛盾方程组的最小二乘解 1 0 0 1 0 1 0 1 0 1 1 0 0 0 x1 1 x2 0 x3 1 1 1 2 3 1 2 1

解: 因为r (A)=3, 所以最小二乘解存在. 正则方程组为: 3 1 1 x1 1 5 7 1 3 1 x 1 2 x1 , x2 , x3 3 4 4 1 1 3 x 6 3

二 线性模型和最小二乘拟合m { x , y } De f:对于已知的 m +1 对离散数据 i i i 0 ,

记

a min{xi } , b max{xi }0 i m 0 i m

在连续函数空间C [a , b]中选定n +1个线性无关的基函数

{ k ( x)}n k 0 ,并记由它们生成的子空间为： span{ 0 ( x) , 1 ( x) ,n k 0

, n ( x)} , n R}

{ ( x) | ( x) k k (

x) , 0 , 1 ,* * 若有 ( x) k k ( x) 使得 k 0 * 2 [ y ( x )] min i i i 0 m 2 [ y ( x )] i i i 0 m n

( x )

(1)

则称 * ( x) 为离散数据 {xi , yi }i 0 在子空间 拟合。n

m

中的最小二乘

n { ( x )} 对于选定的基函数 k k 0 ,定义中的拟合曲线即拟合模

型 ( x) k k ( x) ,是待定参数 { k }n 的线性函数，故 k 0称之为线性最小二乘问题。 由于k 0

( xi ) k k ( xi ) , i 0,1, 2,k 0m n i 0 k 0

n

,m

记： I ( 0 , 1 ,

, n ) [ yi k k ( xi )]2

则最小二乘问题，即求极小值问题 (1) 的解 * ( x) ,也就是求 * * * 多元二次函数 I ( 0 , 1 , , n ) 的极小值点 ( 0 , 1 , , n ) , 使得： I ( * , * , , * ) min I ( , , , ) (2)0 1 n

0 , 1 , , n R

0

1

n

问题：极值问题 (2) 的解是否存在，是否唯一，即最小二乘问 题 (1) 的解是否存在唯一？如果存在唯一，如何求之？

正规(法)方程和解的存在唯一性由于 I ( 0 , 1 , , n ) 是关于待定参数 0 , 1 , 项式函数，所以 (2) 式有解的必要条件为： …… 此处隐藏：3311字，全部文档内容请下载后查看。喜欢就下载吧 ……