曲线拟合的最小二乘法

曲线拟合的最小二乘法

第3 章 1 拟合曲线

曲线拟合的最小二乘法

给出一组离散点，确定一个函数逼近原函数，插值是这样 的一种手段。在实际中，数据不可避免的会有误差，插值函数 会将这些误差也包括在内。 因此，我们需要一种新的逼近原函数的手段： ①不要求过所有的点(可以消除误差影响); ②尽可能表现数据的趋势，靠近这些点。

曲线拟合的最小二乘法

第3 章 形式化描述

曲线拟合的最小二乘法

仍然是已知 x1 … xm ; y1 … ym, 求一个简单易算的近 来拟合这些数据。 似函数 P (x) 来拟合这些数据。 但是 ① m 很大； 很大； 本身是测量值，不准确， ② yi 本身是测量值，不准确，即 yi ≠ f (xi) 这时没必要取 P (xi) = yi , 而要使 ρi=P (xi) yi 总体上 尽可能地小。 尽可能地小。 称为“ 称为“残 曲线拟合， (x) 这种构造近似函数 的方法称为曲线拟合 P差” 称为拟合函数

曲线拟合的最小二乘法

尽可能地小” “使 ρi =P (xi) yi 尽可能地小”有不同的准 则 较复杂， 较复杂， 常见做法： 常见做法： 使 max | P ( x i ) y i | 最小 1≤ i ≤ m 使

∑ | P( x ) yi =1 im 2 i =1

m

i

| 最小

使 ∑| P( xi ) yi | 最小

称为均方误差。由于计算其最小值的方法容易实现而被广 泛采用。按均方误差达到极小构造拟合曲线的方法称为最 小二乘法。

曲线拟合的最小二乘法

1 线性拟合和最小二乘拟合对于已知的 m +1 对离散数据 {xi , yi }im 0 ,记 =

a = min{xi } , b = max{xi }0≤i ≤ m 0≤i ≤ m

在连续函数空间C 中选定n 个线性无关的基函数 在连续函数空间 [a , b]中选定 +1个线性无关的基函数 中选定

{ k ( x)}n =0 ,并记由它们生成的子空间为： 并记由它们生成的子空间为： kΦ = span{ 0 ( x ) , 1 ( x ) , L , n ( x )} = { ( x ) | ( x ) =n k =0

∑αk =0

n

k

k ( x ) , α 0 , α 1 ,L , α n ∈ R}

* * 若有 ( x ) = ∑ α k k ( x ) ∈ Φ 使得

∑[ yi=0

m

i

* ( xi )]2 = min

( x )∈Φ

∑[ yi=0

m

i

( xi )]2

(1)

曲线拟合的最小二乘法

{ x i , y i }im= 0 在子空间 则称 ( x ) 为离散数据 拟合。 拟合。*

中的最小二乘 Φ 中的最小二乘

{ k ( x)}n =0 ,定义中的拟合曲线即拟合模 对于选定的基函数 k的线性函数， 型 ( x ) = ∑ α k k ( x ) ,是待定参数 {α k }n =0 的线性函数，故 kk =0 n

称之为线性最小二乘问题。 称之为线性最小二乘问题。 线性最小二乘问题 由于

( xi ) =

∑αk =0

n

k

k ( xi ) ,m

i = 0,1, 2, L , mn

记： I (α 0 , α 1 , L , α n ) = ∑ [ yi ∑ α k k ( xi )]2i =0 k =0

则最小二乘问题， 则最小二乘问题，即求极小值问题 (1) 的解 * ( x) ,也就是求 * * 多元二次函数 I (α 0 , α 1 , L , α n ) 的极小值点 (α 0 , α 1* , L , α n ) , 使得： 使得： I (α * , α * , L , α * ) = min I (α , α , L , α

) (2)0 1 n

α 0 ,α1 ,L,α n ∈R

0

1

n

曲线拟合的最小二乘法

问题： 的解是否存在，是否唯一， 问题：极值问题 (2) 的解是否存在，是否唯一，即最小二乘问 的解是否存在唯一 如果存在唯一，如何求之？ 是否存在唯一？ 题 (1) 的解是否存在唯一？如果存在唯一，如何求之？

正规( 正规(法)方程和解的存在唯一性由于 I (α 0 , α 1 , L , α n ) 是关于待定参数 α 0 , α 1 , L , α n 的二次多 项式函数， 式有解的必要条件为： 项式函数，所以 (2) 式有解的必要条件为：m n I (α 0 , α 1 , L , α n ) = 2 ∑ [ yi ∑ α k k ( xi )] l ( xi ) = 0, l = 0,1,L , n α l i=0 k =0

即：

m m ∑0 α k ∑ k ( xi ) l ( xi ) = ∑ yi l ( xi ), l = 0,1,L , n k= i=0 i=0n

(3)

记 m +1 维向量: 维向量 k = [ k ( x0 ), k ( x1 ), L , k ( x m )] T , y = ( y 0 , y1 , L , y m ) T k = 0,1, 2, L , n

曲线拟合的最小二乘法

处取值的向量， 其中 k 为函数 k ( x ) 在点列 { xi }im 0 处取值的向量，由向量 = 内积的定义，可得： 内积的定义，可得：m ( k , l ) = ∑ k ( xi ) l ( xi ) , k , l = 0,1, L , n i =0 m ( y , l ) = ∑ yi l ( xi ), l = 0,1, L , n i =0

故方程 (3) 可写成 可写成: ( 0 , 0 ) 即： ( 0 , 1 ) L ( , ) 0 n

∑αk =0

n

k

( k , l ) = ( y , l ),

l = 0,1, L , n

( 1 , 0 ) ( 1 , 1 ) L ( 1 , n )

L L L L

( n , 0 ) α 0 ( y , 0 ) ( n , 1 ) α 1 ( y , 1 ) = M L M ( n , n ) α n ( y , n )

α G 称之为正规方程 方程 G α = d 称之为正规方程 ( 或法方程 ) 。

d

曲线拟合的最小二乘法

由此可见，最小二乘问题存在唯一解的必要条件就是正规方程 由此可见，最小二乘问题存在唯一解的必要条件就是正规方程 必要条件 非奇异。显然G 为对称矩阵，称为Gram 矩阵 矩阵. 的系数矩阵 G 非奇异。显然 为对称矩阵，称为 定理1: 非奇异的充要条件 充要条件是向量组 定理 ：Gram 矩阵 G 非奇异的充要条件是向量组 { k } n = 0 线 k 性无关。 性无关。 定理2: 定理 ：对于已知的 m +1 对离散数据 {xi , yi }i =0 ,选定 n +1维连 维连 续函数空间 Φ ,如果它有一组基 { k ( x)}n = 0 在点列 { x i } im= 0 k 线性无关， 处的值向量组 { k } n = 0 线性无关，则最小二乘问题存在唯一 k* * * 为正规方程的解. 解 ( x ) = ∑ α k k ( x ) ,其中 (α 0 , α 1* , L , α n )T 为正规方程的解 * k =0 n

m

最小二乘问题的解与所选基函数无关。即对于n 维连 注: (1) 最小二乘问题的解与所选基函数无关。即对于 +1维连 m n 续函数空间 Φ 的任何基 { k ( x )}k = 0 ,只要它们在点列 { x i } i = 0 n 线性无关， 处的值向量

组 { k } k = 0 线性无关，就可以用相应的正规方程求 从而得到相同的拟合曲线。 解，从而得到相同的拟合曲线。

曲线拟合的最小二乘法

{xi , yi }im 0 中，对自变量序列 { x i } im= 0 没有特别 (2) 在离散点列 = 要求，既不需要有序，也可以重复。 要求，既不需要有序，也可以重复。 { k ( x)}n =0 和自变量 (3) Gram矩阵 由子空间 Φ 的基函数 矩阵G由子空间 矩阵 k 序列 { x i } im= 0 确定，与离散点的函数值 { y i } im= 0 无关。 确定， 无关。

三 多项式拟合在离散数据的最小二乘拟合中，最简单也是最常用的数学模 在离散数据的最小二乘拟合中， 型就是多项式： 型就是多项式：

( x ) = α 0 + α1 x + α 2 x 2 + L + α n x n即在多项式空间

Φ = span{1, x, x2 ,L, xn } = { ( x) | ( x) = ∑αk xk , α0 ,α1,L,αn ∈ R}k =0

n

中作曲线拟合，称为多项式拟合。 中作曲线拟合，称为多项式 …… 此处隐藏：3539字，全部文档内容请下载后查看。喜欢就下载吧 ……