Ch09：数值计算方法之最小二乘法与曲线拟合

数值计算方法课件

第9章 最小二乘法与曲线拟合

最小二乘法是一个非常有用的数学方法 ， 它的直接 最小二乘法是一个非常有用的数学方法，应用是求矛盾线性方程组的最小二乘解.在工程中， 应用是求矛盾线性方程组的最小二乘解.在工程中， 它可用来求经验公式，对实验数据进行曲线拟合; 它可用来求经验公式，对实验数据进行曲线拟合;在 统计学中，它可用来求最小二乘估计，多元回归等; 统计学中，它可用来求最小二乘估计，多元回归等; 另外，在数值分析领域，它可用来进行误差分析。 另外，在数值分析领域，它可用来进行误差分析。

可以说 ，随着我们将来知识的增多 ， 最小二乘法的 可以说， 随着我们将来知识的增多，应用领域将愈来愈大。 正是由于这个原因， 应用领域将愈来愈大 。 正是由于这个原因 ， 我们把 这个词出现在章标题中。 这个词出现在章标题中。

数值计算方法课件

9.1 问题的提出

为了让大家对最小二乘法适用的实际问题有一个感性认识， 我们首先设想一个简单的工程问题： 性认识 ， 我们首先设想一个简单的工程问题 ： 如何 尽可能准确地测算出一个弹簧的长度与所受到的外 界的拉力之间的函数关系。 界的拉力之间的函数关系。

我们知道，在弹性限度以内 ， 弹簧的长度的改变量 我们知道， 在弹性限度以内，与所受到的外界的拉力成正比，亦即弹簧的长度Y 与所受到的外界的拉力成正比，亦即弹簧的长度Y与 所受到的外界的拉力X满足一个线性关系: 所受到的外界的拉力X满足一个线性关系: Y=a0+a1x 我们要作的就是综合物理和数学方法求出a 我们要作的就是综合物理和数学方法求出a0和a1。

为了解决这个问题，我们可按下面的步骤来进行。 为了解决这个问题，我们可按下面的步骤来进行。

数值计算方法课件

1.设计实验装置 1.设计实验装置

首先我们要设计一个试验装置，以便能方便地测量出在不同 首先我们要设计一个试验装置，的拉力下弹簧的长度来。 的拉力下弹簧的长度来。

我们可以简单地在工作台上固定一个支架，弹簧的一端固定 我们可以简单地在工作台上固定一个支架，在支架上，在工作台边缘固定一个定滑轮， 在支架上，在工作台边缘固定一个定滑轮，一根连线下面吊 一个法码盘，连线的另一端绕过滑轮与弹簧相连。 一个法码盘，连线的另一端绕过滑轮与弹簧相连。这样就完 成了如图所示的试验装置的安装。 成了如图所示的试验装置的安装。

数值计算方法课件

2.记录实验数据 2.记录实验数据

有了这个装置， 我们可以设计一个试验方案 ， 比如 有了这个装置， 我们可以设计一个试验方案，控制外界的拉力分别为x 控制外界的拉力分别为x0,x1,

…,xn,相应地测量出弹 簧的长度分别为y 从而得到n+ n+1 簧的长度分别为y0,y1,…,yn,从而得到n+1对实验数据 的列表： 的列表： 弹簧性能测试数据列表 X Y x0 y0 x1 y1 ……

xn yn

这样，我们就完成了需要物理方法完成的工作， 这样， 我们就完成了需要物理方法完成的工作， 接 下来就是用数学方法来处理实验数据。 下来就是用数学方法来处理实验数据。

数值计算方法课件

3.组织线性方程组

所谓分析弹簧的性能，就是要尽可能准确地确定出a0和a1。 所谓分析弹簧的性能，就是要尽可能准确地确定出a为此我们可以把上面的n+ 对观测值代入到y 为此我们可以把上面的 n+1对观测值代入到 y= a0+a1x中，从 n+1 而得到两个变元的线性方程组

记

a0 + x0a1 = y0 a + x a = y 0 1 1 1 () 1 L L L L L L a0 + x1a = y1 1 1 x0 y1 a0 1 x1 y1 X = , a = a , y = L L L 1 1 x y n n

我们得到方程组(1)的简写形式Xa=y。 我们得到方程组( 的简写形式X =y。

数值计算方法课件

4.写出误差的平方和 4.写出误差的平方和

在一般情况下，方程组(1)无解。这是因为y0,y1,…,yn都 在一般情况下， 方程组( 无解。这是因为y是观测值，它们不可避免地带有观测误差， 是观测值，它们不可避免地带有观测误差，但我们有理由寻 找尽可能准确的解。 找尽可能准确的解。 εi=a0+a1xi-yi,i=0,1,…,n,显然，它就是yi的误差。 i=0 ,n,显然 它就是y 的误差。 显然，

记 记

J(a , a ) = ∑(ε ) = ∑(a + a x y )2 0 1 i =1 i i =1 0 1 i i

n

n

2

( 2)

它就是n个误差的平方和。 它就是n个误差的平方和。

注意在这里，x0,x1,…,xn和y0,y1,…,yn都是常数，而a0,a1 注意在这里， 都是常数， 提示：在一般情况下，J作为(a0,a1)的函数还是正定的二 提示： 在一般情况下， 作为(次函数，它有全局的唯一极小点。 次函数，它有全局的唯一极小点。 都是待确定系数，所以应把J看作是( 都是待确定系数，所以应把J看作是(a0,a1)的函数。 的函数。

数值计算方法课件

5.可以转向求二次函数的极小值 5.可以转向求二次函数的极小值

虽然我们不能求出(1)的解，但我们可以求(2) 虽然我们不能求出( 的解，但我们可以求(的极小解，也就是寻找( 的极小解，也就是寻找(a0,a1),使J(.,.)取极小值， J(. 取极小值， 并把这样的解称为是( 的最小二乘解。 并把这样的解称为是(1)的最小二乘解。

(2)的极小解可表为下面的方程组的解： 的极小解可表为下面的方程组的解：J(a , a ) =0 a J(a , a ) =0 a 0 1 0 0 1 1

( 3)

数值计算方法课件

6.正规方程 6.正规方程

利用(2)式对两个变元求偏导数，整理，我们可以 利用( 式对两个变元求偏导数，整理，得到( 得到(3)的具体形式为

n a0 + (∑xi

) a1 = ∑ yi i=1 i=1 i=n i=n i=n 2 (∑xi ) a0 + (∑(xi ) ) a1 = ∑xi yi i=1 i=1 i=1

i=n

i=n

( 4)

结论：上面(4)的解就是(1)的最小二乘解。 结论：上面( 的解就是( 的最小二乘解。 术语：上面的方程组(4)一般称为正规方程。在不 术语：上面的方程组( 一般称为正规方程。同的应用领域内， 也有人称之为法方程、 回归方程。 同的应用领域内 ， 也有人称之为法方程 、 回归方程 。

数值计算方法课件

7.求解正规方程 7.求解正规方程

我们完全可以利用上一章学到的方法求解上面给出的正规方程，从而基本完成问题求解。 的正规方程，从而基本完成问题求解。

数值计算方法课件

8.检验解的有效性 8.检验解的有效性

假如我们得到了(1)的最小二乘解(a0,a1),那么 假如我们得到了( 的最小二乘解(我们也就找到了y 我们也就找到了 y 与 x 的近似的函数关系 y=a0+a1x. 在 的近似的函数关系y= y=a 一般情况下这个结果是很有用的， 一般情况下这个结果是很有用的 ， 但有时候仍然会 产生较大的误差。 为此， 我们可作进一步检验， 产生较大的误差 。 为此 ， 我们可作进一步检验 ， 这 虽然超出本课程的范围，但也不算困难。 虽然超出本课程的范围，但也不算困难。

记

J (a0 , a1) J (a0 , a1) ) e= (or e = n n 1

则e就是用a0+a1x表示y的平均误差。在实际工作中， 就是用a 表示y的平均误差。在实际工作中， 我们可以规定出一个临界值e 实际也就是误差限， 我们可以规定出一个临界值 e0,实际也就是误差限， 小于这个值时就认为结果有效， 当e小于这个值时就认为结果有效，否则作进一步的 考虑。 考 …… 此处隐藏：3279字，全部文档内容请下载后查看。喜欢就下载吧 ……