最小二乘法综述及举例

最小二乘法综述及算例

一最小二乘法的历史简介

1801年，意大利天文学家朱赛普·皮亚齐发现了第一颗小行星谷神星。经过40天的跟踪观测后，由于谷神星运行至太阳背后，使得皮亚齐失去了谷神星的位置。随后全世界的科学家利用皮亚齐的观测数据开始寻找谷神星，但是根据大多数人计算的结果来寻找谷神星都没有结果。时年24岁的高斯也计算了谷神星的轨道。奥地利天文学家海因里希·奥尔伯斯根据高斯计算出来的轨道重新发现了谷神星。

高斯使用的最小二乘法的方法发表于1809年他的著作《天体运动论》中。 经过两百余年后，最小二乘法已广泛应用与科学实验和工程技术中，随着现代电子计算机的普及与发展，这个方法更加显示出其强大的生命力。 二最小二乘法原理

最小二乘法的基本原理是：成对等精度测得的一组数据xi,yi(i 1,2,...,n)，是找出一条最佳的拟合曲线，似的这条曲线上的个点的值与测量值的差的平方和在所有拟合曲线中最小。

设物理量y与1个变量x1,x2,...,xl间的依赖关系式为:y f(x1,x2,...,xl;a0,a1,...,an)。

其中a0,a1,...,an是n +l 个待定参数,记s

v

i 1

m

i

yi 其中vi是测量值,vi是由己求得的

2

a0,a1,...,an以及实验点(xi1,xi2,,...,xil;vi)(i 1,2,...,m)得出的函数值y f(xi1,xi2,...,xil;a0,a1,...,an)。

在设计实验时, 为了减小误差, 常进行多点测量, 使方程式个数大于待定参数的个数, 此时构成的方程组称为矛盾方程组。通过最小二乘法转化后的方程组称为正规方程组(此时方程式的个数与待定参数的个数相等) 。我们可以通过正规方程组求出a

最小二乘法又称曲线拟合, 所谓“ 拟合” 即不要求所作的曲线完全通过所有的数据点, 只要求所得的曲线能反映数据的基本趋势。 三曲线拟合

曲线拟合的几何解释: 求一条曲线, 使数据点均在离此曲线的上方或下方不远处。 （1）一元线性拟合

设变量y 与x 成线性关系y a0 a1x,先已知m个实验点xi,vi(i 1,2,...,m)，求两个未知参数a0,a1。

令s 即

yi a0 a1xi

i 1

m

2

，则a0,a1应满足

s

0,i 0,1。 ai

m

s

2 (yi a0 aixi) 0 a0i 1m s

2 (yi a0 a1xi) 0 a1i 1

化简得

mm

a11a0 xi yi

i 1i 1

a0 xi a1 xiyi

i 1

i 1

mm

从中解出

a1

m xiyi xi yim x

i 1i 1m

i 1

i 1

m

m

m

i

i 1

2

x

i

1myi a1mxi

a0

i 1i 1

（2）多元线性拟合

设变量y与n 个变量1,2,...,n(n 1)的内在联系是线性的，即有下式

xxx

y ao a1xj

j 1

n

设xj的第i次测量值为xij，对应的函数值为yi (i 1,2,...,m)，则偏差平方和

s yi yi yi a0 a1x

'

m

2

m

i 1i 1

为使s去得最小值的方程组

mn s 2yi a0 0 a1xij a0j 1 i 1

mn s 2yi a0 xi1 0 ajxij j 1 a1i 1

....................................................

mn s 2yi a0 xin 0 ajxij anj 1 i 1

即

nm

m

ma0 xij aj yi

j 1 i 1i 1

k 1,2,...,n。（4） m

nmm

xika0 xijxik aj xiky j 1 i 1i 1 i 1

将实验数据 xij,yi 代入（4）式，即得a0,a1,...,an。

（3）多项式拟合

科学实验后得到一组数据时，常会遇到因变量y 与自变量x 之间根本不存在线性关系。此可以考虑用一个n 次多项式来拟合y与x 之间的函数关系。

对于n次多项式y

ax，令x x(

ii

j

i

n

j

0,1,...,n)，则可将其化为线性形式：

n

i 0

y a0 ajxj

j 1

对于i=1,2,...,m个实验点有xij xi，代入（3）式有

nm

m

ma0 xij aj yi

j 1 i 1i 1

k 1,2,...,n m

nmm

xika0 xijxik aj xikyi j 1 i 1i 1 i 1

j

从而得出多项式的最小二乘法拟合的方程

m

mj k

xi ai xikyi i 1 i 1i 1 n

k 0,1,...,n

写成矩阵的形式即为

m m xi i 1 ...

mn xi i 1

x

i 1

m

i

x

i 1

m

2i

.........

x

i 1

m

2i

x

i 1

m

3i

......

n 1i

x

i 1

m

x

i 1

m

n 2i

...

m xyi i 1 a0 i

m m n 1

xi a1 xiyi i 1 i 1

... ... ... an

mm

n xi2n xyi i i 1 i 1

n

i

m

从中可以解出a0,a1,...,an。 （4）指数函数拟合

此时拟合函数具有形式y ae（a，b为待定系数）。两端取自然对数有

bx

lny lna bx

令Y lny

(*)

b0 lna

则（*）式化为线性形式 Y b0 bx

再利用（1）式和（2）式，即可求出b0,b。 从而有a e。故y e四最小二乘法应用举例

例：已知某铜棒的电阻与温度关系为：Rt R0 t。实验测得7组数据（见表1）如下：试用最小二乘法求出参量R0、 以及确定它们的误差。

bo

bo bx

。

此例中只有两个待定的参量R0和 ，为得到它们的最佳系数，所需要的数据有n、xi、

y

i

、

x

2i

、

y

2i

和

xy

i

i

六个累加数，为此在没有常用的科学型计算器时，通过

列表计算的方式来进行，这对提高计算速度将会有极大的帮助（参见表2），并使工作有条理与不易出错。其中表内双线右边的计算是为了确定R0和 的误差项用的。

根据表2中所求得的数据，代入公式（12））则可得：

k

7 20060.8 245.5 566.001472.60

0.28788 /C 2

5115.357 9340.8 (245.5)

566.00245.5

0.28788 70.76078 77

R0 b

把测量数据代入式（13）和（15）中可求出相关系数

1245.5 566.00xy xy20060.8 iin i i

7

11(245.5)2(566.00)22222

xi ( xi)] [ yi ( yi)]9340.8 ] [(45826 )]

nn77

1(245.5)22

9340.8 x ( xi)

k 0.28788 0.99757 2

1(566.00)

45826 yi2 n( yi)2

7

2i

说明：电阻Rt与温度t的线性关系良好，所以取R0的有效数字与R对齐，即R0＝70.76 ；又因为t7－t1 = 31.0 ℃，R7－R1 = 8.80 ，取k有效数字为以上两个差值中较少的位数3位，则k = 0.288 / C。由此可以得到电阻与温度的相关关系为：

Rt 70.76 0.288t

按补充资料中的公式计算k和b的不确定度，可得

Sy SRt

2

i

n 2

Sy

2845 10 4

0.239( )

7 2

0.2399340.8

(245.5)

7 …… 此处隐藏：1754字，全部文档内容请下载后查看。喜欢就下载吧 ……