正则化方法研究

无网格方法离散偏微分方程所得线性方程组的影响矩阵的条件数一般情况下都很大,并且这些影响矩阵的奇异值会逐渐衰减到零,也就是这些矩阵通常是高度病态的。这个问题与典型的第一类Fredholm积分方程的离散以及不适定(ill—posed)问题有关。要得到这些不适定问题的一个有效的、稳定的解,就需要采用一些特殊的处理方法。本文介绍求解病态线性方程组的一种有效方法,即正则化方

◎科教前沿

正则化方法研究■西藏职业技术学院建筑系郑炎摘要：无网格方法离散偏微分方程所得线性方程组的影响矩阵的奈件数一般情况下都很大，并且这些影响矩阵的奇异

西藏

拉萨

8 0 0 500

为矩阵 A的奇异值，柙 V别为矩阵的左右奇异向 u 量√如果离散不适定问题的方式不同影响矩阵也会有一些差别但是 .题的不适定特性是改变不了的。影响矩阵的条件数问

值会逐渐衰减到零，也就是这些矩阵通常是高度病态的。这个问题与典型的第一类 Feh l积分方程的离散以及不适定 rd o m

可能会因为某种合适的离散方式而减小 .但是，体的操作仍然具很困难：而言之，用正则化方法后。阵的条件数一般情况换采矩下不会变。

(— oe) i p s问题有关。要得到这些不适定问题的一个有效的、 l l d稳定的解，需要采用一些特殊的处理方法。本文介绍求解病态就线性方程组的一种有效方法，正则化方法。即 关键词：则化方法离散奇异值 正

根据奇异值分解，程 f1方 3的最小二乘解可写为有奇异向量的线性组合 Ub 1 7, ’、 (1, 7

文章编号 DOI1 .9 9j s . 0— 7 8x. 1 . .1:03 6/i n1 3 2 3 () 0 O 1 8 . s 0 2 1 51离散不适定问题 .不适定问题的概念可以追溯到』世纪初的 Ha a r二 d mad时代 Ha a r术质上定义： d mad从如果问题的解不唯一或者解不是一

其中 k是影响矩阵 A的秩 .如果影响矩阵为 mX ( nm≠n阶 1

矩阵时 . f为不适定问题 f)最小二乘解矩阵 A的奇异值式 7 1 4的谱中的奇异值有大量的小奇异值，此， 7中前面的项和后面因式()的项会相差很大：另外 .奇异值对应的奇异向量的符号会有变化 .就是说式 ()振荡。小二乘法会造成小奇异值淹没了大也 7会最奇异值的贡献的情况出现

个连续的函数 .问题就是一个不适定问题。例如，果初始该如

数据的任意小的波动会造成解任意大的变化 .就说明该问题是一

个不适定问题 H

aa ad认为不适定问题都是“为的”因 dm r人，为它们不能描述物理系统。而，事并非如此。天，科学和然实今在]程等领域中 .然有很多研究不适定问题的文章发表。 仍 不适定问题的经典例子就是具有平方可积核的第一类

条件数是影响矩阵的最大奇异值与最小奇异值的比值 .常用于衡量矩阵的病态程度 . Co d )?即 n (上 f) 8

}影响矩阵的条件数来评价问题的病态性是可行的 .但是} 3对于不适定问题 .种方法就过于保守例如 . a d舢 O d这 V n e i e矩 l阵的条件数会随矩阵规模的变大而急剧变坏 .但是对应的线性方程组却是适定的阂此。件数是衡量问题的病态程度的充分条

F e h l积分方程 K( f() g() rd 0m,) fd,

c? 7d, () 1

其中右端项 g 和核 Ks都是已知的。 (是未知解。果 () (), f,f )如解，在波动 (? (7 t P 1….? o s n (存 ) Pi 2 p) ) s n,?,, 2 cnt t a则对应的右端项 g ()的波动可表示为? () 7K(, s ( 7 t t g? sf i 2 p), )n d P?,, 1…, 2 f1 3

(] 2

条件 .不是的必要条件 .研究表明 .但、问题的病态程度与奇异值分解的右端向量有密切关系 . .3正则化方法 .

根据 Re n— e e g e定理可知，当p‘,?( ,闽 ima n L b su,’时 g 70此 .果选择足够大的整数 .的比值就会变得任意大，表明如这方程 f1 l是一个不适定问题。另外，个例子也说明具有平方可这

离散不适定问题 f和f1 3 4的主要困难是影响矩阵 A的小奇 1异值造成数值解振荡。此，了使问题变成适定、求出问题 为并

有效而稳定的解 .必须了解所求解问题的更进一步情况 .就就这是正则化的目的

积核的第一类 F e h l积分方程对高频波动极端敏感 rd o m如果某个问题能满足准则：

我们可以获得很多关于解的附加信息：是，们采用正但我则化方法离散不适定问题的主要目

的是使解的 2范数或者合一适的半范数很小。由于解的初始估值 X可能包括边际约束 . 然

准则 1矩阵 A的奇异值逐渐衰减到零：准则 2矩阵最大与最小的非零奇异值的比值很大：我们说该问题就是离散不适定问题

而，边际约束涉及到量子最小化？x Jx x1 ( l(? ). ) L 1

f 9 )

准则 1明不适定问题的影响矩阵的性态都很差 .准则 2表 表明矩阵 A是病态的，如 .对数据波动很敏感例解离散不适定问题的经典表现形式是从不适定问题的离散中得到的线性方程组和线性最小二乘问题例如 G lri型的 a kn类 e方法[2￣常用于离散 F e h l积分方程 f以及以方程 f1方 11- k rd o m 1 1 3或程 f的形式出现的问题的矩阵 A以及右端项 b的元素和可以 5 1

矩阵 L既不是单位矩阵， .也不是(?阶导数算子的 n P’ 阶离散近似 .而是一个带状的满秩矩阵在某些情况， n下 .际约束用 S b l边 o oe v范数表示更为台适

?x????J(? (? x ) l‘x x 2 ! )法、断奇异值分解和共轭梯度型方法 .截 .3 1T k o o . i h n v正则化

() 1 0

在众多正则化方法中。比较常用的有 Tk oo则化方： i nv正 h

写成 a ?

( t? (d, s) ) 1) , ( f

?

( g ( ) )

() 4

对于这类问题 .分方程的不适定性和矩阵 A的病态之间积

毫无疑问，常用、著名的正则化形式是 Tko O则最最 ih nV正化其基本思想就是定义正砒化解 x作为残量范数和边际约束 l l

的关系容易理解特别是 .可以显示矩阵 A的特征值以满足它准则 l和 2的方式衰减

加权平均的最小值 x?rmnIx 6? (?,1) a i I?? x x) ( g? A 1正则化参数 7示与边际约束最小化密切相关的残量范数表最小化的权重。从式 f1我们可以看，个很大的？表示残 1)一值量范数最小化的解占的权重大：个很小的则相反一

不适定问题虽然是病态问题 .但并不意味着

不能求得一个有意义的近似解。且，态意味着在求解方程 () f数值线而病 3和 4 1

性代数中的标准方法，如 L C o sv或者 0因数分解，例 U、h l k e R不能直接用于求解这个问题取而代之的是必须采用更复杂的方法来确保有效解的计算 .就是正则化方法也2奇异值分解 A:U? ,? u v?,

对于与方程 f类似的问题，如，正则化解可以表示为 3 1例其

X?mi}I} xf, } E?? I ? n? Ll

() 1 2

1为 E c da x u l en范数， i正则化参数表示正则项 x 6弄？ I曰 I

残差范数Jx的权重。泛函L的正则化矩阵可取为单位矩阵或 JI LJ 1其中 c?, ), .和？ V分别称为矩阵 A的正交列 . (… )者其一阶或二阶导数的形式 .具体形式要看所求解的问题的实际情况标准形式的 Tk o o i n v正则化方法的泛函 L的正则化矩 h阵为单位矩阵正则化泛函一般情况下由对应于原问题和对应

向量， u? ? H? 0.为按递减顺序排列的非负对，, d, . )角元素， 即？?? l 2 7…??, () 6——

16 2

——