语音驱动人脸唇形动画的实现

提出了一种实现语音直接驱动人脸唇形动画的新方法。结合人脸唇部运动机理,建立了与唇部运动相关肌肉拉伸和下颌转动的唇形物理模型,对输入的语音信号进行分析和提取其与唇部运动相关的特征参数,并直接将其映射到唇形物理模型的控制参数上,驱动唇形动画变形,实现输入语音和唇形动画的实时同步。仿真实验结果表明,该方法有效实现了语音和唇形的实时同步,唇形动画效果更接近自然,真

维普资讯 http://doc.guandang.net

第 3卷第 1期 3 8V1 3 o. 3

计

算

机

工

程

20年 9 07月S p e b r2 0 e tm e 0 7

N o .

Co p t rEn i e rn m u e gn e i g

多掳体技术及应用 }

文编： 0 _3 8 0 ) _l9 0章号 1 0_ 2(0 l一 3- 3文标码： o-4 2 7 8 2 L _献识 A

中分类 T3圈号。 P7

语音驱动人脸唇形动画的实现林爱华，张文俊 2 1王毅敏 2 1赵光俊(. 1上海大学通信与信息工程学院，上海 207;2 002 .上海大学影视艺术技术学院，上海 207) 00 2摘要：提出了一种实现语音直接驱动人脸唇形动画的新方法。结合人脸唇部运动机理，建立了与唇部运动相关肌肉拉伸和下颌转动的唇

形物理模型，对输入的语音信号进行分析和提取其与唇部运动相关的特征参数，并直接将其映射到唇形物理模型的控制参数上，驱动唇形动画变形，实现输入语音和唇形动画的实时同步。仿真实验结果表明，方法有效实现了语音和唇形的实时同步，唇形动画效果更接近自该然，真实感更强。且该唇形物理模型独立于人脸几何模型，可广泛应用于各类人脸唇形动画的语音驱动，具有良好的普适性和可扩展性。

关健词：唇形动画；唇形物理模型；语音唇形同步

Re lz to fS e c d i e ca p Ani a i n a ia i n 0 p e h- rv n Fa i l Li m toL NAi u Z I . a, HAN n u WA i n, HAO Gu n - n h G We￣ n, NGY . Z mi agu j( . h o mm u iain& If r t nEn ie rn, h n h i 1Sc o l Co of nc to n o mai gn e g S a g a o i Uniest, ha g a 0 0 2 v riy S n h i 0 7; 2

2 S h o o i Vie t T c n l g, h n h i n v ri, h n h i 0 0 2 .colf l F m d o Ar& e h oo y S a g a U ies y S a g a 2 0 7 ) t

[ src]A e p raho ec—r e aili y c rnzda i t nipeetd B sdo ea ayigmeh ns o efca l Abta t n w apoc f pehd vnfca l sn ho

ie mai rsne. ae nt nlz ca i s i p n o s h n m f ai p h t limo i n, ep sc l t o t hy ia h mod lo e f mus l sa d ma d b e c re p nd n i o o se tb ih d a d t e i p t p e h i nay e d p r me e i e ce n i l o r s o i g t l m t n i sa ls e, n O p i n n u e c sa l z d a a a t r d h s n z i t e f a u e c e ce t, d t a r p e e c n r lc e c e so e l d l t e e l i t n i r n d r c l n ut p e h, n o t e t r o f i n s a t e ma p d t t o t o f int ft i mo e, n t i a ma i sd ve ie tybyi p e c h i n h a Oh o i h p h h pn o i s a d isr a—i y c r n z t n i r a ie .T e r s ls o i n t e lt me s n h o i a i s e lz d h e u t fsmul t n h w h tt e i p ts e c n a i ll i to s s n h o ie r o a o s s o t a n u p e h a d f c a i a ma i n i y c n z d mo e i h pn r p e ie y a d e ce ty i i y a d t e e f c e l i s o a i l i n ma i n d r p e h a e g e ty i r ve,a d d e t e l d li r c s l f i n l n t s wa, n i h n fe tr a i e ff c a p a i t u ng s e c r a l mp o d n u o t i mo e s h t l o i r h p i d p n e tt eg o￣ cf ca d l i i l o s t b ef rs e c r e i n t efe d o a i u a i l n ma i n . ne e d n t e me a i l Oh mo e, t sa s ui l o p e h d v n l i l fv o s f ca i t s a i ps h i r a o

[ ywod]l nma o;h s a pmo e;pehl y crnzt n

Ke r s i a i t n p yi li dlsec—psnho ia o p i c l i i

l概述近年来，人脸动画技术在数字娱乐、人机交互以及远程

制作中烦琐的声像同步过程，而且能为实时交互式计算机动画应用提供一条新的互动途径。

会议等方面得到了广泛的应用，实现语音与唇动面部表情之间的同步是人脸动画的关键之一。目前就语音与人脸唇形动画的同步驱动的研究与实现方法可分为两类：一类是基于文

2人脸唇部运动机理从解剖学角度，人脸面部组织可精细划分为 6层包括表皮层、真皮层、皮下脂肪层、筋膜层、肌肉层和骨骼层，而表皮层、真皮层、皮下脂肪层和筋膜层统称为皮肤层，所以

本输入，通过分析给定文本的音素确定口型和表情，生成人脸动画，再由文本合成与唇型同步的语音，使人们在听计算机说话的同时可以看到一个说话的人头…。但是这种合成的声音听起来不太真实自然；另一类是基于语音信号输入，它又分为通过语音识别和不通过语音识别两种不同方法，前者通过语音识别出语音信号的音素序列(h n me, p o e )再将其转换为按时间排列的视素序列(i me, vs )按照某种规则驱动与其基 e本视素对应的唇形。此方法直接、有效，但忽视了动态因素和同步问题，很难协调潜在的语音段落与唇形运动之间一致

人脸面部组织可粗略分为 3层：皮肤层，肌肉层和骨骼层。 骨骼的大小和形状决定了人脸的基本轮廓，人脸除下颌骨可转动外，其它骨骼基本上不动，下颌骨的转动可影响嘴唇的 张闭；脸部肌肉层富有良好的弹性，它的丰满程度决定了人脸的外部特征，同时肌肉的拉伸可以产生各种脸部表情；而皮肤层仅仅体现面部的色泽和衰老程度，它对人脸的几何模型变化影响不大。

人在说话时，是由下颌的转动、舌头的自由活动、唇的 展开或收缩以及控制气流进入鼻腔的软腭，使口腔形成不同

性。后者不通过语音识别，直接将语音特征参数映射到人

脸动画参数上，如通过聚类和机器学习的方法学习语音信号和唇动面部表情之间的同步关系，再利用神经网络直接将语

功能的共鸣器，气流通过时发出不同声音。人脸的唇部是一个复杂的非刚体模型，其形变过程由分布在面部的肌肉组织

音特征参数映射到 MP G. E 4定义的人脸运动参数(A )式 F P模中H

。这种方法不仅可以回避语音识别遇到的问题，同时又】

的收缩以及人体下颌骨的运动来控制，图 1给出了与唇部运动相关的面部肌肉示意图。考虑到说话时，影响唇形变化基金项目：上海市教育委员会科学发展基金资助项目(4 B 5 0A 4)

能与真人发声有效地实现同步，强真实感和逼真度。语音增直接驱动三维计算机虚拟动画角色的动作，是计算机动画设计与制作技术的进步，可以极大地拓展计算机动画技术的应用空间。

作者筒介：林爱华(9 l,, 18一)女硕士研究生，主研方向：图形图像处理，人脸动画等；张文俊，教授、博士生导师；王毅敏，讲师； 赵光俊，硕士研究生

本文在分析人脸唇部运动机理的基础上，提出了一种语音驱动人脸唇形动画的新方法。本方法不仅能大大简化动画

收稿日期：20—01 061—5

Ema:a a17@13 o - i i l 7 6. m l w 0 c一

2 9- 3一