0 概述

颅面复原是一项以未知身份的颅骨为输入, 按照法医学和解剖学中颅骨和面皮关系还原人的相貌的研究^[1]。在公安法医学领域, 为了以更快的速度查明案件, 办案人员需要及时获悉尸体的身份信息, 由于尸体保存环境和发现时间这2种因素不稳定, 尸体软组织高度腐烂的情况屡见不鲜, 因而死者的容貌信息难以确定, 这无疑使得侦破案件的任务变得尤为艰巨。十九世纪中叶, 人们开始了对于颅面复原方法的探索, 其发展过程主要划分为传统手工颅面复原和计算机辅助颅面复原2个重要时期。1895年, 解剖学家His协作雕塑家Seffner依据音乐家巴赫的遗体还原了其生前容貌, 这也是首次在采用科学方法的基础上依据颅骨来恢复人脸。自此, 颅面复原技术进入更深层的研究阶段。

传统手工复原方法主要是利用黏土等材料并采取手工描绘或雕塑的方式, 由经验丰富的画家和人类学家合作实现面貌的复原。但这种手工复原方法主要依据的是丰富的个人经验, 人在其中发挥的作用和影响所占比例过大, 复原的过程复杂耗时且不能重复, 因此, 这种方法在实际应用中的效率和准确性都不理想。

基于近几十年来科技的迅猛发展, CT、核磁共振扫描等新技术的应用, 使得获取高精度的颅面数据更加方便, 同时计算机图形图像技术和可视化技术的快速发展在颅骨面貌复原的研究领域产生了巨大的影响, 颅面复原技术的探索进入到第二时期——计算机辅助颅面复原。计算机技术的介入使得复原的准确度得到了显著提高, 同时复原结果也更加真切、高效。计算机辅助的颅骨面貌复原技术又大体包含基于知识的颅面复原方法和统计模型法2种。

鉴于颅骨及其面貌本身复杂的形态结构, 本文通过归纳和分析计算机辅助颅面复原技术, 对各种不同方法进行阐述。

1 相关研究

基于知识的颅骨面貌复原方法是利用软组织厚度进行的复原, 文献[2]提出了模板法, 即在模板库中选择模板, 然后根据软组织厚度数据将模板通过变形作用覆盖到待复原颅骨, 从而得到复原的结果, 这里的模板库是以搜集到的软组织厚度数据为基础构建的, 而模板的选定是参照待复原颅骨的体质指数等因素完成的; 文献[3]使用对照匹配法, 把参考颅面全套的软组织厚度一点点地添加到目的颅骨上, 直至待复原颅骨上的所有顶点的软组织厚度均被确定完毕, 由此完成复原; 文献[4]采用软组织厚度图来获取颅面稠密采样点的软组织厚度分布; 文献[5]在多个颅骨样本上构建了特征点集, 其中选取的特征点密集地分布在颅骨样本上, 并依据年纪和性别两种属性整理剖析了颅骨样本上每个特征点的软组织厚度, 在此前提下完成颅骨面貌复原。

近年来, 统计模型的融入对于颅面复原技术起到了关键的作用, 使得颅面复原的效率和准确度获得了较大的进展, 颅面复原效果也得到了显著提升。基于统计模型的方法通过对大量颅面数据的统计分析, 学习颅面复原的内在特征和固有规律, 获取颅骨和相貌特征之间的本性关系, 并依据这种关系进行面貌复原。文献[6]提出建立颅面统计模型, 并使用颅骨上52个特征点和面皮上的稠密点网格来表示面皮和颅骨数据。文献[7]引用相似的统计模型, 利用稀疏网格来表示面皮和颅骨数据。文献[8]提出了层次化统计模型, 将颅骨和面皮数据以稠密点云的形式呈现出来, 而重现人脸的最终复原结果借助融合全局和局部形变模型来实现。相对来讲, 统计模型能够做出更加清晰的表达, 通过它很容易从颅面数据库中获取到颅面形态的变化规律, 所以它能够使得复原结果更加真实, 但若使用的稀疏网格或标记点不够合适, 复杂人脸和颅骨曲面的建模就很难顺利实现。而统计复原方法中的回归模型方法是近几年新出现的颅面统计复原技术, 通常它利用构建颅骨到面部形态的回归模型来获取颅骨与面貌之间的内部关系。文献[9]利用稀疏网格来表示颅骨和面皮数据, 并通过构建颅骨特征点到面皮的回归模型来完成复原, 但稀疏网格限制了颅骨上特征点的数目, 且特征点在颅骨上所处的方位也不确定, 使得复原结果达不到理想的状态。文献[10-11]提出面貌对颅骨的层次化回归模型来实现面貌复原, 且回归模型构建过程中融合了偏最小二乘回归的方法, 建模效率由此获得了提高。与统计形变模型方法相比, 回归模型方法能够更直接更合理地反映颅骨与面貌之间的内在关系。

传统的颅面复原方法综述未包括近年来新出现的更高效的计算机辅助颅面复原技术, 比如统计模型法现已成为颅面复原研究领域较为热门的关注点, 而基于知识分析模型的颅面复原也出现了新的技术, 本文将在加入这些新方法的基础上对计算机辅助颅面复原中的典型方法进行归纳和梳理, 以供相关研究工作者参考。另外, 在医学领域, 颅面复原在医学整容方面运用得比较广泛, 在医学整容手术尚未进行实际操作前, 允许利用复原技术来对整场手术做出一个虚拟的展示, 这样手术效果便可以得到清晰的呈现。另一方面, 颅面复原技术还可以应用在考古学领域, 比如人们熟知的马王堆辛追夫人、秦朝侍女等。

2 传统颅面复原方法

为能够更加清晰地了解传统颅面复原方法, 人们又将其大致分为二维传统颅面复原和三维传统颅面复原。二维复原是由资历深、阅历丰富的艺术家、人类学家或者法医人员依据颅骨参照图等将逝者去世前容貌刻画出来; 而三维复原主要采用的方法则是在颅骨模型上构建一些特征点, 这些特征点均具有一定高度, 然后将软组织用黏土等材料填充, 在特征点中利用塑形的方法完成面貌复原。十九世纪末, 解剖学家维尔黑姆·西斯提出依据骨骼解剖学的特征来对人像进行雕刻, 从而逐步恢复逝者去世前容貌, 并与雕刻家塞弗内协作完成了对音乐家巴赫的遗骸的复原。二十世纪二三十年代, 雕刻复原法盛行, 随之泥塑复原法也因此沉寂^[12]。

传统颅骨面貌复原方法的结果如图 1所示。

在传统颅面复原方法中, 不管是通过二维复原方法还是三维复原方法来恢复容貌总会遇到以下难题^[13]:1)之前提到的方法过程都比较繁琐, 所以容易出现耗时过长的问题; 2)在传统颅面复原方法中, 只有特征点的高度和位置的相关数据是客观存在的, 其余部分的复原都是以资历深的专家在以往频繁实践中积累的丰富知识为前提, 这样人在复原过程中的影响和作用所占的比例就会变得很大, 那么复原结果的精确度和可靠度将得不到保障; 3)人的血统和生存环境等因素造成人的个体之间的差异, 从而人类面部的软组织和形态结构也存在各式各样的差别, 通过传统颅面复原方法进行面貌的复原, 通常获取到的是该颅骨面向某类人种的大致面貌, 受颅骨所属种族等因素的影响, 对于某一特定颅骨通常会在同一时间内生成多个面向该颅骨的复原人脸; 4)通过上述几种传统复原方法复原出的人脸在之后的修正方面都有很多难以跨越的阻碍。

3 计算机辅助颅面复原 3.1 计算机辅助颅面复原介绍

计算机辅助颅面复原在计算机各种先进功能的强有力支撑下, 使得复原更加客观、高效。截至目前, 为更加直观地了解计算机辅助颅面复原, 人们一般将它继续分为基于知识的颅面复原和基于统计模型的颅面复原2种类型。

基于知识的颅面复原方法是以面部软组织厚度分布规律为前提进行的复原, 包括基于稀疏软组织厚度和基于稠密软组织厚度的颅面复原方法, 而后者按如何计算软组织厚度又分为显式的和隐式的方法。

在以基于软组织厚度的颅面复原方法进行的复原下, 颅面形态变化的复杂性与多样性难以得到有效描述, 从而难以精确地反映颅骨与面貌形态间的本质关系。而统计学习方法能够帮助人们更有效地从大量训练样本中获取复杂对象的形状信息, 统计模型复原法^[14-16]是刚兴起不久的新型复原方法, 这种复原方法具有扎实的理论基础, 在颅面复原研究领域中已成为一个备受关注的热点。

目前的统计颅面复原方法一般可划分为统计形变模型方法和回归模型方法。起初统计形变模型方法被广泛应用于颅面统计复原。所谓的颅面统计形变模型本质上是一种变形模板, 且这种模板可参数化, 参数变化能够引起模板的动态调整, 对统计模型进行优化, 使之与目的颅骨达到配合相称的状态, 并取得统计模型参数, 从而完成颅面复原。而回归模型方法是利用构建颅骨到面部形态的回归模型来学习颅骨决定面部形态这一关系。相对于统计形变模型方法, 回归模型能够更直接更合理地反映颅骨与面貌之间的内在关系。

3.2 基于知识的颅面复原方法

目前大部分计算机辅助的颅面复原方法都是基于特征点的面部软组织厚度规律。一般来讲, 这类方法的大体脉络是:对目标颅骨复原其面貌时, 可以根据目标颅骨的属性选择合适的预先统计的面部软组织厚度值来复原面貌, 或者在颅面数据库中选择一个或多个与目标颅骨属性类似的颅骨面貌样本, 并获悉选中样本的面部软组织厚度分布规律, 以此指导目标样貌的复原。

根据在面貌复原过程中用到的面部软组织厚度值的数量可以把这类复原方法继续分为以下2种类型:基于稀疏软组织厚度的颅面复原方法和基于稠密软组织厚度的颅面复原方法。

3.2.1 基于稀疏软组织厚度的颅面复原方法

计算机辅助的基于稀疏软组织厚度的通用颅面复原方法是标明选定好颅骨模型上的特征点后, 定义一个人脸模板, 然后把人脸模板通过变形罩到复原颅骨上, 并使其满足颅骨模型上标志点位置上软组织厚度的约束, 从而实现容貌复原, 该方法的详细步骤如下:

步骤1   数字化待复原颅骨, 获得其三维模型。

步骤2   选定并标明数字化后的颅骨模型上的特征点。

步骤3   在待复原颅骨一些特征点的位置沿法线方向上手工或自动地放置一些虚拟木钉。通过相应的特征点位置, 在软组织厚度统计表中依据待复原颅骨的性别、年纪等影响因素进行搜索, 可以得到所需数值, 或者可以通过函数的计算得到需要的数值, 该数值的大小即为木钉的长度^{[2, 17]}, 木钉的端点称为人脸特征点。

步骤4   在人脸模板上手工或自动地标注与颅骨对应的特征点, 建成其中人脸模板的方式有多种, 它可以通过统计模型来建立, 同时也可以通过其他建模方式或者软件来处理^[17-18]。

步骤5   将参考人脸借助某种变形方法“覆盖到”待复原颅骨上, 并使得变形后的人脸模板上的特征点和待复原颅骨上的人脸特征点的所处方位达到配合相称的状态, 由此得到复原结果。目前应用最普遍的变形方法有基于B样条的方法^[18]、基于径向基函数(RBF)的方法^[17]和移动最小二乘法^[19]等, 而其中最常见的径向基函数为薄板样条函数(TPS)。

基于稀疏软组织厚度的颅面复原实例如图 2所示。

基于稀疏软组织厚度的颅面复原方法, 是通过依赖颅骨或人脸上少量特征点的软组织厚度与属性之间的统计规律来解决已知面部少量顶点的坐标, 然而人脸软组织厚度的分布规律却难以得到完整以及准确的表示。

3.2.2 对照匹配法

对照匹配法^{[3, 20-21]}属于显式的稠密软组织复制方法, 其实质是将参考颅面的全套的软组织厚度一点点地复制, 然后添加到目的颅骨上, 这种计算机辅助颅面复原技术是在颅面全部的软组织厚度的约束下成立的, 其中比较典型的是英国格拉斯哥研究院负责研制的人脸复原系统。

对照匹配法是对待复原颅骨通过CT扫描或者三维扫描仪进行数字化获得其三维模型; 然后在颅面数据库中找到一个与待复原颅骨属性相似的活体颅面(包括一个颅骨和对应的人脸模型)作为参考颅面模型, 并通过配准算法把待复原颅骨与参考颅骨实行配准, 使得待复原颅骨和参考颅骨获得对应; 在参考颅骨相对于自身原本应该在的位置上对其厚度进行求解, 再在待复原颅骨的这个对应点处加上上一步获取到的厚度, 并将此过程进行重复, 直至待复原颅骨上所有顶点的软组织厚度均被确定完毕, 由此完成复原。

这种方法的缺点是数据信息数量太大, 整个过程耗费时间过长, 并且复原结果受配准算法的精度影响大。此外, 由于复原出的相貌十分近似于参考人脸的原始面貌, 因此对于同一个待复原颅骨, 倘若对其选择不同的参考颅面进行复原, 产生的复原结果可能会不同, 那么复原的准确度和客观性难以得到保障。

3.2.3 模板变形法

模板变形法^[22-25]是一种隐式的稠密软组织复制方法, 不需要计算面部各顶点的软组织厚度, 而是利用变形来达到复制软组织厚度的目的。这种方法的具体做法是:研究人员应当首先将数据库中与待复原颅骨属性相契合的参考颅骨连同对应的参考人脸模型选定, 然后把参考颅骨通过变形算法与待复原颅骨进行配准, 使得变形后的参考颅骨尽可能和待复原颅骨相同, 同时把同样的变形作用到参考颅骨对应的人脸模型上, 变形后的参考人脸模型即可近似看作为待复原面貌, 如图 3所示。文献[26-27]利用薄板样条函数(TPS)和CSRBF(Compact Support Radial Basis Function)对参考颅骨模型和待复原颅骨模型实施配准, 如图 4所示, 计算所有样本每个对应顶点的面部软组织厚度的均值^[28], 在此条件下对参考人脸模型实施变形作用, 这里的变形也是通过TPS实现的, 从而得到复原容貌。

模板变形法中的变形作用通常是作用于整个人脸模型, 颅骨与面貌五官之间的互相联系并未被列入考虑范畴, 这样获得的复原面貌的基本外形和待复原颅骨的真实面貌很接近, 但在五官等细节的复原上又与真实容貌之间具有较大的区别。针对这一问题, 文献[28]首先利用模板变形法完成对给定颅骨未知面貌的第一步复原, 并在此结果条件下将与颅骨形态契合的五官模型从五官库中选出来, 将其进行配准融合, 从而完成面貌最后的复原。基于模板变形和五官替换的复原结果如图 5所示。

上述提到的对照匹配法和模板变形法均属于基于稠密软组织厚度的颅面复原方法。这种方法在复原过程中由于利用了参考颅骨稠密顶点或全部顶点的软组织厚度分布, 所以相较于基于稀疏软组织厚度的颅面复原方法, 此类方法的复原结果准确度更高。然而, 通过此类方法进行面貌复原需要考虑采用配准算法精度的问题, 且配准算法精度对复原过程的影响不可小觑, 而目前颅面复原中常用的配准方法, 其配准精度不够高, 因此, 需要提出更先进的配准方法对此类方法进行改进。

3.3 统计模型法

由于基于稠密软组织厚度的颅面复原方法缺乏统计性, 它是把一个参考样本的软组织厚度显式或隐式地复制给待复原颅骨, 导致复原结果和所选的样本很相似。为了克服这一缺陷, 可将该方法进一步推广至统计复原, 即在数据库中根据待复原颅骨的属性选取多个参考颅面样本, 然后对每一个参考颅面样本作适当的变形获得一个复原结果, 最后对所有复原结果进行主成分分析(PCA), 并通过改变主成分的系数, 获得一系列可能的复原结果。

关于结合统计模型的颅面复原, 文献[6, 16]在颅面复原研究中引用统计模型, 并在颅骨上标记52个特征点, 将面貌以稠密点集的形式呈现出来, 并利用处理好的颅骨和面貌构建基于PCA的统计模型。文献[7, 29]采用类似的统计模型建立了稀疏网格表示的颅面变形模型。文献[8]提出层次化统计模型, 采用稠密点云来表示面皮和颅骨数据, 但稠密点的颅骨样本数据量大且处理困难。文献[30]提出了更加完善的基于分区的颅面复原方法, 这种方法同样是构建了类似的基于PCA的统计模型, 同时依照人类的生理结构特征对颅骨模型、面皮模型实施划区分割, 然后对于各个分区一一完成容貌的复原, 最后连接各分区的复原结果, 相对来讲运用该方法得到的复原结果与真实容貌相差最小。但此方法带来的颅面模型“小样本问题”使得复原的准确率得不到保证。文献[11]依照五官区域将面皮分割为5个区域, 在对颅骨进行分区时, 所有与面皮相应部分有联系的区域都要包含进来, 以保证颅骨分区决定面皮分区这一关系, 并建立与5个区域相应的颅骨与面皮之间的PLSR(Partial Least Squares Regression)映射模型, 提出基于分区的PLSR颅骨面貌复原方法。以上这些模型与传统基于软组织厚度的复原方法的相异之处在于, 它尝试借助统计的方法分析多样本数据, 并努力从中认识和学习颅面复原的统计规律。

颅面统计复原方法主要分为统计形变模型方法和回归模型方法^[31-33]。起初研究人员致力于利用统计形变模型来完成颅面统计复原, 统计形变模型方法的大致步骤是联合颅骨数据和面皮数据为一个整体, 然后依照结构一致的颅面特征数据建立基于主成分分析(PCA)的颅面统计模型, 即对颅骨和面皮数据的变化进行建模, 基于PCA的颅面统计复原方法的步骤如下:

1) 读入颅骨数据S_i和面皮数据F_i。

2) 合并颅骨与面皮向量:将一套颅骨和面皮按特征点的坐标排列一个高维的形状向量, 假定有N个训练样本, 并记为下式:

$ \begin{array}{l}{\boldsymbol{H}_{i}=\left(S_{i}, F_{i}\right)^{\mathrm{T}}=} \\ {\left(x_{i 1}^{S}, y_{i 1}^{S}, z_{i 1}^{S}, \cdots, x_{i n 0}^{S}, y_{i n 0}^{S}, z_{in 0}^{S}, x_{i 1}^{F}, y_{i 1}^{F}, z_{i 1}^{F}, \cdots, x_{i n 1}^{F}, y_{i n 1}^{F}, z_{i n 1}^{F}\right)^{\mathrm{T}}}\end{array} $

(1)

其中, S_i表示颅骨特征数据, F_i表示面皮特征数据, n₀、n₁分别表示颅骨和面皮特征点的顶点数目。

3) 利用主成分分析方法获得特征值向量和特征向量矩阵, 并获得主成分:

对N个样本变量的协方差矩阵进行计算(零均值化的矩阵):

$ \boldsymbol{C}_{\boldsymbol{H}}=\frac{1}{N}\left(\boldsymbol{H}_{i}-\bar{H}\right)\left(\boldsymbol{H}_{i}-\bar{H}\right)^{\mathrm{T}} $

(2)

其中, $\bar{H}=\frac{1}{N} \sum\limits_{i=1}^{N} \boldsymbol{H}_{i}$是样本向量的均值。

这里的m由特征值的贡献率$\sum\limits_{k=0}^{m} \lambda k / \sum\limits_{k=0}^{N} \lambda k$大于某一特定值(例如98%)来确定。根据大于某一给定值, 对C_H求特征值和特征向量, 并在特征值的降序排列中取前m个最大的特征值λ=(λ₁, λ₂, …, λ_m)及相应特征向量U=(U₁, U₂, …, U_m)。

4) 通过变形系数α计算人脸, 获得复原结果, 颅面空间的任一形状可近似表示为主分量的组合形式:

$ \boldsymbol{H} \bmod e l(\alpha)=\bar{H}+\sum\limits_{i=1}^{m} \alpha_{i} h_{i} $

(3)

其中, α=(α₁, α₂, …, α_m)为组合参数, 且α_i服从高斯分布规律, 即:

$ P(\alpha) \sim \exp \left[-\frac{1}{2}\right] \sum\limits_{i=1}^{m}\left(\alpha_{i} / \sqrt{\sigma_{i}}\right)^{2} $

(4)

其中, h_i为最后原始样本向量的主分量, 可以通过以下线性组合给出:

$ h_{i}=\left(H_{1}-\bar{H}, H_{2}-\bar{H}, \cdots, H_{N}-\bar{H}\right) U_{i}, 1 \leqslant i \leqslant m $

(5)

而回归模型方法是利用构建的颅骨到面部形态的回归模型来认识和学习颅骨对面皮的决定关系。与统计形变模型方法相比, 回归模型能够更直接更合理地反映颅骨与面貌间的内在联系, 目前在颅骨面貌复原领域中备受人们关注, 诸多研究人员也越来越倾向于研究结合了回归模型的颅面复原方法。

3.3.1 基于最小二乘拟合的颅面统计复原方法

文献[7]提出的最小二乘法是最早的颅面统计形变模型复原方法, 将待复原的面皮看作统计形变模型中的缺失数据, 并利用最小二乘拟合对缺失数据进行求解, 完成颅面复原。

线性PCA模型可以进行扩展, 并估计出模型中部分可见的未知部分。假定未知颅面用$\boldsymbol{H}=\left[\begin{array}{l}{C} \\ {X}\end{array}\right]$表示, 其中, X未知, 令H= H+ϕb

颅面空间中的任何一种形状可用式(6)表示。

$ \left[\begin{array}{c}{C_{1}} \\ {\vdots} \\ {C_{n}} \\ {X_{1}} \\ {\vdots} \\ {X_{m}}\end{array}\right]=\left[\begin{array}{c}{\bar{C}_{1}} \\ {\vdots} \\ {\bar{C}_{n}} \\ {\bar{X}_{1}} \\ {\vdots} \\ {\bar{X}_{m}}\end{array}\right]+\left[\begin{array}{cccc}{\Phi_{1, 1}} & {\varPhi_{1,2}} & {\cdots} & {\varPhi_{1, n+m}} \\ {\varPhi_{2, 1}} & {\varPhi_{2, 2}} & {\cdots} & {\varPhi_{2, n+m}} \\ {\vdots} & {\vdots} & {} & {\vdots} \\ {\varPhi_{n+m, 1}} & {\varPhi_{n+m, 1}} & {\cdots} & {\varPhi_{n+m, n+m}}\end{array}\right]\left[\begin{array}{c}{b_{1}} \\ {\vdots} \\ {b_{n}} \\ {b_{n+1}} \\ {\vdots} \\ {b_{t}}\end{array}\right] $

(6)

那么未知向量可表示为:

$ \left[\begin{array}{l}{C} \\ {0}\end{array}\right]=\left[\begin{array}{cc}{\boldsymbol{\varPhi}_{C}} & {0} \\ {\boldsymbol{\varPhi}_{X} } & -I_{d}\end{array}\right]\left[\begin{array}{l}{\boldsymbol{b}} \\ {X}\end{array}\right] $

(7)

$ T=MZ $

(8)

$ \boldsymbol{\varPhi}_{C}=\left[\begin{array}{cccc}{\varPhi_{1, 1}} & {\varPhi_{1, 2}} & {\cdots} & {\varPhi_{1, t}} \\ {\varPhi_{2, 1}} & {\varPhi_{2, 2}} & {\cdots} & {\varPhi_{2, t}} \\ {\vdots} & {\vdots} & {} & {\vdots} \\ {\varPhi_{n+m, 1}} & {\varPhi_{n+m, 2}} & {\cdots} & {\varPhi_{n+m, t}}\end{array}\right] $

(9)

$ \boldsymbol{\varPhi}_{X}=\left[\begin{array}{cccc}{\varPhi_{n+1, 1}} & {\varPhi_{n+1, 2}} & {\cdots} & {\varPhi_{n+1, t}} \\ {\varPhi_{n+2, 1}} & {\varPhi_{n+2, 2}} & {\cdots} & {\varPhi_{n+2, t}} \\ {\vdots} & {\vdots} & {} & {\vdots} \\ {\varPhi_{n+m, 1}} & {\varPhi_{n+m, 2}} & {} & {\varPhi_{n+m, t}}\end{array}\right] $

(10)

以上表示的线性系统具有n+m个方程, 同时拥有n+m个未知数, 该线性系统无解。由于PCA可以表示t < n+m值的数据集, 如果假设t=n, 则方程组得到独一无二的解。而当t＜n时, 根据最小二乘法可对如下最小化问题做出解答:

$ \min \left\| { \left[\begin{array}{c}{C} \\ {0}\end{array}\right]-\left[\begin{array}{cc}{\boldsymbol{\varPhi}_{c}} & {0} \\ {\boldsymbol{\varPhi}_{x}}& -I_{d}\end{array}\right]\left[\begin{array}{l}{\boldsymbol{b}} \\ {X}\end{array}\right] } \right\|^2 $

(11)

损失函数为:

$ J(b, X)=\left[C- \mathit{\boldsymbol{\varPhi}}_{c} \times \mathit{\boldsymbol{b}}-X+ \mathit{\boldsymbol{\varPhi}}_{X} \times \mathit{\boldsymbol{b}}\right]\left[\begin{array}{c}{C- \mathit{\boldsymbol{\varPhi}}_{c} \times \mathit{\boldsymbol{b}}} \\ {-X+ \mathit{\boldsymbol{\varPhi}}_{X} \times \mathit{\boldsymbol{b}}}\end{array}\right] $

(12)

基于最小二乘法的颅骨面貌复原是颅面统计复原中最基础的一种方法, 可以线性求解, 但因为需要通过手工或半自动的方式标记特征点来建立统计模型, 复原过程耗时耗力, 且手工标记的不确定性也降低了复原的准确度。Berar采用了15个样本进行实验, 重构的平均误差达到6 mm。

3.3.2 基于后验概率最大的颅面统计复原方法

最大后验概率的估计方法是针对那些难于识别到的量, 该方法依据以往获取到的数据, 取得对它们的点估计, 基于后验概率最大的颅面复原方法采用贝叶斯估计框架对一个观察到的新的颅面进行统计形变模型H mod el的拟合。通过对样本的观察, 贝叶斯估计将数的先验概率转化为如下的后验概率:

$ P( \mathit{\boldsymbol{b}}| \mathit{\boldsymbol{H}})≈P( \mathit{\boldsymbol{H}}| \mathit{\boldsymbol{b}})p( \mathit{\boldsymbol{b}}) $

(13)

文献[6]提出基于后验概率最大的方法, 该方法是最具代表性的统计形变模型复原方法, 是非常有用的理论框架, 它拥有一套功能强大且开发良好的数学技术, 并且有明确的假设。采用52个颅骨标志点来表示颅骨, 用稠密点云表示面皮并附加鼻尖点作为额外的面皮标志点, 如图 6所示。假设建立的统计形变模型为:

$ \boldsymbol{H} \bmod e l(\boldsymbol{b})=\bar{H}+\sum\limits_{i=1}^{m} \alpha_{i} h_{i} $

(14)

其中, b=(b₁, b₂, …, b_t)^T是模型参数。

文献[11]提出的CFM是通过为软组织厚度编码使其作为脸部52个标志点的额外值改善合并灰度值纹理信息。利用隐式的目标颅骨表示(TSR)来获得完全自动化且一致的技术。与目标颅骨相关的最可靠的人脸是通过利用对小(噪声)和异常值鲁棒的期望最大化的程序计算的。实验结果证实了贝叶斯框架公式对颅骨数据中的噪声和异常值是鲁棒的。

3.3.3 基于层次化颅面统计模型的复原方法

由于颅面形态变化复杂, 采用单一的全局颅面模型很难描述颅面局部相对独立的形态变化, 如五官形态的变化。为了使颅面形态变化的规律能够在构建的统计模型下得到更清晰的体现, 研究人员探索发现了基于分区统计模型的复原以及层次化的颅面统计模型, 该模型能够更好地处理问题。

文献[8]将颅骨数据和面皮数据以稠密点云的形式呈现出来, 提出的层次化统计模型将颅面复原分为2个部分, 即局部统计模型的复原和全局统计模型的复原。全局统计模型的复原是针对颅面基本形状和整体结构的复原, 局部统计模型用来表示五官等局部形态的变化, 是针对五官等局部区域的精确复原, 但该模型稠密点的颅骨样本数据量大且处理困难。样本平均颅面作为参考颅面的分区如图 7所示。

为建立层次化的统计模型, 在颅面数据配准后, 需要对颅面进行分区。具体的分区需要根据颅面的几何特征提取三维颅面的特征点、线, 提取特征线是一项特别繁杂的艰巨任务。考虑到三维颅面样本数据经过数据配准已经建立了点到点的对应关系, 只要对一个参考颅面分区, 就可以根据这种对应关系得到其他颅面的分区。文献[22]的局部颅面重构方法包括2个阶段:第1阶段是学习面部和颅骨的关系, 此阶段将归一化头骨和人脸分割成7个区域, 并定义了局部坐标系来统一头骨区域和相应的面部区域; 第2阶段是由一个给定的颅骨重建一张人脸, 首先将颅骨转化为全局坐标系, 并用配准方法进行归一化处理, 然后将其分割成7个区域, 这些区域将被转换为局部坐标系, 接着利用在第1阶段得到的关系创建人脸区域, 随后将其转换回全局坐标系, 最后对这些区域进行拼凑, 尽可能地为颅骨融合出一个接近于真实容貌的人脸。

如何把全局模型和各个局部模型的复原结果融合为一个整体面皮是一个关键问题。为了得到较好的融合效果, 分2个步骤实现局部模型与全局模型的融合:1)将全局模型和局部模型通过旋转平移变换到同一个空间位置; 2)根据局部模型的边界点以及局部模型与全局模型上点的对应关系确定边界拼接。局部模型与全局模型的融合如图 8所示。

从图 8可以看出, 相比于脸部的其他部位, 脸部的特征区域会有更少的重构误差, 文献[34]提出一种新型的基于CSRBF的融合策略, 这种策略可以用来保持在将人脸区域粘合在一起时的重建后的特征区域, 以获得更加精确的重构, 从而极大地改善颅面复原。

3.3.4 基于统计回归的颅面复原方法

回归模型方法是近几年兴起的新型颅面统计复原方法^[35-38]。该方法的主要过程为:首先对颅骨和面皮数据分别建立统计形变模型, 接着构建颅骨到面容形态的回归模型, 从中可以学习到颅骨决定面皮这一本质关系。对于每一个样本的颅骨数据均利用之前构建的回归模型得到其对应的面皮形状参数, 由面皮统计形变模型得到估计出的人脸面皮。

文献[39]采用非参数回归建立了鼻子和下巴的局部法向量场回归模型, 基于回归得到的局部面皮的法向量场来确定这2个部位的面皮。文献[9]利用稀疏网格来表示颅骨数据和面皮数据, 并建立了颅骨特征点到面皮的回归模型, 但受颅骨特征点数目不足以及特征点所处方位不确定等因素的影响, 重构结果难以达到理想的状态。文献[3, 11, 40]先将颅骨和面皮数据投影到形状参数空间, 通过偏最小二乘回归方法构建了层次化回归模型, 面皮对颅骨的依赖关系由此体现出来, 同时这种方法解决了颅骨复原过程中的小样本问题。

此外, 文献[10]提出的基于多线性子空间分析的回归模型方法充分利用了颅面不同区域之间的相互作用, 并保持了颅面数据的内在结构。

将训练样本中的颅骨和面皮进行数据配准, 配准完成后, 把颅骨和面皮转换成所需要的二维深度图, 如图 9所示。依据颅面生理特征的差异性, 每一套颅骨和每一套面皮的深度图被划分为若干个小块, 这些小块彼此之间大小一致且有部分重叠, 并从中把颅骨张量特征u_people和面皮张量特征v_people提取出来。

构建面皮张量特征与颅骨张量特征的回归模型为:

$ \boldsymbol{v}_{\text {people }}=\boldsymbol{M} \boldsymbol{u}_{\text {people }}^{\mathrm{T}} $

(15)

利用构建的回归模型获取相应的面皮张量特征, 然后依据得到的面皮张量特征完成对其二维深度图的复原, 并将取得的深度图转化为三维数据, 从而完成重构^[41-44]。

文献[45]运用基于偏最小二乘回归模型, 并在利用该回归模型的基础上进行分区复原, 以待复原的颅骨分区为输入, 依据建立的颅骨和面皮的关系模型获得复原的各个分区的面皮, 然后对边界曲率算法做出微调, 对复原出的各个区域进行连接获取最后的复原相貌, 相对来讲, 此复原结果与真实容貌相差最小。复原人脸五官存在的细节不足的问题在这种方法下得到了有效处理, 此方法提高了五官上的复原结果的准确度, 复原结果如图 10所示。

相对于建立联合统计模型, 回归模型更容易对颅骨决定面貌这一实质关系做出充分的表示^[46-47]。在基于统计模型的颅面复原研究方面, 现有工作的主要差别在于模型数据的表示形式有所不同, 另外, 建立好模型后颅面复原过程所采用的模型匹配方法也有所差别。由于颅骨形态变化复杂, 数据的三维重构、特征提取或标定、数据配准等都存在一些困难尚未解决。

通过以上对典型颅面复原方法的详细阐述, 本文对这些方法进行分类总结, 以便对各种颅面复原方法进行更加直观的了解, 如表 1所示。

4 未来展望

目前, 有关计算机辅助颅面复原的研究已在计算机图形学、计算机视觉、法医学、人类学等科学范畴内取得了较大的进展, 相关研究课题也备受瞩目。

1) 颅面复原方法方面

颅面复原方法主要有以下3种方法:

(1) 基于软组织厚度的颅面复原方法

在基于软组织厚度的颅面复原方法中, 软组织厚度值与民族、种族、体重、性别、年纪等因素有着紧密联系, 虽然目前已有国内外许多学者开展了针对各自国家、民族、人种的颅面软组织厚度的研究, 如Manhein^[48]、Claes P^[49]、Cavanagh^[38]、Lodha^[50]、Bulut^[21]等学者分别对712个英国人、967个高加索人、154名南非黑人、489名印度古吉拉特人、320名土耳其成年人的颅面软组织厚度进行了统计研究, 但是已经建立的颅面数据库数量仍然有限, 涉及的民族、种族也有限。因此, 未来期待建立更多民族、种族以及更多数量的颅面数据库, 以便收集更全面的颅面软组织厚度信息。目前的软组织厚度在统计过程中考虑到的因素并不全面, 且针对某一因素涉及到的内容比较宽泛, 利用此类复原方法得到的重构结果也缺乏个性, 未来应积极找寻合适的算法来探索特征点软组织厚度与各影响因素之间的函数关系, 从而更精确地计算特征点处的软组织厚度。

(2) 基于统计模型的颅面复原方法

统计模型法正逐渐成为颅面复原的主流方法。统计形变模型有很强的表示能力, 可以从颅面数据库中学习到颅面的变化, 可减少由不恰当的模板带来不真实的特征, 但这些方法中存在解的不确定性问题。如使用的稀疏网格或标记点不能很好地建模复杂的人脸和颅骨曲面, 因此稀疏网格或标记点的选择是非常关键的。另外, 在这些方法中无论是稀疏点^{[4, 19]}还是稠密点^{[8, 11, 39]}表示的颅面模型, 手工或半自动的方式标记特征点费时费力且不准确, 而且用于建立统计模型的特征点之间需要建立精确的对应关系, 对应点是否准确会影响统计形变模型的表示能力, 因此如何自动选择特征点和建立特征点之间的对应是该方法的关键, 也是未来研究的重点。

通过大样本建立的统计模型可变性强, 同时统计模型还减少了人为因素对复原过程的干扰, 但此类方法对颅面配准的精度有着较高要求, 颅面样本配准的精度对之后构建的模型效率的高低有着决定性作用, 从而直接影响复原结果, 所以为了进一步提升复原结果, 需要在未来的研究中不断探索精度更高的配准算法, 进一步提升配准速度。而且, 现有颅面配准方法大部分需要手工标定特征点, 费时费力而且效果受主观影响较大, 而关于自动提取特征点方法的研究目前尚属空白, 这一方面还需人们结合法医人类学相关理论和人工智能算法进一步深入研究。期望实现不需要手工标定特征点的完全自动的高效配准算法, 颅面配准过程的自动化与智能化也是未来颅面复原技术发展的一个重要研究方向。

(3) 新的颅面复原思路

目前, 深度学习等人工智能技术在图形处理领域的成功应用为提高颅面复原精度与实现自动化、智能化提供了新的方向。考虑到机器学习领域前沿技术——深度学习强大的类脑学习能力以及生成对抗网络(Generative Adversarial Networks, GAN)^[51]在计算机视觉领域生成模型方面取得的成功应用, 未来研究基于深度学习生成对抗网络或其他生成网络, 建立颅面复原的深度学习模型, 是颅面复原研究的一个新思路。

2) 颅面复原应用方面

虽然颅面复原已广泛应用于公安法医学领域, 但颅面复原的精度还未能满足实际刑侦破案的要求, 有待进一步提高; 另一方面, 一些重大命案中有时会遇到残缺面积较大的颅骨, 这种“颅骨碎片”往往不符合鉴定要求, 对颅面复原技术提出了挑战, 针对此问题未来应致力于“颅骨碎片”的修复上, 可以利用研究颅骨的对称性来完成修复工作, 即已知颅骨一侧信息推算与之对称的颅骨另一侧的具体信息, 不断完善已知颅骨, 以此提高颅面复原的准确度。

颅面复原在医学整形学领域也初有成效, 但有关虚拟医学整形手术的应用目前仍处于被开发阶段, 需要进一步完善的地方还有很多。在虚拟手术中, 由于颅骨组织的不稳定性, 软组织应力也容易发生改变, 那么在这种情况下虚拟颅骨的软组织重构就会变得异常困难。未来可以考虑将虚拟现实融入到虚拟手术的应用中, 利用一些虚拟工具比如虚拟手术刀等来辅助手术进程、提高虚拟手术的效率, 从而大大降低医学整形手术的风险。

颅面复原技术在考古学研究方面也有很多潜在价值有待开发, 对于那些历史遗留下来有研究价值的腐尸, 可以利用此项技术对其进行复原, 有助于人们追溯人类历史, 挖掘人类文明, 总结经验, 敦促后代子孙不断进步。一般来讲, 挖掘出的古人类颅骨都是残损的, 而颅骨决定面貌这一本质关系不可小觑, 应当加大颅骨修整力度, 尽量使待复原颅骨达到完整无缺的状态, 从而保证复原效果; 由于古人类的颅面形态关系与现代人的颅面形态关系存在不小的差异, 那么依据古人类头骨进行颅面复原并不是件易事, 应当积极探索合适的方法来克服古人类与现代人颅面形态关系的差异性问题, 或者试着找寻使得现代人的颅面形态关系可以间接应用于古人类的面貌复原的办法, 使得复原出的古人脸最大程度地接近于真实人脸。

通过对相关复原理论进行补充和完善, 以及计算机应用技术的不断创新, 相信未来颅面复原技术将会有更加可观的发展前景, 计算机辅助颅面复原方法的进一步研究将会为法医学、医学和考古学等领域带来更大突破。

5 结束语

鉴于颅骨及其面貌本身复杂的形态结构, 传统的软组织厚度测量方法试图通过一些特征点或者一些局部的特征对应来研究颅骨与面貌之间的关系, 但对这种复杂对象间的关系进行周密地描述仍然存在较大的困难。与传统的基于软组织厚度的颅面复原方法相比, 统计模型利用统计的方法来分析颅面样本数据, 并从中认识和学习颅骨和面貌的内在关系, 具有一定的科学性。经过近年来的探索, 统计模型法现已在颅骨面貌复原领域大量应用, 研究人员倾向于利用统计模型来进行颅骨面貌复原, 但是该方法存在不确定性问题, 如何提高颅面复原的准确度, 将是下一步要研究的工作。