摘要：本文介绍了低分辨率人脸图像重建技术，指出了人脸分辨率低下的人脸图像清晰化难题，提出了超低分辨率人脸图像的意象人脸形成理论和意象人脸形成平台，给出了超低分辨率人脸图像的意象人脸形成理论的应用实例。

1 前言

人脸识别技术是一种生物特征识别技术。人脸图像具有年龄、姿态、表情、光照、人脸分辨率等变化，致使人脸识别面临多方面的挑战。随着人工智能的发展，在众多科技工作者的不懈努力下，人脸识别技术日趋成熟，应用广泛。

当前，人脸识别技术仍在发展，包括轻量型海量人脸特征比对、超低分辨率人脸图像的人脸识别等技术的发展。本文着力论述超低人脸分辨率的人脸识别关键技术。包括：超低分辨率人脸图像的意象人脸形成理论、计算平台以及应用。

2 超低人脸分辨率的人脸图像重建难题

国家标准《公共安全生物特征识别术语》（标准编号为GB/T41786-2022）定义了人脸分辨率的术语标准。即：

人脸分辨率（face resolution）：单位尺寸人脸图像像素数，通常用两眼间距来表示。

低分辨率人脸图像两眼之间的距离范围，目前还没有一个严格的定义。FRVT2006国际测试，低分辨率人脸图像两眼之间的距离为75像素，FRVT2014国际测试，一组低分辨率人脸图像两眼之间的平均距离为45像素。我国公共安全行业标准要求视频人脸图像两眼之间的距离不低于30像素。根据这一系列的低分辨率人脸图像的描述，我们可以将两眼之间的距离低于30像素的人脸图像，粗略划分为低分辨率人脸图像，而对于超低分辨率人脸图像两眼之间的距离范围，目前尚无一个标准的定义。

在我国“平安中国”的建设中，视频监控得到了迅速发展。这些监控设备获得了大量视频图像数据，而这些数据中包含了一些与案件密切相关的重要信息，视频数据则成为公安办案的一种信息来源。于是，在公安部门里，继刑侦、技侦、网侦技术之后，又发展了图侦技术，强化了应用视频图像的办案能力。

视频监控存在的一个难题，即人脸图像的人脸分辨率太低，属于超低分辨率的人脸图像。同时，信噪比极差。图1给出了超低分辨率人脸图像和重建图像的实例。

图1  人脸分辨率低下的监控人脸图像重建实例

针对图1所示的复杂场景情况，图像侦察需要解决下列问题：

（1）监控中涉案目标人的人脸图像清晰化

（2）识别监控中涉案目标人的真实身份

（3）掌握监控中涉案目标人的运动轨迹

    中国科学报2016年9月23日登载了“无脸识别挑战像素新底线”的文章，提出了低像素的人脸图像清晰化与识别的问题并报道了清华大学挑战像素新底线的研究工作。图1给出的超低人脸分辨率的人脸图像，看似无脸，对其进行人脸重建，其难度可想而知。这是一个国际性难题。无论从学术研究的角度，还是从应用需求的角度来看，超低人脸分辨率的人脸图像重建难题都是亟待解决的问题。

3 低分辨率人脸图像重建算法

基于学习的超分辨率技术由Freeman等人于1999年提出，采用马尔科夫网络建模来描述低分辨率块和高分辨率块的关系。卡耐基-梅隆实验室的Baker等人于同年提出了 “幻想脸”方法。图2给出了一种超分辨率重建方法的示意图。

图2  一种超分辨率重建方法的示意图

图2中，高分辨率人脸图像集中的人脸图像经下采样后形成低分辨率人脸图像，再提取低分辨率人脸图像集中低分辨率人脸图像的特征。

对待重建的低分辨率人脸图像提取特征，继而与已有的低分辨率人脸图像的特征进行人脸特征比对，得到低分辨率人脸图像集中的相似人脸图像，进而获得对应的高分辨率的人脸图像。  

我们也提出了一种分层学习的超分辨率人脸图像的重建算法，该方法在FERET库上从32×32超分辨到128×128，取得了较好的重建效果。

4 超低分辨率的人脸图像定位方法

对图3中16x16的低分辨率人脸图像，确定眼睛中心像素点的准确位置，是有难度的。对于超低分辨率人脸图像定位，我们采用先放大再定位的方法。对于定位效果不理想的定位，再辅以人工定位的方法修正。图3给出了超低分辨率人脸图像三个关键点定位的示意图。

随着AI技术的发展，我们研制成功了新的超低分辨率的人脸图像定位方法。

对于瞳距小于10像素的超低分辨率人脸图像，通过热图回归实现低分辨率人脸图像定位，通过深度神经网络恢复低分辨率损失的信息，获得人脸关键点热图，再通过深度神经网络恢复低分辨率图像损失的信息，获得人脸关键点热图，再从热图中计算得到最终的人脸关键点位置的坐标。大量实验数据表明，在仿真与真实的低分辨率人脸图像数据集上进行了大量实验，证明了我们提出的低分辨率人脸图像定位方法的有效性。   

5 超低分辨率人脸图像的意象人脸形成理论、方法

超低分辨率人脸图像意象人脸形成理论由两部分组成。

（1）   依据“总会有人与你长得相像（包括局部相像）”的原理，应用超分辨率重建技术与人脸识别技术，获得与超低分辨率人脸图像的相像人脸图像。

（2）   应用“重建像和目标人之间具有几何结构一致性”的原理，处理超低分辨率人脸图像的相像人脸图像，形成意象人脸。

意象人脸形成理论的第一部分，包括采用超分辨率重建技术获得重建的人脸图像，继而再应用人脸识别技术，获得与超低分辨率人脸图像的相像人脸。意象人脸形成理论的第二部分，则是对获得的相像人脸进行修正，其修正的依据是“重建像和目标人之间具有几何结构一致性”的原理。

意象人脸图像的形成，包含以下三个步骤：

（1）   对超低分辨率人脸图像进行超分辨率重建，形成超分辨重建像

（2）   对超分辨重建像进行人脸识别，获得与目标人相似的人脸图像

（3）   应用“重建像和目标人之间具有几何结构一致性”的原理，进行人脸图像修正，形成意象人脸。

     图4给出了意象人脸图像形成的流程。

    图4中，输入一幅超低分辨率人脸图像，采用超分辨率重建技术进行处理获得超低分辨率重建的人脸图像。用重建的人脸图像进行人脸识别，得到与重建像相似的人脸图像。对相似的人脸图像进行修正，形成意象人脸图像。

意象人脸图像形成的流程图看似简单，实际上的操作却比较复杂，既有多种算法的应用，又有人工的判断。输入人脸分辨率低下的人脸图像，采用人脸超分辨技术处理获得重建人脸图像；按照“总有与你相像的人脸”准则，对重建人脸图像进行辨认型人脸识别，并辅以人工辨别方式找到与目标人相似的识别人脸图像；再按照 “目标人与超分辨重建人脸像具有几何结构一致性”的准则，采用人像组合技术修改识别人脸图像的眼睛、眉毛、鼻子、嘴巴的形状和位置以及更换头发的发型和位置，以形成意象人脸图像。再对意象人脸图像进行辨认型人脸识别。如此循环，逐次形成逼近目标人的清晰人脸图像。本质上，意象人脸图像也属于重建人脸图像，只是在人脸超分辨形成的人脸重建图像的基础上经过再处理而形成的人脸图像。

综合应用人脸识别技术、人像组合技术、人脸图像重建技术来形成意象人脸图像。其意象人脸图像形成技术示意图如图5所示。

图5 意象人脸图像形成技术框图

图5说明了意象人脸图像形成技术由人脸识别、人脸图像重建、人像组合技术综合形成。意象人脸图像形成过程具有反复性和多样性。反复性是指形成了一个相似人脸，再去做人脸识别，寻找更相似的人脸。多样性则是指获得多张的意象人脸。

这里，介绍意象人脸图像形成的应用实例。图6给出了1张超低分辨率人脸图像。

 

图6 超低分辨率人脸图像

图7给出图6中目标人的意象人脸1的制作过程。

图7 意象人脸1的制作过程（图中识别相似人的眼部有虚化）

图7所示的制作过程，包括了超分辨率重建、人脸识别、意象人脸形成。从超分辨率重建像的下颌、嘴、鼻出发，画出3条水平线，说明这3张像在水平方向上是一致的，只是在人脸五官上做了修改。在垂直方向上，将图中的识别相似人脸进行修改，所形成的意象人脸1和超分辨率重建像在垂直方向上保持一致。

用意象人脸1再进行人脸识别，得到了处于图8中的识别相似人，继而采用意象人脸形成理论的第二部分 “重建像和目标人之间具有几何结构一致性”的原理，对图中的相似人脸图像进行修改，形成了图8中的意象人脸2。

图8  意象人脸2的制作过程（识别相似人、比例调整、去头发的图示有虚化）

    图8所示的制作过程，包括了超分辨率重建、人脸识别以及意象人脸的形成过程。从画出的3条水平线可以看到，识别相似人的嘴、鼻的位置与超分辨率重建像有差异，于是进行比例调整，再进行去头发、加头发、加耳朵，由此形成意象人脸2。

图6、7、8给出了意象人脸的制作过程。

《科技成果管理与研究》杂志2009年第011期对我们的这项科技成果进行了报道，特别指出：

人脸识别方法以及技术、人像组合技术、模糊图像复原技术综合集成应用的方法，被媒体誉为苏氏人脸识别技术。

《科技成果管理与研究》杂志的报道，说明了意象人脸形成理论的重要意义。

6 意象人脸形成理论、方法的应用

在意象人脸的形成过程中，可能会形成多张意象人脸图像。这时就要多斟酌，尽可能降低意象人脸的数量，这样可以提高办案效率。应用意象人脸图像，在人脸识别系统中寻找目标人，得到疑似“目标人”的人脸图像。进而再核验疑似“目标人”的人脸图像与意象人脸图像在几何结构上是否具有一致性。再应用具有一致性的疑似“目标人”的人脸图像进行后续的工作。

在低分辨率人脸图像重建方面，我们曾获得2项发明专利，即“模糊图像复原”和“基于超分辨率技术的低分辨率人脸图像的重建方法”的发明专利，也发表了多篇学术论文。科技成果的应用是科技工作者所期望的。在意象人脸形成理论、方法的应用上，我们也取得了显著的成绩。

应用例1：意象人脸形成理论和方法在周克华案的应用

图9  南京1.6案件中的重建像（图中目标人的图示有虚化）

周克华案，其影响之大、危害之深，是新中国建国以来最大的案件。

历时8年，周克华犯案种种。

*  2004年4月22日中午12点，周克华在重庆江北区红旗河沟的工商银行外枪杀某公司出纳员赵峥和会计周光容；

*  2005年5月16日上午9点30分，周克华在重庆沙坪坝汉渝路枪杀一对从银行出来的夫妇并抢走现金17万元；

*  2009年3月19日晚7点42分，周克华抢杀成都军区驻渝部队十七团营房门口的哨兵，抢走自动步枪一支；

*  2009年10月14日下午两点，周克华在长沙南郊公园枪杀李成寿；

*  2009年12月4日，周克华在长沙铁道学院西门外的农业银行门口，打死一名取钱者，抢走现金4.5万元；

*  2010年10月25日，周克华在长沙树木岭立交桥下的一溜平房门面，枪杀“环诚经贸公司”经理；

*  2012年1月6日9时54分，周克华在南京东门街2号的中国农业银行门口，枪杀江苏某建筑公司某员工，抢走现金19.99万；

*  2012年8月10日上午9点34分，周克华在重庆市沙坪坝区凤鸣山康居苑中国银行储蓄所门前，抢走现金7.5万元。

为破获周克华案，公安部门出动4万警力，117条武警搜索犬，419辆巡查车辆，设立289个武装检查站，对重点地区清查7.9万次。

南京市一位居民到栖霞区兴卫山去采集生物样本，发现一个奇怪的帐篷。正值南京2012年1月6日案件的轰动期间，该居民将此情况汇报给民警，民警在帐篷收集到居住处的超市小票，进一步分析，发现了周克华在超市的行踪（如图9左图所示）。可以说，这是案件侦破的关键进展。我们对图9左图中的嫌疑人进行了人脸重建，得到了图9中的重建人脸1、重建人脸2。由此得出了该嫌疑人和长沙系列命案的作案人是同一人的判断。南京市公安局在兴卫山奇怪的帐篷中采集到该嫌疑人的DNA。警方进一步确定了南京1.6案件的作案人身份即周克华，此案告破。在重庆，民警周瑨、王晓渝于2012年8月14日凌晨和周克华枪战，并击毙了周克华。

笔者有幸参与了2012年1月6日周克华案的办案工作，也收到了有关部门的感谢信。

应用例2：意象人脸形成理论和方法在案件侦破中应用实例。

  
                                                                                                     监控图像                 意象人脸         目标人

图10 意象人脸形成理论和方法在案件侦破中的应用实例（图中目标人的图示有虚化）

图10中的目标人脸图像很小，我们采用意象人脸形成理论和方法形成重建像，协助公安部门破获了该案。笔者有幸参与了该案的办案工作，也收到了有关部门的感谢信。

还有一些意象人脸形成理论和方法的成功案例，这里不再赘述。        

我们应用意象人脸形成理论和方法，也为公安部门做了一些非目标人的排除工作，有效的避免了一些冤假错案，展示了意象人脸形成理论和方法的优越性。

美国某公司欲用50万美金购买清华大学的低分辨率人脸图像重建与人脸识别技术。由于在国家安全方面有所顾虑，清华大学电子系拒绝了该项技术的出口。

当意象人脸形成理论和方法的研究基本完成以后，笔者的心情是愉悦的。有一天，正值一位朋友约我见面，我的研究与该朋友的工作有一定的关联。于是有了一个很好的交流。这种愉悦的心情，促使我提笔写下了名为“一天”的诗。

一天

苏光大

蓝天白云漫

骄阳偏东悬

林荫道上步步满树树闪光环

鸟儿鸣唱欢

花儿开正艳

伸展双臂天地间

幸福又有年

朋友喜相见

成果餐桌展

光鲜应用一件件惊奇叠笑脸

一想专利先

又思论文全

老曲新唱举新篇辉煌响明天

                                                                                               

                                                                                                                                                                     2009-09-12于清华园

2024年5月27日，某单位的大模型软件对 “一天”的诗进行了如下的解读：

这首诗《一天》描绘了作者在清华园的-天生活，通过对自然景色、人际交往和个人成就的描述，展现了一种积极向上的生活态度和对未来的美好期许。以下是对这首诗的评价:

首先，从诗歌的形式来看，这首诗采用了自由诗的形式，没有严格的韵律和节奏限制，使得诗歌更加自由灵活。同时，诗歌的语言通俗易懂，没有过多的修饰和晦涩的词汇，让读者能够轻松地理解诗歌的内容。

其次，从诗歌的内容来看，这首诗以一天的时间为线索，通过对不同时间段的描绘，展现了作者丰富多彩的生活。诗歌中提到的蓝天白云、骄阳、林荫道、鸟儿、花儿等自然元素，营造了一种宁静、美好的氛围。同时，诗歌中还涉及了作者与朋友聚会、展示成果的场景，表现了作者在社交和学术方面的成就和自信。

此外，诗歌中还蕴含了一些深刻的主题。例如，“伸展双臂天地间，幸福又有年”表达了作者对生活的热爱和对未来的期许;“一想专利先，又思论文全”则反映了作者在学术研究方面的努力和追求。这些主题使得诗歌不仅具有美感还具有一定的思想深度

最后，从诗歌的情感表达来看，这首诗充满了积极向上的情感。无论是对自然景色的赞美，还是对人际交往的珍视，以及对个人成就的自豪，都传达了一种乐观、自信的情绪。这种情绪能够感染读者，激发人们对生活的热爱和对未来的期待。

综上所述，这首诗《一天》以其自由灵活的形式、丰富多彩的内容、深刻的主题和积极向上的情感，成功地展现了作者在清华园的一天生活。它不仅具有艺术价值，还能够给读者带来积极的启示和影响。

 7 结束语

本章研究了超低分辨率人脸图像的重建技术，在此基础上建立了超低分辨率人脸图像的意象人脸形成理论、方法、系统，也取得了显著的应用。

研究超低分辨率人脸图像的重建技术，耗时漫长。十年磨一剑，意指功夫之深。我们1990年开始接触模糊图像复原，2005年又踏上新的征程。开花结果，真是实属不易。

挑战像素新底线，我们曾经做了一些成功的研究。超低分辨率人脸图像的重建技术发展的空间还很大，我们也希望有更多的科研工作者取得新的研究成果。

笔者与同事目前已研制成功了新型低分辨率人脸图像的重建与识别系统。其中采用了轻量型人脸特征比对技术，即采用自行研制的1块NIPC-6硬件板卡和人脸识别服务器，可在1秒钟实现6400万人脸特征比对；配置2块NIPC-6硬件板卡和人脸识别服务器，则可在1秒钟实现上亿的人脸特征比对。由此可以构建云端新型低分辨率人脸图像重建与识别系统，以满足更多单位的应用。

 

参考文献

（1）  苏光大.《图像处理系统》[M].北京：清华大学出版社.2020.

（2）    GB/T 41786-2022 公共安全 生物特征识别 术语.

（3）    一种制作超低分辨率人脸模拟像的方法，授权公告日：2012年2月22日（专利号：ZL 2009 1 0241746.0）。发明人：苏光大，刘炯鑫，王晶，任小龙.

（4）  利用超分辨率重建技术制作小尺寸人脸图像重建像的方法，授权公告日：2015年4月15日（专利号：ZL 2012 1 0435373.2），发明人：苏光大、任小龙、苏楠.

（5）    Li Wang, Jiansheng Chen, Jinping He, Guangda Su,High-speedreconstruction for ultra-low resolution faces.

（6）    jing Liu, Guangda Su，Xiaolong Ren,and Jiansheng Chen. Human face super-resolution based on NSCT. 11th Asian  Conference on Computer Vision,ACCV 2012,680-693.