掃一掃清華大學(xué)馮建江：指紋識別現(xiàn)狀與研究進(jìn)展
來源：未知 時(shí)間：2018-15-20 瀏覽次數(shù)：256次
中國圖象圖形學(xué)學(xué)會(huì)圍繞「生物特征識別」這一主題，在中科院自動(dòng)化所舉辦第四期指紋識別專題研討會(huì)。
生物特征識別（BIOMETRICS）技術(shù)，是指通過計(jì)算機(jī)利用人體所固有的生理特征（指紋、虹膜、面相、DNA等）或行為特征（步態(tài)、擊鍵習(xí)慣等）來進(jìn)行個(gè)人身份鑒定的技術(shù)。
本期講習(xí)班邀請曠視科技首席科學(xué)家孫劍，中科院自動(dòng)化所研究員孫哲南、王亮、赫然，中科院計(jì)算所研究員山世光、清華大學(xué)副教授馮建江、徐明星，中山大學(xué)教授鄭偉詩等八位學(xué)者分別就人臉、虹膜、指紋、步態(tài)、音紋等人體特征的研究現(xiàn)狀做了詳細(xì)報(bào)告。
CSIG 圖像圖形學(xué)科前沿講習(xí)班，曠視和中科院帶來生物特征識別精彩報(bào)告（一）
CSIG 圖像圖形學(xué)科前沿講習(xí)班，山世光等四位學(xué)者帶來生物特征識別精彩報(bào)告（二）
本篇文章為講習(xí)班報(bào)告第四篇，由清華大學(xué)副教授馮建江講解，報(bào)告題目為：指紋識別現(xiàn)狀與研究進(jìn)展。
馮建江：清華大學(xué)自動(dòng)化系副教授，博士生導(dǎo)師。研究方向?yàn)閳D像處理與模式識別。 擔(dān)任國際學(xué)術(shù)期刊《Image and Vision Computing》編委，國際生物特征識別學(xué)術(shù) 會(huì)議(International Conference on Biometrics，2014-2016)領(lǐng)域主席，中國生物 特征識別學(xué)術(shù)會(huì)議(2015-2018)程序委員會(huì)主席。獲中國發(fā)明專利 10 項(xiàng)、美國 發(fā)明專利 4 項(xiàng)，指紋技術(shù)授權(quán)國內(nèi)外領(lǐng)軍企業(yè)。獲國際會(huì)議最佳論文獎(jiǎng) 3 次、中 國電子學(xué)會(huì)科技進(jìn)步一等獎(jiǎng) 1 次、教育部自然科學(xué)二等獎(jiǎng) 2 次、國家基金委優(yōu)秀 青年基金。
馮建江——
我的報(bào)告題目是《指紋識別現(xiàn)狀與進(jìn)展》。今天報(bào)告分兩個(gè)部分，首先介紹的是指紋識別的基本概念和方法，然后主要介紹我們實(shí)驗(yàn)室在指紋識別方面最新的一些工作進(jìn)展。
一、指紋識別基礎(chǔ)
圖 1. 手指皮膚和身體皮膚
人類手指上的皮膚和身體的皮膚有很大不同。其一，手指皮膚有凸紋，沒有毛發(fā)，不會(huì)有油脂，但卻有很多汗孔；其二，指紋具有唯一性和穩(wěn)定性，隨著年齡的增長指紋上雖然會(huì)起皺，但是圖案基本不變；其三，人手接觸各種物體表面通常會(huì)留下痕跡。這些特性就使得指紋特別適合做身份識別，也即我們所說的「指紋識別」。
那么什么是指紋識別呢？技術(shù)性的定義就是：利用傳感器、圖象處理、模式識別的技術(shù)來自動(dòng)或者半自動(dòng)的識別兩個(gè)指紋是否一致。
圖 2. 指紋識別技術(shù)流程
從上圖中也可以看出，指紋識別主要有三個(gè)模塊，分別為圖像采集、特征提取和匹配。首先是傳感器得到圖像，然后從圖像上面提取一些顯著的特征，這些特征比較適合做識別任務(wù)，最后對指紋進(jìn)行匹配工作。
在最后的匹配過程中，根據(jù)不同的應(yīng)用大致有三種匹配方式。第一是1對N匹配，例如將在犯罪現(xiàn)場發(fā)現(xiàn)的指紋與指紋數(shù)據(jù)庫中的指紋進(jìn)行匹配。第二種應(yīng)用是先進(jìn)行1對N匹配，再進(jìn)行1對1匹配，例如現(xiàn)在出入境一般就有這兩個(gè)環(huán)節(jié)，一個(gè)是給外國人發(fā)簽證的時(shí)候?yàn)榱朔乐苟嘀厣矸?，要做一個(gè)1對N的排查，當(dāng)過關(guān)的時(shí)候則需要1對1地確定入境的是當(dāng)事人。第三種應(yīng)用就是1對1的身份驗(yàn)證，這在現(xiàn)在的手機(jī)上面用的比較多。
下面我們針對指紋識別的三個(gè)模塊分別做簡要介紹。
1、圖像采集
指紋圖像的采集可以分兩種。比較早的就是離線采集（off-line method），例如警方一直采用的油墨采集，以及犯罪現(xiàn)場的指紋采集。
圖 3. 在手指蘸上油墨，在卡片上面把指紋按上去。上面兩排為滾動(dòng)采集，可以采集盡可能多的信息；下面一排為左右手的平面采集，圖像質(zhì)量稍好。
圖 4. 犯罪現(xiàn)場的指紋采集。這種采集取決于手指按在什么物體上面，以及當(dāng)時(shí)指紋遺留物的分析（油比較多還是汗比較多），有多種提取方式。首先是通過藥粉或者打特殊光的方式將指紋顯現(xiàn)，然后放一把尺子在旁邊拍照，這可以幫助我們把圖像調(diào)到標(biāo)準(zhǔn)的分辨率。最后用膠帶等方式把提取物證，然后拿到法庭用。
現(xiàn)在普遍使用的則是在線采集（on-line method）。在線采集的原理比較多。有基于光學(xué)全反射原理的，也有通過電容傳感器或者超聲波等方式的，也有用相機(jī)直接拍照的。
圖 5. 基于光學(xué)全反射原理的指紋在線采集技術(shù)。其原理就是當(dāng)平行光通過三棱鏡照在指紋上時(shí)，如果是凸起就不會(huì)發(fā)生反射，而如果是空氣就會(huì)全反射。
但是不管什么樣采集方式，最后得到的圖像大概就是下面這三種。
圖 6. 從左到右分別為油墨指紋、來自現(xiàn)場的潛指紋和基于光學(xué)全反射原理的指紋
最左邊是用油墨方式得到的，其實(shí)這個(gè)方式和現(xiàn)在光學(xué)采集的圖像很類似，質(zhì)量比較好，黑白分明。中間的圖像質(zhì)量比較糟糕，是犯罪現(xiàn)場遺留指紋，對于沒有經(jīng)過特殊訓(xùn)練的人，很難從中找出特征。
指紋的質(zhì)量決定了識別的準(zhǔn)確率（當(dāng)然其他生物特征的圖像質(zhì)量也是如此）。有很多原因會(huì)造成圖像質(zhì)量差。從傳感器的角度來說，不同種類的傳感器在分辨率、信噪比、面積大小等方面差異往往是很大的，這對采集到的信息的多少有很大影響。此外不同人的手指的皮膚狀況也不一樣，有的人皮膚太干燥或太潮濕，或者因?yàn)殚L期體力工作劃痕比較多/乳突紋被磨平，這都會(huì)造成采集質(zhì)量較差。另外，當(dāng)按手指時(shí)，按的方式和手的姿態(tài)也會(huì)對圖像質(zhì)量有影響。這些低質(zhì)量指紋對于指紋識別算法都是很大的挑戰(zhàn)。
圖 7. 最左側(cè)圖像，手指較為干燥，采集到的圖像乳突紋斷裂，表現(xiàn)為很多不連續(xù)的黑點(diǎn)；中間圖像，手指較為潮濕，很多地方一團(tuán)黑，線與線之間難以分開；最右側(cè)圖像，手上裂紋較多。
2、特征提取
指紋的特征有比較清晰的定義，早些年沒有自動(dòng)指紋識別算法時(shí)指紋鑒定專家就利用這樣的特征來做識別。這些特征依據(jù)分辨率大致可以分為三個(gè)層次。
圖 8. 依據(jù)分辨率，指紋特征可以分為三層。
-
第一層：脊線方向和頻率。即指紋的方向場和脊線的密集程度。脊線方向場中的奇異點(diǎn)也屬于第一層特征，比如這個(gè)指紋的中央有兩個(gè)奇異點(diǎn)。
-
第二層：脊線。當(dāng)分辨率提高時(shí)，我們可以觀察到脊線以及上面的一些特殊點(diǎn)（端點(diǎn)和分叉點(diǎn)），這也叫做細(xì)節(jié)點(diǎn)。
-
第三層：脊線的內(nèi)外輪廓。當(dāng)分辨率再高一些可以觀察到脊線并不是線，我們可以看到它有自己的外輪廓，中間還有一些白色空洞（即汗孔）；不同手指上這些汗孔的位置和形態(tài)也存在差異。
圖 9. 指紋特征提取一般只提取前兩層特征
現(xiàn)在的指紋識別系統(tǒng)主要利用的是前兩層特征，因?yàn)榈谌龑犹卣鲗τ诓杉瘍x和手指皮膚的狀況要求比較高，太過敏感。所以下面只介紹第一層和第二層特征的提取。通常的做法是先提取第一層特征，然后在第一層特征的指引下提取第二層特征。
第一層特征提取
在提取指紋的方向場和頻率的時(shí)候，一般會(huì)做這樣的假設(shè)，即指紋的局部圖像可以用一個(gè)近似二維的正弦波來表示。
圖 10. 將局部指紋圖像顯示為曲面
如圖 10 中右圖所示，把圖像的亮度直接作為曲面的高度，顯示出來就類似一個(gè)正弦波，該正弦波的參數(shù)就表示了指紋局部的方向和頻率。我們通過傅里葉變換的方式可以很容易地求解出這些參數(shù)。
圖 11. 方向場平滑
通過這種局域分析方式分析每個(gè)小模塊有一個(gè)問題，即在有噪聲的地方會(huì)出錯(cuò)。解決的方法就是做方向場的平滑。具體就如上圖所示，先將向量場分解成向量的正弦和余弦，然后分別對這兩個(gè)圖像做平滑，最后再將平滑過的兩個(gè)圖像還原成平滑的方向場。
第二層特征提取
有了方向場和頻率之后，接下來就是做脊線的提取。但是由于脊線上有相對比較明亮的汗孔，或者由于干裂等導(dǎo)致的脊線斷裂，或者由于手指潮濕使得相鄰脊線粘連等原因，脊線一般不能夠進(jìn)行直接提取，而需要先做增強(qiáng)。
圖 12. 在 8 個(gè)定向和 3 個(gè)頻率下的 Gabor 濾波器濾波結(jié)果。
針對一般圖像的增強(qiáng)方法對于指紋來說效果通常不是很好；在指紋增強(qiáng)中比較有效的方法是「上下文濾波」，一個(gè)典型的方法就是Gabor濾波器。Gabor濾波器本身是一個(gè)復(fù)濾波器，指紋增強(qiáng)只用到它的實(shí)部。從上圖可以看出，經(jīng)過Gabor濾波之后，指紋圖像上的脊線不再有汗孔，粘連的脊線也會(huì)分開，斷裂的地方也會(huì)連起來。由于指紋各處脊線的方向和頻率不同，每個(gè)位置到底該用哪種參數(shù)的Gabor濾波器，是需要按照該位置的方向以及頻率來挑選的。
圖 13. 二值圖像
然后就可以對這些增強(qiáng)圖用傳統(tǒng)的閾值化方法得到二值圖像，再對它做形態(tài)學(xué)處理，可以得到細(xì)化圖；通過分析細(xì)化圖可以檢測出來上面的端點(diǎn)以及分叉點(diǎn)，還可以進(jìn)一步推斷出來這些細(xì)節(jié)點(diǎn)的方向。
圖 14. 去除偽細(xì)節(jié)點(diǎn)
最后，指紋圖像的質(zhì)量通常不是理想的，所以即便經(jīng)過前面的增強(qiáng)，做了細(xì)化和細(xì)節(jié)點(diǎn)提取，但總還會(huì)出現(xiàn)一些假的細(xì)節(jié)點(diǎn)，所以還需要做一步細(xì)節(jié)點(diǎn)的驗(yàn)證，這一步會(huì)識別出很多典型的偽細(xì)節(jié)點(diǎn)，比如圖像邊緣的偽細(xì)節(jié)點(diǎn)、成對出現(xiàn)的方向相反的偽細(xì)節(jié)點(diǎn)等。通過這些規(guī)律可以盡量把偽細(xì)節(jié)點(diǎn)去掉。
3、匹配
大部分指紋匹配算法是基于細(xì)節(jié)點(diǎn)的匹配，所以這個(gè)步驟就是一個(gè)點(diǎn)匹配的問題。
圖 15. 細(xì)節(jié)點(diǎn)匹配
跟一般的點(diǎn)匹配不同的是，指紋細(xì)節(jié)點(diǎn)是帶方向的；細(xì)節(jié)點(diǎn)的類型（端點(diǎn)或者分叉點(diǎn)）用的比較少，因?yàn)辄c(diǎn)的類型不是特別穩(wěn)定。
做細(xì)節(jié)點(diǎn)匹配的時(shí)候，很重要的一個(gè)步驟就是指紋的對齊。指紋識別與人臉識別或虹膜識別不太一樣，它的姿態(tài)不好確定，所以拿到兩個(gè)圖像之后只能找到一個(gè)相對的旋轉(zhuǎn)和平移關(guān)系，只是相對對齊，而人臉和虹膜可以做絕對的對齊。指紋對齊之后就可以找到對應(yīng)點(diǎn)，然后通常某種方法算出匹配分?jǐn)?shù)。
4、現(xiàn)在指紋識別有哪些難題？
雖然現(xiàn)在指紋識別已經(jīng)取得了很多應(yīng)用，但仍然存在一系列有待解決的難題。
-
首先，對于低質(zhì)量指紋的識別率還比較低。雖然現(xiàn)在大部分手機(jī)都帶有指紋識別功能，但用的時(shí)候體驗(yàn)并不總是很好；此外，公安領(lǐng)域的低質(zhì)量指紋很多，對它們的識別率仍然有待進(jìn)一步提高；
-
其次，大數(shù)據(jù)庫下識別率和效率需要提高。假如某個(gè)算法的1對1錯(cuò)誤匹配率為萬分之一的話，那么放到大型的數(shù)據(jù)庫中做1對N識別出錯(cuò)的概率就非常高。數(shù)據(jù)庫越大，對于識別率的要求就越苛刻。
-
此外，理論極限不清楚。例如在刑偵中，根據(jù)DNA的統(tǒng)計(jì)模型可以非常準(zhǔn)確地計(jì)算出兩個(gè)DNA樣本的隨機(jī)匹配率；但是對于指紋識別，目前很難估計(jì)出準(zhǔn)確的隨機(jī)匹配概率，所以在法庭上指紋匹配的證據(jù)還缺少非常完善的統(tǒng)計(jì)理論支持，出錯(cuò)的案例也曾發(fā)生過。
-
另外，偽指紋難以檢測。各種生物特征現(xiàn)在都有偽造，如何檢測出、且以低成本檢測出偽造的指紋，還是比較難的問題。
-
最后，指紋模板的安全問題?，F(xiàn)在生物特征（比如指紋）在很多場合下都扮演著密碼的功能；但是現(xiàn)代計(jì)算機(jī)安全系統(tǒng)對密碼都進(jìn)行了非可逆變換，這樣即使系統(tǒng)被破解了，也無法輕易得到原來的密碼。而目前的生物特征識別系統(tǒng)沒有對生物特征做非可逆加密，所以仍存在著極大的安全問題。
二、研究工作
我們研究組主要是做低質(zhì)量指紋的識別，以及大數(shù)據(jù)庫下的指紋檢索。下面分四個(gè)方向介紹，分別為手指的姿態(tài)估計(jì)、方向場估計(jì)、扭曲場估計(jì)、指紋稠密配準(zhǔn)。
1、姿態(tài)估計(jì)
為什么要做手指的姿態(tài)估計(jì)？
可能有人會(huì)問，為什么要做手指的姿態(tài)估計(jì)呢？在人臉識別/虹膜識別中，大家是不會(huì)去想這個(gè)問題的，因?yàn)楫?dāng)你檢測完人臉/虹膜，姿態(tài)基本上就確定了。但是指紋不是，例如手機(jī)指紋解鎖功能，希望做到各個(gè)姿態(tài)按手指都可以完成解鎖；犯罪現(xiàn)場的指紋也是各種角度的都有。因此過去的指紋識別算法都沒有做姿態(tài)的約束，而是直接去設(shè)計(jì)容忍各種旋轉(zhuǎn)、偏移的匹配。我們的猜想是，如果我們能夠估計(jì)出比較準(zhǔn)確的手指的姿態(tài)，或許就可以提高指紋的識別率和識別速度。
圖 16. 帶有姿態(tài)約束的細(xì)節(jié)點(diǎn)匹配可以大大減少候選細(xì)節(jié)點(diǎn)
以上圖為例，當(dāng)我們在做兩個(gè)指紋的細(xì)節(jié)點(diǎn)匹配時(shí)，如果是在完全不知道兩個(gè)指紋姿態(tài)的情況下，只看局部的描述子的相似度來找對應(yīng)點(diǎn)，那么就會(huì)有許多候選點(diǎn)需要考慮；但如果我們通過某種方式把指紋的姿態(tài)估計(jì)出來，就可以把候選點(diǎn)減少很多，這對于后面匹配速度和精度都有極大的幫助。
過去缺少關(guān)于手指姿態(tài)的研究，主要是因?yàn)槭种傅淖藨B(tài)很難定義。但是我們的假設(shè)是，即使姿態(tài)定義的不是特別精確，應(yīng)該也會(huì)有用?；谶@樣的想法，我們是這樣定義姿態(tài)的：一個(gè)真實(shí)的手指，它的中心大約是幾何上的中心，方向就是從中心指向指尖。
圖 17. 手指姿態(tài)定義
而實(shí)際上，我們看不到完整的手指，我們能看到的只是一幅不完整的指紋圖像，也就是說，指紋圖像往往只是手指的局部，所以我們只能盡量去預(yù)測手指的中心和方向。
滑動(dòng)窗口方法
圖 18. 正樣本和負(fù)樣本的定義
當(dāng)有了這個(gè)姿態(tài)定義后，后面的估計(jì)方法其實(shí)就有點(diǎn)像人臉檢測或物體檢測了。我們最先嘗試過用傳統(tǒng)的滑動(dòng)窗口的方法，標(biāo)準(zhǔn)的姿態(tài)就是正樣本，非標(biāo)準(zhǔn)的姿態(tài)是負(fù)樣本，我們可以用每個(gè)位置的方向分布作為特征向量，來訓(xùn)練這樣的檢測器。
圖 19. 滑動(dòng)窗口方法
其實(shí)流程比較常規(guī)，類似行人檢測的基本流程，最后得到一些響應(yīng)圖，每個(gè)響應(yīng)圖對應(yīng)的是某一個(gè)方向指紋出現(xiàn)的概率；我們找到響應(yīng)最強(qiáng)的，就把指紋的位置和方向檢測出來了。
深度學(xué)習(xí)方法
前面用的是比較傳統(tǒng)的分類器，后來我們嘗試了深度學(xué)習(xí)的方法。我們嘗試 對Faster R-CNN 模型做了修改，把不同角度的指紋當(dāng)成不同的類去檢測。
圖 20. 深度學(xué)習(xí)方法
這里面我們需要解決兩個(gè)問題。一個(gè)是類內(nèi)的合并，也就是把同一個(gè)角度的多重響應(yīng)合并起來；另一個(gè)是類間的合并，根據(jù)各個(gè)角度檢測的結(jié)果差值出一個(gè)角度分辨率比較高的角度。
那么如何評價(jià)指紋姿態(tài)估計(jì)算法的好壞呢？我們有三種類型的評測。首先，算法估計(jì)的結(jié)果跟專家憑經(jīng)驗(yàn)標(biāo)注的姿態(tài)是否一致？我們的結(jié)果顯示大約有 95% 以上的指紋位置偏差小于 2.6 毫米，角度偏差小于 5 度；另外我們發(fā)現(xiàn)深度網(wǎng)絡(luò)方法要比傳統(tǒng)分類器的性能好一些。第二，對于同一個(gè)手指按出的兩個(gè)指紋圖像，算法估計(jì)出的姿態(tài)是否一致？我們的實(shí)驗(yàn)結(jié)果顯示，95％ 的指紋位置偏差小于 2.4毫米，方向偏差小于 7 度。第三，在檢索中，該算法是否能夠提高速度和精度？通過與前人方法的實(shí)驗(yàn)對比，我們發(fā)現(xiàn)通過估計(jì)姿態(tài)的方法確實(shí)可以大大地降低搜索時(shí)間和錯(cuò)誤率。
圖 21. 在大庫檢索中利用估計(jì)的指紋姿態(tài)， 無論在速率還是錯(cuò)誤率上的表現(xiàn)都得到大大地提升。
低質(zhì)量指紋姿態(tài)的估計(jì)
前面的案例處理的都是比較完整的指紋，但犯罪現(xiàn)場的指紋往往沒有那么理想。
圖 22. 犯罪現(xiàn)場指紋
對于這個(gè)問題，我們的姿態(tài)預(yù)測方法可以和人臉姿態(tài)預(yù)測作類比。當(dāng)只有一幅殘缺的人臉圖像時(shí)，我們依然能夠大致估計(jì)出人臉的中心和方向；當(dāng)有效圖像面積較大時(shí)，我們可以把預(yù)測累加，得到一個(gè)更可靠的人臉中心預(yù)測。同樣的道理，我們也可以將很多基于局部指紋圖像的姿態(tài)預(yù)測結(jié)果加以累加，獲得一個(gè)更可靠的指紋姿態(tài)估計(jì)。
圖 23. 離線學(xué)習(xí)指紋局部塊的概率分布
在這個(gè)算法中，我們首先需要一個(gè)離線的學(xué)習(xí)階段。我們首先有了指紋上很多局部塊分布的概率，對于這些塊，對它們做聚類；對于每個(gè)類中的樣本，我們都知道它們在指紋中的位置，從而可以估計(jì)出每個(gè)類在指紋圖像中的分布概率。從上面圖可以看到，不同類型的方向塊在指紋上出現(xiàn)的概率是不一樣的。
圖 24. 在線預(yù)測指紋的手指中心
現(xiàn)在給定一幅新的指紋圖像，便可以用剛才學(xué)習(xí)到的概率圖做預(yù)測了，我們將根據(jù)各個(gè)局部指紋塊預(yù)測得到的概率圖疊加起來，最后檢測到最亮的點(diǎn)，就是預(yù)測出的手指中心。
圖 25. 在線預(yù)測手指方向
通過對方向場做各種旋轉(zhuǎn)，我們可以對各個(gè)角度的指紋做預(yù)測，最后選擇響應(yīng)最強(qiáng)的作為指紋的方向，上圖中我們用箭頭長度來表示強(qiáng)度。
圖 26. 犯罪現(xiàn)場低質(zhì)量指紋的姿態(tài)預(yù)測結(jié)果
上圖是對一些低質(zhì)量現(xiàn)場指紋估計(jì)出來的指紋中心和角度。我們把結(jié)果拿給指紋專家確認(rèn)過，基本上是合理的。對非常殘缺的現(xiàn)場指紋來說，做到這樣的估計(jì)已經(jīng)不錯(cuò)了，因?yàn)楹茈y給出像素級精度的預(yù)測。
2、方向場估計(jì)
在指紋特征提取里面方向場的提取應(yīng)該是最關(guān)鍵的一步，因?yàn)楹竺嫣崛〖咕€和細(xì)節(jié)點(diǎn)，對方向場提取性能的依賴都特別強(qiáng)。
如前面介紹到，過去方向場的估計(jì)一般是兩步。第一是局部的方法，通過分析梯度、傅里葉變換等求出方向場；但是局部方法在有噪聲的區(qū)域會(huì)出錯(cuò)，所以后面會(huì)接一步，用低通濾波或擬合全局參數(shù)化模型等把方向場規(guī)范化。這些方法對于質(zhì)量較好的指紋還行，但是對于質(zhì)量較差的（例如犯罪現(xiàn)場指紋）就比較糟糕了。所以過去犯罪現(xiàn)場指紋的特征一般都是專家手工標(biāo)注。
圖27. 左，梯度分析加全局參數(shù)化模型擬合出的方向場；右，專家手工標(biāo)注的方向場?？梢钥闯鰯M合結(jié)果和專家標(biāo)注的偏差還是很大的。
專家標(biāo)注的方向場為什么就比較好呢？原因就在于專家有許多關(guān)于指紋的先驗(yàn)知識；通過這樣的先驗(yàn)知識，專家可以把不正確的方向場排除出去。于是我們就想，我們能否在方向場的估計(jì)中使用先驗(yàn)知識呢？
方向場字典
我們面臨的問題就是，如何表示、學(xué)習(xí)和使用指紋方向場的先驗(yàn)知識。
圖 28. 指紋的方向場與英文單詞類似，也可以建立一個(gè)字典作為先驗(yàn)知識。
這里我們受到了拼寫檢查技術(shù)的啟發(fā)。在英文單詞拼寫中，如果把字母隨機(jī)組合，那么合成出的單詞通常是錯(cuò)的；真正合理的單詞在所有可能的排列中只占很少的比例；拼寫檢測器通過將字母組合與字典（先驗(yàn)知識）進(jìn)行比對，從而來糾正拼寫的錯(cuò)誤。
圖 29. 類似拼寫糾錯(cuò)，指紋方向場也可以依據(jù)字典來糾錯(cuò)。
事實(shí)上，指紋的方向場也是如此。如果每個(gè)方向元素隨機(jī)組合，那么大部分組合將與真實(shí)的指紋有很大偏差；真實(shí)指紋的方向場可能只占所有可能的組合結(jié)果中的極小一部分。如果我們構(gòu)建一個(gè)指紋方向場的字典把先驗(yàn)知識記錄下來，那么就可以依據(jù)字典對擬合出的方向場進(jìn)行糾錯(cuò)了。
這里還有一個(gè)模糊性問題。在自然語言中，我們知道一個(gè)詞拼錯(cuò)了，但是跟它距離接近的詞太多了，我們可能不知道該如何進(jìn)行替換；一個(gè)方法就是根據(jù)上下文來把這種歧義性消除掉。同樣，方向場的這個(gè)問題也可以通過整體的連續(xù)性來解決。
方向場字典的定義：對于指紋圖像，我們將之切分成很多大小相同的區(qū)塊（patch），每個(gè)區(qū)塊包含 N×N 個(gè)方向元素，其中方向元素代表了 m × m 像素區(qū)域中的方向，我們稱區(qū)塊為字典中的一個(gè)詞。
圖 30. 字典中的一個(gè)詞所覆蓋的區(qū)域，詞的大小選為 8×8個(gè)方向元素，每個(gè)方向元素代表了 16×16 個(gè)像素點(diǎn)的方向。
字典的學(xué)習(xí)和使用
我們設(shè)計(jì)的算法流程如下圖所示。
圖 31. 字典的學(xué)習(xí)和使用流程圖
首先是離線的學(xué)習(xí)階段，從很多高質(zhì)量的指紋方向場里面學(xué)習(xí)得到字典。當(dāng)輸入一個(gè)質(zhì)量特別糟糕的現(xiàn)場指紋時(shí)，先用傳統(tǒng)的方法求出一個(gè)帶噪聲的方向場，然后通過查字典的方式在每個(gè)位置上查到一個(gè)（或一些）侯選元素，然后依據(jù)連續(xù)性原則選出比較一致的元素（可以去除模糊性），最后得到質(zhì)量較好的方向場。
在學(xué)習(xí)字典的時(shí)候，我們用質(zhì)量比較高的指紋，因?yàn)檫@樣的指紋可以用傳統(tǒng)算法把方向場求的比較準(zhǔn)確，這樣就不需要人做太多的標(biāo)注工作。然后在上面掃描窗口，最后做聚類就可以得到這個(gè)字典。
圖 32. 輸入指紋，得到帶噪聲的方向場。
當(dāng)對輸入的指紋求初始方向場時(shí)，我們先做短時(shí)傅里葉變換（即在小窗口做局部傅里葉變換），然后通過檢測亮點(diǎn)來估計(jì)方向。這樣得到的結(jié)果里面噪聲非常強(qiáng)。但是沒有關(guān)系，我們可以在后面通過查字典的方式來解決。
圖 33. 方向塊的相似度
查字典時(shí)，我們需要定義一個(gè)相似度，即 ns/nf = 方向元素差異小于某個(gè)值的元素個(gè)數(shù) / 初始方向塊中元素的個(gè)數(shù)，如圖所示。這種定義，即使有些元素的噪聲特別強(qiáng)烈，仍然會(huì)有較高的魯棒性。這里需要提到的一點(diǎn)是，字典中字的尺寸會(huì)對相似度及其魯棒性有很大的影響。
圖 34. 能量函數(shù)
在考慮上下文約束的時(shí)候，我們定義一個(gè)能量函數(shù)。能量函數(shù)有兩項(xiàng)，第一項(xiàng)反映的是侯選方向場和初始方向場的相似程度，另外一項(xiàng)反映的是相鄰兩個(gè)侯選之間重疊區(qū)的相似程度。
圖 35. 兼容度
比如這兩個(gè)例子，左邊這個(gè)是重疊區(qū)比較一致，它的兼容度比較高。右邊這個(gè)重疊區(qū)不太一致，兼容度低一些。
圖 36. 兼容度矩陣
這樣我們對于相鄰的兩個(gè)區(qū)域可以定義出一個(gè)兼容性矩陣，最后用經(jīng)典的方法做優(yōu)化即可。下圖對比了三種方向場估計(jì)方法結(jié)合Gabor濾波的結(jié)果。字典法去除噪聲的能力明顯優(yōu)于其他兩種方法。
圖 37
局部字典——更強(qiáng)的先驗(yàn)知識
通過分析我們發(fā)現(xiàn)這個(gè)算法仍然有它的缺點(diǎn)。上面的方法我們叫做全局字典，經(jīng)過它處理之后每個(gè)局部都是比較真實(shí)的，但是在有些地方仍然會(huì)出現(xiàn)一些不可能出現(xiàn)的方向場。
圖 38. 指紋方向場的局部特性
我們觀察發(fā)現(xiàn)發(fā)現(xiàn)指紋還有一個(gè)更強(qiáng)的先驗(yàn)知識，即指紋方向場跟指尖、指關(guān)節(jié)的分布也有關(guān)系，指關(guān)節(jié)位置大部分脊線是水平的，指尖位置的脊線基本上是一個(gè)弧線。所以如果我們知道手指姿態(tài)的話，就可以利用更強(qiáng)的局部先驗(yàn)知識了。所以我們構(gòu)造局部化的字典，也即指紋的每個(gè)位置都有自己的方向字典；而不像前面整個(gè)指紋共用一個(gè)字典。
圖 39. 基于局部字典的方向場估計(jì)流程
指紋識別系統(tǒng)的流程圖如上所示。與前面的方法相比，多了一步手指姿態(tài)的估計(jì)，此外在查找字典時(shí)是查找各自對應(yīng)位置的字典進(jìn)行校正。這樣從而就避免了在某些位置上出現(xiàn)奇怪的方向場。實(shí)驗(yàn)結(jié)果如下圖所示：
圖 40. 全局字典法和局部字典法的對比
3、扭曲場估計(jì)
為什么要做扭曲場估計(jì)？
由于手指是凸且柔軟的，所以每次按壓力度、角度的不同，都會(huì)使指紋發(fā)生不同的變形。因此指紋的變形是永遠(yuǎn)存在的，給指紋識別帶來困難的不是指紋變形本身，而是變形的不一致。
在指紋采集中有一個(gè)標(biāo)準(zhǔn)的按壓方法：手指放平，垂直按壓，適度用力，按壓后不要搓動(dòng)或旋轉(zhuǎn)。這樣可以盡量保持指紋變形一致。我們將按照這種方法得到的指紋稱為正常指紋，否則就稱為扭曲指紋。
圖 41. 同一手指的不同扭曲指紋的匹配差異很大。
扭曲指紋變形如果較大的話，對于識別是非常困難的，例如上圖一個(gè)手指的三個(gè)圖像，我們做匹配發(fā)現(xiàn)，左邊兩個(gè)的匹配分?jǐn)?shù)達(dá)329分，但右邊兩個(gè)的匹配分?jǐn)?shù)只有12。而根據(jù)這個(gè)匹配算法，小于60分的即認(rèn)為是不同的指紋。
之前對于這個(gè)問題的處理有三種方法。一種是修改匹配算法以容忍扭曲。這種做法的缺點(diǎn)就是會(huì)造成不同指紋也變得比較像，此外因?yàn)槿萑痰淖冃闻で螅云ヅ渌俣纫矔?huì)變慢。第二種是使用壓力傳感器、視頻跟蹤檢測扭曲。目前這種方法還只是出現(xiàn)在文章中，實(shí)際應(yīng)用中還沒有發(fā)現(xiàn)。它的缺點(diǎn)是采集復(fù)雜，采集儀成本比較高，無法檢測現(xiàn)有指紋數(shù)據(jù)庫中的扭曲指紋，也不能校正扭曲指紋。第三種是將脊線距離歸一化，這種方法是 IBM 沃森實(shí)驗(yàn)室在 2001 年提出的方案，他們覺得指紋變形之后線的距離就會(huì)發(fā)生變化，如果歸一化就可以把變形去掉。但這個(gè)方法的缺點(diǎn)是，這個(gè)假設(shè)本身就不對，指紋的脊線并不是均勻分布，所以這樣強(qiáng)行歸一化會(huì)造成新的扭曲。
圖 42. 類似于識別夸張表情的人臉，先判斷指紋是否扭曲，再對于扭曲指紋做校正。
我們的方案是：先通過分類，判斷一個(gè)指紋是正常指紋還是扭曲指紋；如果有扭曲的話，就進(jìn)行扭曲校正。做個(gè)類比，在人臉識別中，如果表情是中性，那么就直接做識別；否則就先進(jìn)行表情中性化，然后再做識別。我們這種方案的優(yōu)點(diǎn)有很多，首先現(xiàn)有的指紋采集儀不需要做任何改動(dòng)，現(xiàn)有數(shù)據(jù)庫中的扭曲指紋也可以做校正，對于犯罪現(xiàn)場的指紋同樣可以處理。
扭曲場分類
圖 43. 扭曲指紋分類：正常或扭曲二分法。
上圖是扭曲檢測的流程。我們將扭曲檢測看成是一個(gè)二分問題（扭曲或正常），因?yàn)殡m然扭曲是一個(gè)連續(xù)過程，但二分方法更好設(shè)計(jì)，性能也相對較好。分類器就是標(biāo)準(zhǔn)的SVM分類器，訓(xùn)練數(shù)據(jù)采用正常和扭曲指紋，選取分析的特征是方向場和周期圖。做這一步之前，需要先估計(jì)一下指紋的姿態(tài)，否則特征向量是沒有意義的。
扭曲場校正
接下來做扭曲的校正，這等價(jià)于估計(jì)扭曲場。扭曲指紋可以視為將一個(gè)未知的扭曲場 d 作用于一個(gè)正常指紋（也是未知的）而得到。如果可以估計(jì)某個(gè)扭曲指紋的扭曲場 d，就可 以利用 d 的逆函數(shù)對扭曲指紋進(jìn)行校正。但是由于扭曲場的維度非常高，所以這是一個(gè)很難的回歸問題。
圖 44. 扭曲場的校正
我們的方案是，構(gòu)造一個(gè)參考數(shù)據(jù)庫，這個(gè)數(shù)據(jù)庫里面記錄了各種類型的扭曲場，以及對應(yīng)的方向場和周期圖；新來的圖像，我們提取出它的方向場和周期圖后，與數(shù)據(jù)庫中的數(shù)據(jù)進(jìn)行比較，如果有匹配的參考扭曲指紋，那么我們認(rèn)為這個(gè)新的圖像也有類似的變形，然后根據(jù)對應(yīng)的變形場對它做校正。
這里很關(guān)鍵的一步就是，參考的扭曲指紋庫是怎么構(gòu)造。我們的方法是，采集一批各種扭曲的指紋視頻，對每一段視頻，我們通過細(xì)節(jié)點(diǎn)追蹤的方法估計(jì)出首尾幀之間的扭曲場。我們采集了十種類型的扭曲指紋，例如向上、向下、向左、向右、各種旋轉(zhuǎn)等。
圖 45. 收集的 10 種扭曲場類型
然后利用 PCA 獲得扭曲場的統(tǒng)計(jì)模型。將這些模型的主成分進(jìn)行合成（例如上下與左右的合成）來系統(tǒng)地合成大量扭曲場，用這些合成的扭曲場對正常指紋做變形，從而得到扭曲指紋，提取出這些合成扭曲指紋的方向場、周期圖，從而構(gòu)造出這樣一個(gè)數(shù)據(jù)庫，這個(gè)數(shù)據(jù)庫中包含扭曲的方向場和周期圖，以及相應(yīng)的合成扭曲場。
對于新輸入的扭曲指紋，提取出其方向場和周期圖后，查找數(shù)據(jù)庫中最近鄰的方向場和周期圖；再根據(jù)對應(yīng)的扭曲場對輸入指紋進(jìn)行扭曲較正。下面這是一個(gè)較正較為成功的例子：
圖 46. 左邊是數(shù)據(jù)庫中的指紋，右邊是對應(yīng)的犯罪現(xiàn)場指紋，面積很小且有扭曲。當(dāng)直接做識別時(shí)，在一個(gè)兩萬多人的庫中排名兩千多名；而經(jīng)過校正，排名提升到第一名。
4、指紋稠密配準(zhǔn)
對于指紋識別，過去大家只是做細(xì)節(jié)點(diǎn)這個(gè)層次的對應(yīng)關(guān)系，而沒有考慮稠密配準(zhǔn)。
圖 47. 基于細(xì)節(jié)點(diǎn)的配準(zhǔn)效果比較差。
對于只根據(jù)細(xì)節(jié)點(diǎn)來對準(zhǔn)兩個(gè)指紋（重疊的線用綠色顯示），不管是剛體變換還是薄板樣條（TPS）變換，重疊效果大多并不好。我們希望能夠把指紋上所有區(qū)域的所有脊線都對得比較好。上圖右側(cè)是我們希望稠密配準(zhǔn)能夠達(dá)到的效果。
常規(guī)的稠密配準(zhǔn)方法是首先建立細(xì)節(jié)點(diǎn)之間的對應(yīng)關(guān)系，然后將細(xì)節(jié)點(diǎn)所在的脊線建立對應(yīng)關(guān)系。這種方法的缺點(diǎn)是，由于這是采樣點(diǎn)級別的對應(yīng)，所以運(yùn)算量非常大，且精度也不是很高。我們想到了一個(gè)新的方法，即借鑒通信領(lǐng)域的相位調(diào)制解調(diào)方法，即通信中用電磁波發(fā)送信息時(shí)，將信號調(diào)制在載波上；到達(dá)接收端再進(jìn)行解調(diào)，恢復(fù)信號。
圖 48. 通信領(lǐng)域中的相位調(diào)制解調(diào)機(jī)制
指紋圖像在局域上正是一個(gè)二維的正弦波圖像。借鑒相位調(diào)制解調(diào)機(jī)制，我們可以先生成一個(gè)標(biāo)準(zhǔn)的二維正弦波，對這樣的一個(gè)條紋圖像，對它做扭曲實(shí)際上就可以等價(jià)為對它的相位做偏移；這個(gè)偏移不是對圖像做變形，而是對每個(gè)點(diǎn)的相位加上一個(gè)值，所以是通過加法，而不是通過幾何變形，來得到扭曲圖像。于是我們可以通過相位的方式來得到圖像的變形，反過來也可以通過求解相位的方式來求解圖像的變形。
圖 49. 由相位差求解扭曲場
如上圖所示，當(dāng)給出原始圖像和扭曲圖像，分別求解得到其相位場后，對應(yīng)位置相減便可以得到一個(gè)相位差的圖像，為了去除相位0到2pi的跳變對相位差圖像做一個(gè)去包裹變換后，就可以直接推算出扭曲場。于是我們可以通過圖像加減的方法把圖像的扭曲場求出。
這里需要解釋一下，我們把原始指紋圖像（灰度圖像）轉(zhuǎn)成相位的方式，實(shí)際上就是把指紋寫成 f (x, y) 的表達(dá)式：
表達(dá)式中包括有一個(gè)偏移量（可以看成是亮度），加一個(gè)余弦波，波有它的幅度，還有相位，最后加一個(gè)噪聲項(xiàng)。
相位的提取一般是用復(fù) Gabor 濾波器。這個(gè)濾波器實(shí)際上就是一個(gè)高斯函數(shù)乘以一個(gè)復(fù)指數(shù)，復(fù)指數(shù)里面有頻率和方向。當(dāng)我們知道相差之后，就可以按照公式（相差除以頻率，頻率為指紋局部頻率）直接把變形場求解出來，這里只涉及加、減、除的運(yùn)算。
相位的解包裹則依照下述公式：
下面這是整個(gè)算法的完整流程：
圖 50. 依據(jù)相位解調(diào)原理進(jìn)行指紋稠密配準(zhǔn)的完整流程
給出兩個(gè)圖像，首先我們求解特征（細(xì)節(jié)點(diǎn)、方向場、周期圖、相位圖等）。然后，按照細(xì)節(jié)點(diǎn)匹配的方式先做一個(gè)初始的配準(zhǔn)，這個(gè)結(jié)果往往還存在很大的偏差，接下來就靠相位解調(diào)的方式來降低偏差。首先是得到兩個(gè)圖像的相位差異，中間可能會(huì)出現(xiàn)跳變，所以要做一次相位解包裹使它變成連續(xù)的相差。將這個(gè)連續(xù)的相差除以周期圖，就可以得到每個(gè)位置的扭曲場。隨后再做一次平滑，去除某些局部噪聲。最后就可以把兩個(gè)指紋的脊線非常準(zhǔn)確的配準(zhǔn)了。下圖展示一個(gè)配準(zhǔn)結(jié)果：
圖 51. 四種配準(zhǔn)方法對于三對例子的配準(zhǔn)結(jié)果。綠色表示配準(zhǔn)成功的脊線。
可以看出用相位解調(diào)的方法有非常大的改進(jìn)。圖中的數(shù)字，例如（191，0.01），分別指細(xì)節(jié)點(diǎn)匹配分?jǐn)?shù)和圖像相關(guān)系數(shù)，這兩個(gè)數(shù)字越高越好，能夠客觀地反映出配準(zhǔn)的性能。
三、總結(jié)
最后總結(jié)一下。傳統(tǒng)的指紋特征提取和匹配方法很難處理低質(zhì)量指紋，尤其是犯罪現(xiàn)場的指紋。我們分析發(fā)現(xiàn)傳統(tǒng)方法的共性缺點(diǎn)是，沒有充分利用指紋的統(tǒng)計(jì)特性，很多方法完全不是基于統(tǒng)計(jì)學(xué)習(xí)的方法。我們的研究思路，就是要研究指紋的特征和皮膚形變的統(tǒng)計(jì)學(xué)特性，然后在算法設(shè)計(jì)中加以利用，實(shí)驗(yàn)發(fā)現(xiàn)在低質(zhì)量指紋上這對于性能有非常明顯的提升。