分享嘉賓：Robert Lorenz（德國籍），澎思科技資深算法研究員，德國柏林洪堡大學(xué)數(shù)學(xué)系博士，致力于人臉檢測、人臉跟蹤和人臉質(zhì)量判斷等領(lǐng)域的技術(shù)研發(fā)，尤其擅長模型構(gòu)建和模型優(yōu)化。其研究成果已經(jīng)應(yīng)用于澎思科技多種人臉識別軟件平臺和硬件產(chǎn)品中。同時(shí)也致力于視頻結(jié)構(gòu)化算法的研究和開發(fā)，負(fù)責(zé)數(shù)個子研究課題的攻堅(jiān)工作。

曾任職學(xué)習(xí)寶聯(lián)合創(chuàng)始人兼首席科學(xué)家、精通5國語言，完成學(xué)習(xí)寶所有模式識別算法的搭建及商用。精通模式識別、機(jī)器學(xué)習(xí)與圖像處理的常見算法，例如貝葉斯分類器、SVM、ADA-BOOST、MLP、CNN、kernelized回歸、受限制BOLTZMANN機(jī)、特征提取、特征選擇，圖像預(yù)處理、二值化算法、連通域分析、PPC（Project Profile Cutting），Viterbi算法，C語言數(shù)據(jù)結(jié)構(gòu)，例如樹結(jié)構(gòu)、圖形結(jié)構(gòu)等等。

分享主題：有限算力資源下的深度學(xué)習(xí)與人臉識別技術(shù)——人臉抓拍算法設(shè)計(jì)、移植和優(yōu)化

分享提綱：

• 深度學(xué)習(xí)定義與概念

• 人臉檢測與深度學(xué)習(xí)

• 人臉跟蹤與深度學(xué)習(xí)

• 人臉屬性與深度學(xué)習(xí)

• 人臉識別應(yīng)用

• 深度學(xué)習(xí)與人臉識別未來

雷鋒網(wǎng)AI研習(xí)社將其分享內(nèi)容整理如下：

大家好，我是來自德國的Robert，目前負(fù)責(zé)算法研究、算法設(shè)計(jì)和算法實(shí)現(xiàn)，今天想分享的內(nèi)容是有限算力資源下的深度學(xué)習(xí)與人臉識別技術(shù)——人臉抓拍設(shè)計(jì)、移植和優(yōu)化。在標(biāo)題中大家可以看到兩個關(guān)鍵詞，第一深度學(xué)習(xí)，第二人臉識別。

人臉識別主要分兩大類，第一人臉抓拍，指的是從原始的數(shù)據(jù)（如錄像數(shù)據(jù)）中提取人臉，第二大類是對提取好的人臉進(jìn)行進(jìn)一步操作，比如人臉比對、人臉性別分類、表情分類等具體應(yīng)用。今天我們把重點(diǎn)放在人臉抓拍這一步，還會特別注意算法的運(yùn)行速度。

近年來，所有的人臉識別算法都是基于深度學(xué)習(xí)完成的，所以今天分享的內(nèi)容也基于深度學(xué)習(xí)來展開，具體目錄如下：

大家可能聽過深度學(xué)習(xí)這個術(shù)語，但是深度學(xué)習(xí)到底是什么？如圖所示，即為深度學(xué)習(xí)的定義。我們將深度學(xué)習(xí)之外所有的模式識別算法命名為傳統(tǒng)模式識別算法。下面來了解一下深度學(xué)習(xí)和傳統(tǒng)模式識別之間有哪些區(qū)別，深度學(xué)習(xí)的特點(diǎn)是什么。

傳統(tǒng)算法主要有兩個步驟。其中第一步為“手動特征提取”，即按照當(dāng)前分類任務(wù)手動定義特征提取方法。下圖顯示對于文字圖像的邊緣特征，總共四個方向的邊緣特征。深度學(xué)習(xí)之前，基于四個方向的邊緣特征在文字識別領(lǐng)域非常流行，因?yàn)槲淖謭D像邊緣特征的判別能力好于原始圖像像素的判別能力。

傳統(tǒng)算法第二步為“訓(xùn)練參數(shù)”，參數(shù)訓(xùn)練是基于在第一步提取好的特征進(jìn)行的。下圖顯示對于文字特征向量的建模，每類由多維高斯分布建模。多維高斯分布唯一由期望值和相關(guān)矩陣描述。為了提高魯棒性，僅僅估計(jì)了相關(guān)矩陣的前k個特征值和特征向量，后（d-k）個特征值由一個常數(shù)描述。有了每一類的參數(shù)，可以使用貝葉斯分類器對未知、不在訓(xùn)練庫的新圖像提取特征，并對提取好的特征進(jìn)行分類。

傳統(tǒng)方法有一些不太理想的地方：特征提取和參數(shù)訓(xùn)練的兩個步驟是拆開的。更優(yōu)的方案是聯(lián)合優(yōu)化特征提取和參數(shù)訓(xùn)練。另外，預(yù)測任務(wù)的變化引起特征提取方法的改動。例如，對腫瘤檢測文理特征判別能力好于邊緣特征。為了達(dá)到不錯的預(yù)測效果，每個領(lǐng)域需要有經(jīng)驗(yàn)的專家琢磨出好的手動特征提取方法。深度學(xué)習(xí)克服了這些難題。

接下來我們看一下，深度學(xué)習(xí)放棄手動特征提取而采用自動特征提取，如圖所示：

上圖有10個特征層，每一層的參數(shù)是自動學(xué)習(xí)的，不涉及到手動干預(yù)。因深度學(xué)習(xí)的特征提取是自動、智能的，所以深度學(xué)習(xí)屬于人工智能的領(lǐng)域。

我們還需要知道的一點(diǎn)是，與傳統(tǒng)算法相比，深度學(xué)習(xí)有一定的優(yōu)勢。在包含1000類的IMAGENET數(shù)據(jù)庫中，基于幾層深度學(xué)習(xí)的分類錯誤率為25%。將層數(shù)提高到19，錯誤率降低到7%，22層的錯誤率為6%，如果是非常深的深度學(xué)習(xí)模型（152層），錯誤率才3%，而人類的錯誤率也有5%。這說明在特定情況下，深度學(xué)習(xí)的識別率高于人類的識別率，這就引起了各行業(yè)都想將深度學(xué)習(xí)的思路融入到他們的領(lǐng)域里，人臉識別也不例外。

人臉識別屬于圖像處理的領(lǐng)域。圖像處理領(lǐng)域中最常見的層是卷積層，比較一下卷積層和全連接層。如下圖所示，全連接層每個輸入節(jié)點(diǎn)跟任何輸出節(jié)點(diǎn)都構(gòu)造一個連接，而卷積層只有考慮特殊的連接。一個卷積核掃描所有輸入圖的窗口，可以做到參數(shù)共享、參數(shù)數(shù)量降低。可訓(xùn)練參越多，越容易發(fā)生過度適應(yīng)現(xiàn)象，因卷積層大大降低了參數(shù)數(shù)量，其過度擬合現(xiàn)象大量減少，卷積操作可以理解為深度學(xué)習(xí)網(wǎng)絡(luò)的正則化。另外全連接不考慮二維圖像拓?fù)洌矸e層更好地利用相鄰像素之間的關(guān)聯(lián)性。

來看一下深度學(xué)習(xí)早期的一個完整的深度學(xué)習(xí)網(wǎng)絡(luò)模型。下圖顯示所謂LENET5的拓?fù)洌壕矸e層1、欠采樣層2、卷積層3、欠采樣層4、卷積層5、全連接6、分類輸出層7。LENET5對32x32大小的輸入通過卷積和欠采樣和全連接層提取84維的特征向量，對84維的特征向量進(jìn)行最終的分類，都在一個聯(lián)合框架中。

對深度學(xué)習(xí)的定義和概念的介紹就到這，接下來了解深度學(xué)習(xí)怎么應(yīng)用在人臉抓拍的領(lǐng)域。

人臉抓拍第一步是人臉檢測，是一個二類分類問題，只有兩類：人臉和非人臉。人臉檢測中一個難題是人臉大小未知。克服這個難題的一個辦法是圖像金字塔，如下圖左側(cè)部分所示。圖像金字塔包含不同縮小率的縮小圖像。對不同縮小圖用固定窗口大小進(jìn)行掃描，就可以做到多尺度人臉檢測。

人臉檢測另外的難題是類內(nèi)的豐富性。人臉有白種人、黃種人、黑人等不同種族，圖像光照條件不同、模糊度不同，人臉姿態(tài)、角度也不同。非人臉類更復(fù)雜，有無窮多個非人臉的可能性。所以，分類人臉和非人臉需要比較深、有一定判別能力的深度學(xué)習(xí)網(wǎng)絡(luò)。用深的網(wǎng)絡(luò)掃描整個圖像金字塔的方法不最優(yōu)，計(jì)算量太大。可以利用非人臉可以細(xì)分成簡單負(fù)樣本（例如平穩(wěn)的天空）、中等負(fù)樣本（例如衣服文理、胳膊、手）和難負(fù)樣本（跟人臉非常相似）的事實(shí)。先用極少的計(jì)算量排除簡單負(fù)樣本，然后用中等計(jì)算量排除中等負(fù)樣本。以此類推，用更大的計(jì)算量排除難度更大的負(fù)樣本，最中留下的所有沒排除的窗口分類成人臉。在傳統(tǒng)領(lǐng)域該思想叫做ADABOOST分類器組合方法。

下面介紹一個基于ADABOOST思想的三個階段人臉檢測算法，如下圖所示。總共有三個深度學(xué)習(xí)模型：PNET、RNET和ONET。PNET網(wǎng)絡(luò)不深，只有三個卷積層，用12x12的窗口掃描圖像金字塔，快速排除大量的簡單負(fù)樣本。留下的候選窗口用大小24x24重新?lián)福?dāng)作RNET的輸入，RNET的計(jì)算量中等，有四個卷積層。對RNET可能沒有成功排除的難負(fù)樣本調(diào)用計(jì)算量比較大的ONET，輸入大小為48x48，ONET有5個卷積層，構(gòu)造最終的人臉/非人臉分類效果。同時(shí)ONET計(jì)算人臉5個特征點(diǎn)（眼睛，鼻尖，嘴角），用來在人臉比對之前做人臉矯正。

三個階段的高效人臉檢測器運(yùn)行速度快，分類效果不錯。然而，如果CPU跟GPU聯(lián)合使用的話，CPU與GPU之間的傳輸數(shù)據(jù)時(shí)間不可忽略，如下圖所示。

為了減少傳輸數(shù)據(jù)的時(shí)間，我們尋找一個階段的人臉檢測器，即只有一個深度模型的人臉檢測器。下面我們來看一下一個階段的高效人臉檢測器。因?yàn)闆]有快速預(yù)淘汰簡單負(fù)樣本的步驟了，我們在前兩個卷積層和欠采樣層大大降低網(wǎng)絡(luò)輸入圖的尺寸，縮小率為32倍。兩個卷積層之后還有非常多的深度學(xué)習(xí)層，但是因圖像尺寸非常小了，其計(jì)算量并不大了。一個階段的人臉檢測器沒有圖像金字塔了，但是有一個以上的分類輸出層。輸出層的輸入是不同尺寸的特征圖，一個階段的人臉檢測器基于特征金字塔，是克服人臉大小未知的另外一種方法。兩個尺度之間跨度比較大，容易漏檢特征金字塔中間大小的人臉。為了避免這種現(xiàn)象，設(shè)計(jì)了Inception模塊。其設(shè)計(jì)特點(diǎn)為不同分支，分支卷積核大小不一致，最終連和不同分支。不同卷積核大小的分支構(gòu)造不同大小的感受野，構(gòu)造不同尺度的特征圖。連續(xù)三次使用Inception模塊，構(gòu)造非常多的卷積核大小的組合，非常好地客服了人臉大小未知的問題。

下圖中顯示的人臉檢測器不關(guān)注運(yùn)行速度，但爭取更高的準(zhǔn)確率。代價(jià)是幾百倍的計(jì)算量，我們這關(guān)注的是網(wǎng)絡(luò)架構(gòu)。高準(zhǔn)確率人臉檢測器也屬于一個階段的檢測器，基于特征金字塔，總共有六個尺寸層次。與以前的模型相比，特征金字塔不直接當(dāng)成網(wǎng)絡(luò)輸出層的輸入，但是還加上特征增強(qiáng)模塊。特征增強(qiáng)模塊考慮到兩個相鄰的特征圖，對尺寸小的特征圖進(jìn)行上采樣，構(gòu)造跟尺寸大的特征圖同樣的尺寸。用乘法融合兩個相鄰的特征圖，再加上基于inception思想的模塊，這才是分類輸出層的輸入。

如下圖所示，準(zhǔn)確率高的人臉檢測器對不良因素的魯棒性非常強(qiáng)，可以檢測出尺寸更小的人臉、模糊人臉、光照情況復(fù)雜、曝光、很暗的人臉、被局部遮擋的人臉，還有反光、姿態(tài)奇特或者化妝的人臉。抓拍系統(tǒng)不會使用計(jì)算量龐大的高準(zhǔn)確率人類檢測器，而調(diào)用上述提到的快速人臉檢測器。當(dāng)然，對不利情況下的檢測率有一些折扣。假設(shè)，遠(yuǎn)處的人臉尺寸小、非常模糊，快速人臉檢測器漏檢了。但是十幾幀之后人移動到離攝像頭更近的位置，不顯得那么小和模糊，檢測出的概率大大提高。以人為單位的快速人臉檢測器的檢測率可以超過99%。

人臉檢測速度快，但是每幀都做人臉檢測，滿足不了一個GPU實(shí)時(shí)處理數(shù)十路視頻的數(shù)據(jù)。另外這種方法也放棄了幀與幀之間的關(guān)聯(lián)性。假設(shè)，在幀1檢測出四個人臉。在幀2出現(xiàn)4個人臉的概率很高，甚至4個人臉的位置跟前一幀的位置非常相似。從前一幀到當(dāng)前幀人臉具體平移量是多少，這就是人臉跟蹤的命題，請看下圖。人臉跟蹤在目標(biāo)周圍范圍考慮問題，人臉檢測在整個場景圖范圍考慮問題，與全局的檢測相比，跟蹤屬于局部算法，可以大量節(jié)省整個抓拍系統(tǒng)的計(jì)算量。

接下來，給大家分享一下一個屬于傳統(tǒng)算法領(lǐng)域的跟蹤算法。其特點(diǎn)是運(yùn)行速度非常快，數(shù)學(xué)模型和求解非常瀟灑。下圖的第一個數(shù)學(xué)公式是空間域中的數(shù)學(xué)模型，優(yōu)化對象是相關(guān)核h，使得對在幀1的圖像數(shù)據(jù)f進(jìn)行濾波的話，得到跟標(biāo)簽g盡可能接近的值，其中*代表循環(huán)卷積。標(biāo)簽g經(jīng)常選擇為高斯函數(shù)。正則化系數(shù)lambda控制過度適應(yīng)現(xiàn)象。利用傅里葉變換和相應(yīng)的一些數(shù)學(xué)定理，可以把空間域建模問題等價(jià)地描述在頻率域。大寫字母符號代表小寫字母符號的傅里葉變換。卷積定理把耗時(shí)的循環(huán)卷積操作改成快速的乘法。頻率域的解析式形式很簡單，只有乘法、加法和除法的操作。在幀2，對空間域的圖像數(shù)據(jù)z應(yīng)用傅里葉變換，跟在幀1學(xué)到的模板H進(jìn)行乘法，得到頻率域的響應(yīng)Y，再用逆傅里葉變換回到空間域，得到空間域的響應(yīng)y。最終跟蹤效果為響應(yīng)y最大值的對應(yīng)的位置。

雖然基于相關(guān)濾波的跟蹤算法在CPU上非常快，但是利用不起來GPU并行計(jì)算資源，因?yàn)榭焖俑道锶~變換由很多零散的計(jì)算步驟組成，其GPU并行計(jì)算加速效果很差。接下來，給大家分享基于深度學(xué)習(xí)的跟蹤算法，可以充分利用GPU并行計(jì)算資源。下圖顯示SIAMESE網(wǎng)絡(luò)的跟蹤器的流程。在幀1以目標(biāo)位置為中心稍微擴(kuò)充，構(gòu)造參考圖，用深度學(xué)習(xí)映射phi構(gòu)造尺寸非常小的特征圖（6x6）。在幀2擴(kuò)充范圍更大，構(gòu)造搜索圖，用同樣的映射phi計(jì)算出尺寸比較大的特征圖（22x22）。SIAMESE網(wǎng)絡(luò)的特點(diǎn)是其輸出層，所謂的相關(guān)層。6x6的特征圖當(dāng)作卷積核，掃描22x22的特征圖，構(gòu)造17x17大小的輸出圖。跟蹤的效果就是輸出圖最大值的對應(yīng)的位置。因17x17尺寸比較粗糙，經(jīng)常對輸出圖進(jìn)行上采樣操作，獲取更大分辨率的跟蹤效果。SIAMESE網(wǎng)絡(luò)屬于離線學(xué)習(xí)的跟蹤器，因?yàn)橛成鋚hi與原始圖像無關(guān)，需要大量的人臉訓(xùn)練樣本在GPU上學(xué)習(xí)映射phi的參數(shù)。然而，上述介紹的相關(guān)濾波跟蹤器是在線學(xué)習(xí)的跟蹤器，模板H依賴于原始圖像，關(guān)鍵在于模板H的訓(xùn)練過程極快。

從現(xiàn)在開始，內(nèi)容不會給大家介紹那么詳細(xì)，限于概括性的介紹。下一步給大家介紹一下人臉屬性與深度學(xué)習(xí)，如圖所示：前幾層設(shè)計(jì)所有任務(wù)共享的卷積層和欠采樣層。后來幾個網(wǎng)絡(luò)分支對應(yīng)不同標(biāo)簽類別，比如局部、全局標(biāo)簽，有序標(biāo)簽、類別性標(biāo)簽等等。需要大量的標(biāo)注好的人臉屬性訓(xùn)練樣本，在GPU上訓(xùn)練共享的參數(shù)和分支的參數(shù)。

接下來簡單介紹一下人臉識別的應(yīng)用，如下圖：

下面討論一下深度學(xué)習(xí)與人臉識別的未來，如下圖：

最后提到的是，對算法研究和算法工程感興趣的朋友，可以關(guān)注澎思科技，感謝大家的聆聽。