论文阅读:Face Recognition: From Traditional to Deep Learning Methods 《人脸识别综述:从传统方法到深度学习》

 论文阅读:Face Recognition: From Traditional to Deep Learning Methods  《人脸识别综述:从传统方法到深度学习》
 
 
一、引言
    1.探索人脸关于姿势、年龄、遮挡、光照、表情的不变性,通过特征工程人工构造feature,结合PCA、LDA、支持向量机等机器学习算法。
    2.流程
  • 人脸检测,返回人脸的bounding box
  • 人脸对齐,用2d或3d的参考点,去对标人脸
  • 人脸表达,embed
  • 人脸匹配,匹配分数
二、人脸识别发展综述
    1.几何特征
  • 最早:边缘提取算子和连通域算子提取特征器官
  • 发展:梯度图像
    2.整体方法
  • PCA [22-24]
    • PCA的概率版变体,利用贝叶斯分析 [25]。使用两组特征脸来描述相同人和不同人之间variation
    • PAC其他变体
      • kernel PCA
      • 独立成分分析 ICA
      • 其他见文章
    PCA方法总的来说是基于整体脸,而不是局部部件,来判断输入图像是否是人脸。
    PCA方法的问题在于,其投影将训练集中所有图片的variance最大化了,也就是说,最大的特征向量并不利于人脸识别,这是因为,提取到的eigenvector很有可能同一个体的variation(光照,姿势,表情带来的)
  • LDA,即Fisher discriminant analysis 【32-36】旨在解决上述问题,其主要思想为利用类别标签去寻找一个投影矩阵,使之能最大化类间距离,同时最小化类内距离。
    • 类内距离定义不准确时,LDA方法容易过拟合【35】。这在输入数据是高维度并且每类中的个体数量比较少时很容易出现(多数人脸集就是这样的情况)
    • 因此一般在使用LDA前,先用PCA降维
    • LDA也有基于kernel和概率的方法,这和PCA类似
  • 支持向量机【40】
    • 考虑一个二分类问题,分别是类内difference和类间difference(这一点和基于概率的PCA有点类似)
    • 将SVM和PCA、LDA做结合,效果不明显,主要因为LDA已经encode了识别人脸所需的判别信息
  • 局部保留投影 locality preserving projection (LPP)?
    • PCA和LDA保留图像整体信息,LPP则侧重保留局部信息
    • LPP学习到的投影(降维)致力于将局部信息相似的图像放在更加接近的子空间中(这似乎意味着对同人不同姿势的识别更好)
    • 基向量正交化【43】
  • 人脸的稀疏表达【44】
    • 将test image用训练图片的线性组合来来表达,通过强调系数矩阵的稀疏性,使得矩阵中多数非零系数都来自正确的类
    • 测试时,用每个类的系数矩阵来重构图像,重构误差最小的认为是正确类
    • 这种方法可以通过给线性组合增加一项稀疏误差来提高鲁棒性
      • K-SVD,如何从训练集中选择一个更加紧凑和有判别性的子集【46】
      • 马尔科夫场,【47】,衡量图片中每个像素的权重
  • 联合贝叶斯方法(受启发于概率PCA)【48】
    • 这种方法中,一张人脸图像被表述为两个独立高斯变量的和(一个代表类内变换,一个代表类间变换)
    • 在LFW上达到了92.4%,是整体方法在这个数据集上达到的最高水平
    3.基于特征的方法
    指利用在人脸图像不同位置提取到的局部特征的方法。(几何方法可以视为该类的一种,也就是提取的是几何特征)
    比整体方法更适合于解决个体变换的问题(光照、表情等导致的),其许多描述子具有一定的不变性。
  • 模式本征脸法【50】,PCA被独立的用于各局部区域去产生一个本征脸集
  • 一种基于二元边缘特征的方法【51】
    • hausdorff distance 常用于边缘匹配算法的一种距离算法,衡量两组点集之间的相似程度
    • 变体,LEM(line edge maps,线性边缘映射)【53】,将人脸表述为线元
  • 基于弹性模型的方法elastic bunchgraph matching(EBGM)【54-55】
    • 动态链接模型,将人脸用图上的节点表示,节点包含从预定义的人脸关键点上提取的Gabor小波变换系数
    • 除了Gabor,还有基于梯度直方图(HOG)的,【57-59】,效果更优,鲁棒性好
    机器视觉其他领域的局部特征描述子发展起来之后,基于特征的方法又火了一波。【60】
  • LBP描述子【61】
    • 将图像划分为局部,提取LBP直方图,然后拼接为一个全局的特征向量。
    • 使用卡方距离(chi-square distance)描述相似性
    • 这种方法的变体被广泛应用于人脸检测、表情分析等领域
    • 与Gabor特征图结合;使用傅里叶变换;LDP,通过编码方向信息来提取高层次的局部信息【63-66】
  • SIFT(Scale invariant feature transform,尺度不变特征变形)
    • 描述了三种匹配SIFT描述子的方法,基于规则网格(regular grid)的效果最好
    • SURF,dense feature extraction【69-70】
    • 其他变形:volume-sift,partial-descriptor-sift,人脸识别准确率有一定提高
  • 其他从训练集中学习局部特征的方法
    • k-means,PCA,随机树等,致力于对人脸局部微小特征进行离散编码,然后形成人脸不同区域的直方图,最后对每个直方图使用PCA建立人脸描述子【72-74】
    • 其他和LBP类似的方法【75-76】
    基于特征的方法更鲁棒,但也丢失了整体方法的一些缺点,例如不能很好的鉴别非判别信息,不够紧凑。
    4.混合方法
  • 这是在DNN出来前最常用的方法,通常是用LBP、SIFT等提取局部特征,然后用PCA、LDA将其投影到低维判别子空间
  • 利用Gabor小波特征和子空间方法结合【77-79】
    • 基本思路为将不同方向和尺度的Gabor核和图片卷积,将输出拼接成特征向量,再对特征向量进行降维
  • LBP描述子是许多混合方法的另一关键组件
    • 【81】将图像分成若干不重叠区域,从不同分辨率进行LBP描述子提取和拼接,再投影到PCA+LDA子空间
    • 【82】将上述方法拓展到彩色空间
    • 拉普拉斯PCA【83】
    • three-patch LBP和four-patch LBP月LDA和SVM结合,通过编码相邻patch像素之间的相似性来提升准确率【84】
    • 【85】从人脸特征点周围的多尺度LBP提取高维表述,然后用PCA降维,并用联合贝叶斯方法获取最后的判别特征,实验发现高维表述有利于提升精度(向量维度1k->100k,准确率提升6%~7%),但降维计算量巨大,因此这篇文章还提供了 一个对PCA和联合贝叶斯进行估计的稀疏线性投影矩阵,如下
                                    论文阅读:Face Recognition: From Traditional to Deep Learning Methods  《人脸识别综述:从传统方法到深度学习》论文阅读:Face Recognition: From Traditional to Deep Learning Methods  《人脸识别综述:从传统方法到深度学习》
    • GaussianFace 【86,87】,基于隐性高斯判别过程的多任务学习方法。其拓展了高斯过程方法,并使用了一种更高效的核LDA来从LBP描述子中学习人脸表述;这种方法能够有效利用不同来源的图像信息。该方法在LFW上准确率能达到98.52%,能与很多深度学习方法媲美。
    • 有的混合方法使用了不同局部信息的组合
      • Gabor小波特征和LBP特征组合【88】,此文认为LBP描述子提取细节信息,Gabor小波特征则编码了更大尺度的人脸轮廓信息,对二者特征各自进行PCA降维,拼接后用LDA投影到子空间
      • 用于光照变化环境中人脸识别的多特征系统【8】,三个贡献
        • 提出了一个降低光照影响的pipeline
        • 提出了LBP的一个变体,LTP,对噪声更不敏感
        • 提出了一种将Gabor wavelet和LBP、LTP特征集合并使用核LDA进行降维再做分数归一化、分数融合的系统
      • 稠密SIFT描述子
      • 使用其他低层次局部信息训练SVM
    • 总的来说混合方法分为两条思路
      • 一是通过组合不同形式的局部特征
      • 二是通过一些学习方法去提升特征的判别能力
    • 深度学习方法则通过训练端到端的系统,来学习到最适合识别任务的大量特征。
    5.基于深度学习的方法
  • 现有的大型人脸数据集【9-15】
论文阅读:Face Recognition: From Traditional to Deep Learning Methods  《人脸识别综述:从传统方法到深度学习》论文阅读:Face Recognition: From Traditional to Deep Learning Methods  《人脸识别综述:从传统方法到深度学习》
  • 其优点在于
    • 学习到有判别性的特征
    • 特征降维
    • 可以训练分类器
  • 基本思路
    • 训练bottleneck feature作为表述【99】
    • 用其他目标识别方法对bottleneck进行优化,例如联合贝叶斯【9】,使用不同loss【10】
    • 或者通过优化距离度量直接学习bottleneck特征【100-102】
  • 早期:
    • 基于决策的概率神经网络PBDNN【103】,用强度和边缘特征训练两个PBDNN,然后联合决策
    • SOM(self-organising map)+CNN【104-105】。SOM是一种无监督的网络,能够将输入数据投影到低维空间,同时保留其拓扑信息。
        上述两种方法都不是端到端的,并且所用神经网络非常浅。
    • 【100】提出了一种端到端的CNN,使用了一种孪生神经网络结构和对比度损失【106】,不过这种网络也很浅,训练数据集也小。
        早期方法效果都比较一般,主要是训练集都比较小,造成网络泛化能力不强。
        直到ImageNet等大型数据集提出以后【107】,基于深度学习的人脸识别才真正获得state-of-art的准确率【9,99】】
    • Facebook DeepFace【99】,在LFW上97.35%
      • 采用softmax loss^2损失函数
      • 来自4030人的4.4m张图片数据
      • 主要贡献:
        • 提出了一种有效的基于3D建模的人脸对齐方法
        • 提出了一种包含局部连接层的CNN结构【108-109】,可以学习到一幅图像中不同局部的信息
    • DeepID【9】
      • 在10个区域、3个尺度、RGB和灰度通道等patches上训练了60个CNN???
      • 测试时,从每个patch及其水平翻转的副本中提取160个bottleneck特征,特征维数160x2x60=19200维
      • 在19200维特征上训练一个联合贝叶斯分类器实现人脸认证
      • 训练集有来自10177人的202599张图像
    • 影响DNN人脸识别精度的三要素
      • 训练集
      • CNN结构
      • loss
    • 数据集方面
      • 【110】研究了训练集中不同个体数量对识别精度的影响
        • 研究将大数据集中每个个体按所含图片多少降序排列
        • 实验发现,取前10000个个体的图片作为子集时训练所得精度最高,再增加后续个体图片反而会使精度下降,这是因为再往后,每个个体的图片非常少了。
      • 【111】则研究了数据集广度和深度对精度的影响
        • wider:数据集中含有更多不同个体
        • deeper:数据集中每个个体含有更多图片
        • 实验发现,数据集图片数量相同时,广度大的数据集,也就是个体数多的数据集,精度更高
        • 作者认为这是因为wider dataset包含更多类间信息
    • CNN结构方面
      • base VGG【112】的,【10,11】 
      • base GoogleNet【113】的,【102】,精度和VGG实现的差不多,但参数少了20倍
      • base ResNet【114】的,【115-121】,其主要特点为用一个shortcut connection去学习残差映射,使得深度网络更容易训练,因为它能促进信息在层间的传递
      • 不同网络结构的综述【121】,最佳平衡的网络结构为100层ResNet,参【122】
    • loss选择方面
      • softmax loss【99,9,10,123】,研究认为这种loss对训练集中不存在的个体的泛化性能不好,因为它学习的特征强调的是类间difference,但不能降低类内变化的影响
      • 改进:
        • 一是用联合贝叶斯等判别子空间去优化bottleneck feature,【9,124,125,126,10,127】
        • 二是使用metric learning(度量学习),例如将pairwise的对比度损失【100,101】作为监督信号,结合分类损失【124-126】
      • metric learning代表作
        • triplet loss【128,102】,通过一个边界来区别正样本对和负样本对的距离
          • 使用triplet loss的网络比使用softmax的收敛慢,主要是因为一个训练集中有许多triplets
          • 原文使用对hard triplet进行筛选的方法来提高训练效率,但更优的做法是先用softmax训练至收敛,再用triplet loss进行fine-tune【11,129,130】
          • 变体:
            • 用点积取代欧氏距离【129】
            • 概率triplet loss【130】
            • 【131-132】同时最小化正负样本的标准差
        • center loss【133】
          • 旨在最小化feature和其所属类中心的距离
          • 通过center loss和softmax的联合训练,能够很好地增加类间距离(softmax),同时缩小类内距离(center loss)
          • center loss比contrastive和triplet loss更容易实现,因为它不需要在训练中组成pair或者triplet
        • range loss【134】
          • 提升不平衡数据集的训练效果
          • 分为两部分,类内部分最小化样本对于同一类的k类最大距离(k-largest distance),类间部分最大化一个batch中最接近的两类的中心距离。
          • 通过使用这些极端的样本,range loss从每个类中使用了相同的信息,而不受每个类别所含图片数量多少的影响
          • 与center loss类似,也需要和softmax结合使用【133】
    将不同loss结合的一个难点在于如何在不同loss之间找到平衡,也就是如何设置系数,因此现在有很多方法开始调整softmax而不是把它和其他loss结合
      • 特征归一化,L2范数归一化【115】,标准化【118】
      • 给softmax loss的决策边界中引入一个margin【135】
论文阅读:Face Recognition: From Traditional to Deep Learning Methods  《人脸识别综述:从传统方法到深度学习》论文阅读:Face Recognition: From Traditional to Deep Learning Methods  《人脸识别综述:从传统方法到深度学习》
论文阅读:Face Recognition: From Traditional to Deep Learning Methods  《人脸识别综述:从传统方法到深度学习》论文阅读:Face Recognition: From Traditional to Deep Learning Methods  《人脸识别综述:从传统方法到深度学习》论文阅读:Face Recognition: From Traditional to Deep Learning Methods  《人脸识别综述:从传统方法到深度学习》
      • 这类的其他变体主要区别在于怎么向softmax中放入这个margin
        • SphereFace【116】,权重系数全部归一化,因此决策边界只依赖于θ1和θ2
        • CosFace【119,120】,使用了一个累加余弦间隔,区别于【135,116】中的乘法间隔,累加间隔更易实现和优化,特征向量的归一化和缩放同【115】
        • ArcFace【121】,保持CosFace优势的同时,有更好的几何解释,因为其间隔累加在angle上而非cosine上
        • 带间隔的softmax loss总结:
论文阅读:Face Recognition: From Traditional to Deep Learning Methods  《人脸识别综述:从传统方法到深度学习》论文阅读:Face Recognition: From Traditional to Deep Learning Methods  《人脸识别综述:从传统方法到深度学习》
三、结语
    提升数据集和网络size能够继续提高精度,前者可以通过GAN实现,后者可以通过使用Mobilenet等实现【154-156】
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
上一篇:linux批量复制或删除同命名规则的文件


下一篇:Spring Boot 数据访问集成 MyBatis 与事物配置