笔记：基于 CNN 和 COSPFIRE 特征融合的年龄组人脸识别基于 CNN 和 COSPFIRE 特征融合的年龄组人脸识别

论文信息：Lara Marie Demajo, Kristian Guillaumier, and George Azzopardi. 2019. Age group recognition from face images using a fusion of CNN- and COSFIRE-based features. In Proceedings of the 2nd International Conference on Applications of Intelligent Systems (APPIS '19).  DOI:https://doi.org/10.1145/3309772.3309784.

论文网址：https://dl.acm.org/action/doSearch?AllField=Age+group+recognition+from+face+images+using+a+fusion+of+CNN-+and+COSFIRE-based+features

目录

1 基本信息 

2 方法流程

2.1 系统的概要示意图

2.2 所用方法的思维导图

3  详细实验

3.1 使用FG-NET

3.2 讨论

3.3 结论

4  补充信息

4.1 论文中文摘要 

4.2 论文基本信息：

• 论文提出的方法：一种基于卷积神经网络(CNN)和移位滤波响应组合(COSFIRE)的特征融合技术，用于人脸图像的年龄分类。
• 数据集：FERET、FG-Net。
• 评估度量：准确度、精确度、召回率、F-度量、混淆矩阵。

• 实验（每个实验都进行了三次）：图像重新缩放、CNN转移学习、COSFIRE过滤器配置、SVM内核、融合方法（5次）。
• 实验结果：

• 1）将FERET的图像与FG-NET的图像合并创建一个更大、更多样化的数据集来进一步分析了所提出的融合方法，宏观平均查全率、精度和F-measure远低于全局微观精度，但全局准确性不受影响。

• 2）当使用128×128像素的图像调整尺度、基于COSFIRE的描述符使用卡方核的SVM、基于CNN的描述符和堆叠分类器的线性支持向量机、以及使用倒数第二层作为VGG-Face的输出，同时为COSFIRE配置每个年龄类别90个滤波器时，每种方法的性能都最好。使用这些参数值，VGG-Face的准确率为97.5%，召回率为97.6%，而COSFIRE的准确率为92.2%，召回率为90%。

• 结论：

• 1）在年龄分类方面，VGG-Face比COSFIRE是一个更好的特征提取器。

• 2）COSFIRE可以为基于cnn的描述符提供补充特征。

• 3.0.1图像重新缩放。在这里，我们用输入图像的分辨率对基于CNN的方法和基于COSFIRE的方法进行了经验评估，结果表明，当我们将图像重新缩放到128×128像素时，这两种方法都获得了最好的性能。

  3.0.2 CNN转移学习。通过迁移学习，VGG-Face的一些最终完全连通的层被忽略。在这个实验中，我们调查了4096维全连通层中哪一层给出了最好的特征向量。本实验使用Bootstrap聚集法(袋装)在训练过程中每班5袋300个样本，并使用线性支持向量机进行分类。VGG-Face的第15层(倒数第二层)的召回率和准确率最高，如表1所示。这证实了这一层生成的特征向量比第14层包含更多的信息。

  3.0.3 COSFIRE过滤器配置。基于COSFIRE的描述符的长度取决于使用的COSFIRE过滤器的数量。当我们为每个年龄组配置90个COSFIRE过滤器时，效果最好，这意味着对于6个类别，空间金字塔描述符会产生11,340个元素的向量(21×6×90)。增加或减少COSFIRE过滤器的数量时，性能会下降。

  3.0.4 SVM内核。在这个实验中，我们比较了使用线性核支持向量机和使用卡方核支持向量机得到的两种方法的结果。没有使用装袋。卡方核对基于cosfire的描述符有重大影响，因为它利用了其描述符中包含的空间信息，如表2。VGG-Face的描述符中缺少这样的信息，这就解释了所取得的微小进步。事实上，对于VGG-Face，卡方核的权重没有应用。

  5.0.5融合方法。我们采用从上述实验中获得的最佳参数值，并通过将描述符与堆叠分类方法融合来重新运行系统，如论文第3.3节所述。表3报告了所提出的融合方法与单独的VGG-Face和COSFIRE管道的性能对比结果。本实验共进行了5次，以平均值作为最终值。融合方法的平均宏观精度和f -评分以及全局精度均优于单独的两种方法。图3描述了所提出的融合方法的混淆矩阵，并且值得注意的是，大多数错误是由于相邻年龄类别中的错误分类造成的。这是合理的，因为许多年龄接近阶级界限的人也很容易被人类错误分类。

  我们进一步分析了所提出的融合方法，将FERET的图像与FG-NET的图像合并，以创建一个更大、更多样化的数据集。我们使用相同的预处理和特征提取步骤，如上所述。将所有图像的4096维VGG-Face和(21 × 8 × 90) 15120维COSFIRE描述符输入到堆叠SVM分类模型中。从表4可以看出，宏观平均查全率、精度和F-measure远低于全局微观精度。这是因为前三个年龄组只包含少量图像，导致年龄组之间的标准偏差为0.25。因此，虽然前三个指标受到这种变化的影响，但全局准确性不受影响。

  实验结果表明，当使用128×128像素的图像调整尺度、基于COSFIRE的描述符使用卡方核的SVM、基于CNN的描述符和堆叠分类器的线性支持向量机、以及使用倒数第二层作为VGG-Face的输出，同时为COSFIRE配置每个年龄类别90个滤波器时，每种方法的性能都最好。使用这些参数值，VGG-Face的准确率为97.5%，召回率为97.6%，而COSFIRE的准确率为92.2%，召回率为90%。

  表5显示了建议的VGG-FACE和COSFIRE组合方法的结果，与文献中现有的一些年龄分类方法相反。我们的方法达到了更高的准确率，证明了它在年龄分类中的适用性。

   

  如表3所示，我们可以得出结论：在年龄分类方面，VGG-Face比COSFIRE是一个更好的特征提取器。这可能是因为VGG-Face在非常大和多样化的人脸图像数据集上进行了预训练，从而产生了更有效的特征。另一方面，COSFIRE通过从训练图像中选择随机的局部模式来在手头的数据集上配置滤波器。结果中的改进虽然很小，但表明COSFIRE可以为基于cnn的描述符提供补充特征。在未来的工作中，我们将从更大的数据集配置COSFIRE过滤器，以允许更多的变异性。此外，我们将研究一种排名方法，只使用最有效的COSFIRE过滤器，而丢弃其他的。

  我们发现，VGG-Face和COSFIRE都可以作为年龄分类的很好的特征提取器，即使在使用具有挑战性的图像时也是如此。虽然仅基于VGG-人脸描述符的融合方法比单独的基于COSFIRE的方法性能更好，但结合这两种描述符的融合方法获得了最高的准确率，优于文献中已有的方法。

  摘要：自动年龄组分类是一种算法将人脸图像分类到预定年龄组的能力。由于其在监测、生物特征识别和商业特征分析等领域的广泛应用，这是一项重要的任务。在这项工作中，我们提出了一种融合技术，结合基于CNN和COSFIRE的特征来识别人脸图像中的年龄组。CNN和COSFIRE都是在各种计算机视觉应用中被证明有效的可训练的方法。对于CNN，我们使用预先训练过的VGG-Face架构，对于COSFIRE，我们从训练数据中配置了新的COSFIRE过滤器。由于最近的文献表明，在这类问题中，CNN提供了最高的准确率，所以我们在这项工作中想要调查的假设是，将CNN和COSFIRE方法结合在一起是否会改善结果。采用堆叠支持向量机(SVM)分类器的融合技术，并使用FERET数据集图像进行训练和测试，结果表明，基于CNN和cosfire的特征相结合可以降低25%以上的错误率。

   

  关键词：年龄分类，特征提取，COSFIRE, VGG-Face，人脸图像，CNN，可训练滤波器，FERET, FG-NET。