2024年5月1日发(作者：)

第

4

曲阜师范大学学报

7

卷

第

1

期

Vol.47 No.1

2021

年

1

月

Journal of Qufu Normal UniversitJan.2021

y

:/

.1001-5337.2021.1.064

j

基于卷积神经网络的微表情识别模型

*

韦锦涛

,

倪建成

,

侯

杰

,

吴俊清

,

魏媛媛

(

曲阜师范大学软件学院

,

山东省曲阜市

)

273100

,

由于微表情具有持续时间短

、

发生强度弱

、

动作幅度小等特点

,

这使微表情识别面临特征提取困

摘要

:

难

、

识别精度低等挑战

.

针对其面临的数据样本数量少且不平衡

、

识别精度低等问题

,

该文提出了基于卷积神

部分组成

:

微表情数据预处理和微表情识别

,

分别用于扩充并平衡微表情数据样本以及准确识别微表情

.

它克

服了训练样本数量少

、

不平衡等缺点

.

通过在

CASMEⅡ

数据集上的实验

,

CNNMER

模型获得了

98.44%

的识

别精度

,

验证了此模型的有效性

.

经网络的

C

模型

.NNMER

(

ConvolutionalNeuralNetworkMicro-ExressionReconition

)

CNNMER

模型由

2

pg

关键词

:

微表情识别

;

数据增强

;

卷积神经网络

L1

正则化

;

L2

正则化

;

()

中图分类号

:

TP183

;

TP391

文献标识码

:

A

文章编号

:

101-0064-08

0

引

言

,

代开始研究人脸表情

,

并将其划分为

Hainess

pp

,,,

SadnessAnerFearSurrise

和

Disust

等

6

类表

gpg

情

.

此后

,

众多学者致力于研究变化多样

、

表情丰富

2

]

,

的人脸宏表情识别

[

识别精度不断提升

,

并在计算

3

]

4

]

、、

机视觉

、

人机交互

[

教育

[

模式识别

、

心理学等众

[]

美国心理学家

Ekman

1

等人在

20

世纪

70

年

神经网络提取复合微表情的高级光流特征并完成微

[]

表情分类

.DianaBorza

9

等人在从微表情短视频分别

提取表情动作的开始帧与顶点帧

、

顶点帧与结束帧的

差分图像基础上

,

利用滑动时间窗口迭代视频序列提

取特征向量

,

使用

C

正性

、

负

NN

将微表情分为中性

、

[

1

]

和

M

等研究微表情识别的专业训练工具

.

在

ETT

1

[

0

]

性和惊讶等

4

类

.

此外

,

业界已开发了

FACS

系统

1

预处理微表情短视频时

,

上述研究方法通常需要提取

到脸部的变化特征

,

然后合成微表情视频序列的特征

向量

.

但是

,

微表情数据量小和数据不平衡等因素容

易导致

C

从而降低

NN

等深度网络模型产生过拟合

,

了微表情识别算法的泛化能力

.

基于微表情数据集

C

本文首先利用

ASMEⅡ

,

多领域进行了广泛应用

.

但迄今为止

,

人们对变化细

微

、

停留时间极其短暂的微表情识别研究仍然相对

较少

.

微表情是人脸表情的一种习惯性表达方式

,

因

[]

//

其仅有大约

1

而

25s

到

12s

5

的短暂出现时间

,

[]

且表情变化幅度非常微弱

,

故难以准确识别

.Zhao

6

(,,

结合

LActionUnitsAU

)

BP-TOP

的方法提取脸

部表情特征

,

利用支持向量机

(

实现了微表情

SVM

)

[]

分类

.

的基

Li

7

等人在

3D

卷积神经网络

(

3D-CNN

)

等人在引入形态学知识的基础上

,

基于动作单元

[

2

]

准确定位了人脸

Dlib

库中的人脸关键点检测技术

1

位置并获取了一组脸部图像序列

,

继而使用帧间差分

法提取出关键帧图像

.

然后

,

在数据增强基础上

,

构建

了

C

阐释了模型数据处理流程

,

给出

NNMER

模型

,

了具体的算法实现步骤

.

实验结果显示

,

CNNMER

模

型达到了

9

从而为微表情

8.44%

的微表情识别精度

,

的应用研究提供了一种可行的解决方案

.

据增强和卷积神经网络

;

第

2

节提出并构建了

论文的结构如下

:

第

1

节阐述了帧间差分法

、

数

础上

,

引入批量归一化

,

结合

3D

光流特征提取时空

[]

域的学习特征实现了微表情的分类

.Zhao

8

等人使

用

3

计

D

快速傅里叶变换提取微表情视频的顶帧

,

算从起始帧到顶帧的光流特征映射

,

利用浅层卷积

*

收稿日期

:

2020-03-20

);)

基金项目

:

国家自然科学基金青年项目

(

山东省研究生教育质量提升计划项目

(

61601261SDYY17136.

,:

作者简介

:

韦锦涛

,

男

,

硕士研究生

,

研究方向

:

计算机视觉

、

机器学习

、

微表情识别

;

1992-CCF

会员

;

E-mailweiintao@

;

j

,:

通信作者

:

倪建成

,

男

,

博士

,

教授

,

研究方向

:

分布式计算

、

机器学习

、

数据挖掘

;

1971-CCF

高级会员

;

E-mailnich@.

j

第

1

期

韦锦涛

,

等

:

基于卷积神经网络的微表情识别模型

65

第

3

节进行了详细的实验对比分

CNNMER

模型

;

析

;

第

4

节总结全文并指出了进一步研究的方向

.

的图像提取运动区域

.

)

d

k

(

x

,

x

,

x

,

1

=

f

i

(

-

f

i

+

k

(

y

)

y

)

y

),(

1

,

if

d

k

(

x

,

y

)

≥

T

,

(,)()

d

k

x

y

=

2

,(,),

0 if

d

k

x

y

<

T

,

其中

f

i

(

分别表示第

i

帧和第

i

+

x

,

x

,

y

)

f

i

+

k

(

y

)

1

相关技术

1.1

帧间差分法

13

]

帧间差分法

[

是一种将视频序列中相邻或间

隔多帧的两张图像像素值作差分的提取轮廓方法

.

此方法可以由公式

1

和公式

2

来描述

,

对差分运算

后的值取绝对值得到

d

,

同时设置阈值

T

对相减后

的像素值

,

表示

k

帧图像在坐标为

(

x

,

d

k

(

x

,

y

)

y

)

像素值差的绝对值

,

为

0

和

1

分别表示背

D

k

(

x

,

y

)

景区域和运动区域

.

图

1

表示采用帧间差分法得到

的运动区域的轮廓图像

,

例如

,

眉毛

、

眼睛

、

嘴唇等

.

{

1.2

数据增强

在小样本情况下

,

数据集的训练样本不足或者

分布不均匀时

,

最直观的做法是增加训练样本的数

量

.

对于微表情识别场景而言

,

数据增强的对象自然

是图像

.

在有限的训练样本下

,

本文借助图像的数据

[

14

]

,

增强

(

扩充了

CDataAumentation

)

ASMEⅡ

g

数据集的样本数量

.

数据增强的方法主要有几何变

图

1 CASMEⅡ

视频序列样例的运动区域帧间差分图

角度

θ

.

经过旋转变换后的像素点

(

的坐标变

x

0

,

y

0

)

,

成

(

如公式

3

所示

,

并且旋转后填充空白部

x

1

,

y

1

)

()

分

,

如图

2

所示

.a

换和颜色变换

,

其中几何变换包括图像的平移

、

旋

转

、

放缩

、

镜像变换

、

转置等

;

颜色变换包括噪声

、

模

糊

、

填充等

.

在微表情图片的处理中

,

为了保留更多

的脸部表情的细节及尽可能地还原真实场景

,

本文

使用了旋转

、

镜像变换和填充

.

旋转变换是以图像的中心为原点

,

旋转一定的

x

ù

x

ùéé

cos

θ

-

sin

θ

0

ù

ê

0

ú

é

êú

ê

1

ú

ê

)

in

θ

cos

θ

0

ú

ê

3

y

0

ú

=

ê

s

y

1

ú

.

(

êúêú

êú

ê

1

ú

ê

ú

01

ú

û

ê

ëû

ë

0

ë

1

û

其中本文

镜像变换包括水平镜像和垂直镜像

,

采用水平镜像

.

设图像的高度为

h

,

宽度为

w

,

原图

,()

如公式

4

所示

,

变换后的图像如图

2

所示

.b

y

1

)

中像素点

(

经过水平镜像变换后坐标为

(

x

0

,

x

1

,

y

0

)

x

ú

é

ê

0

ù

ê

y

0

ú

=

êú

ê

ë

1

ú

û

x

ù

é

-

10

w

ù

é

êú

ê

1

ú

ê

010

ú

ê

y

1

ú

.

ú

ê

ê

001

ú

ú

ê

ëû

ê

ë

1

ú

û

()

4

通过上述方法就可以将原数据集扩充到需要的

图

2

进行数据增强处理后的图片

大小

,

从而增加数据集样本的数量

,

可以使训练后的

自然科学版

)

66

曲阜师范大学学报

(

2021

模型具有更好的鲁棒性

,

进而提高训练后模型的泛

1.3

卷积神经网络

深度学习是机器学习技术的一种

,

这种技术通过

迭代的方式从数据中提取重要的信息并将其转化为

最终的输出特征

.

深度学习在语音识别

[]

15

]]

1617

、

别

[

场景识别

[

等诸多应用领域产生了巨大的影

化能力

.

成

,

形成复杂的卷积神经网络结构

.

2 CNNMER

模型

2.1 CNNMER

模型架构

首

CNNMER

模型的微表情识别的基本机理

:

先将

CASMEⅡ

微表情数据集通过帧间差分法提

取关键帧

,

然后对获得的关键帧做数据增强扩充微

表情数据集的图片数量

.

最后将增强后的数据集输

入到卷积神经网络识别每个表情属于哪一类

,

由此

实现微表情识别

.CNNMER

模型的微表情识别流程

图如图

3

所示

.

由图

3

可知

,

CNNMER

模型的算法

流程包含两部分

,

一部分为微表情数据集的数据预

处理

,

另一部分为微表情识别

.

、

人脸识

响

.

其中

,

卷积神经网络是被广泛应用于视觉分析领

,

是一类包含卷积计算且

NeuralNetworkCNN

)

具有深度结构的前馈神经网络

.

卷积神经网络结构主

[]

18-21

域的深度学习算法之一

.

卷积神经网络

(

Convolutional

要由输入层

、

隐藏层和输出层组成

,

其中

,

隐藏层由卷

)、)

积层

(

池化层

(

和

ConvolutionalLaerPoolinaer

yg

L

y

)

全连接层

(

中的一种或多种组

FullonnectedLaer

y

C

y

图

3 CNNMER

微表情识别的流程

2.1.1

数据预处理

本文采用的数据来源于中国科学院心理研究所

[

2

]

傅小兰团队的数据集

C

该数据库样本

ASMEⅡ

2

.

表

1 CASMEⅡ

表情数据库的样本短视频分布

表情类型

Disust

g

Hainess

pp

Sadness

Others

Fear

样本短视频数量

63

32

27

25

99

7

2

在拍摄采集时使用视频无灯光频闪

,

光线相对均匀

,

由

2280×340

像素

.6

名受试者的

255

个微表情短视

,,

频组成

,

并被划分为

7

个情感类别

(

DisustFear

g

,

微表情的短视频样本的帧率为

2

分辨率为

00fs

p

Reression

p

Surrise

p

,,,,),

HainessReressionSadnessSurriseOthers

pppp

具体分类数量如表

1

所示

.

第

1

期

韦锦涛

,

等

:

基于卷积神经网络的微表情识别模型

67

、

由表

1

观察可知

,

CASMEⅡ

数据集中

Fear

考虑到数据不平

Sadness

分别只有

2

个

、

7

个样本

,

、

首先利用

库中的

68

个人脸关键

点检测算法

,

识别出人脸区域

,

并剪切得到了一组脸

部图像序列

.

然后使用帧间差分法提取该图像序列

的关键帧

.

由于各个微表情的关键帧数量较少

,

且分

布不均匀

,

因此对其使用数据增强

.

本文对图像做水

,,,,

平镜像

、

旋转变换

,

旋转角度为

{

-6°-4°-2°2°

Disust

g

28.75

19.07

2276

569

,},

并将输出图像的大小标准化为

34°6°00×300

像

素

,

最后与原图像关键帧

(

只将图像大小标准化为

相结合

.

数据增强前后的图像数据

300×300

像素

)

如表

2

所示

.

通过计算分析可知

,

5

种微表情的关键

使用数据增强后

,

本实验的训练样本数量扩

3

所示

.

充了

6

倍

,

并且各类表情的数量分布具有很好的均

匀性

、

稳定性

.

衡的问题

,

本文未考虑数量过少的

2

种微表情

帧数量的百分比值在数据增强前后的波动情况如表

表

2

数据增强前后的微表情关键帧的数量

Hainess

pp

12.94

21.45

2560

256221

Reression

p

11.17

18.75

2238

Surrise

p

9.45

187

Others

37.70

20.37

2431

746

数据增强前

数量

(

张

)

百分比

(

%

)

数量

(

张

)

百分比

(

%

)

数据增强后

20.37

2431

表

3

关键帧数量百分比值的分析统计表

数据增强前

平均值

方差

20.00

数据增强后

20.00

0.96

类别对应的输出概率

,

输出概率最大的那个类别就

2.2 CNNMER

算法

CNNMER

算法的具体步骤如表

4

所示

.

输入

:

数据增强后的数据

X

;

学习速率超参数

η

;

权重衰减超参数

λ

.

输出

:微表情数据

X

划分

,

X

=

{

x

1

,

x

2

,

x

3

,

x

4

,

x

5

}

.

步骤

:

1

2

3

4

5

6

7

8

9

);

while

(

eoch

p

是分类器分类后的结果

.

2.1.2

微表情识别

本文采用的卷积神经网络主要包含

3

个卷积

125.79

表

4 CNNMER

算法描述

层

,

3

个池化层

,

1

个

Flatten

层

,

1

个

Droout

层

,

1

p

个全连接层

,

1

个

Softmax

层

.

第

1

层卷积层使用

3

步长为

12

个大小为

3×3

、

的卷积核对图像进行卷积运算

.

为了避免出现

“

坍

缩

”

现象

,

卷积运算时采用

“

模式

,

即在四周

0

填充

”

边缘扩充

1

个像素

,

确保卷积后的图像大小仍为

然后在第

2

层最大池化层使用大小为

2×2

、

步长为

特征

,

减少计算量和特征数量

,

增大卷积核的感受

野

,

缓解过拟合的问题

.

卷积层和最大池化层如此交

第

3

层

、

第

5

层分别使用

32

个

、

64

个

、

128

个卷积

核

.

第

7

层使用

F

使卷

latten

层把多维数据一维化

,

积层的数据方便连接全连接层

.

但是

,

为了降低模型

复杂度

,

增强模型的泛化能力

,

在第

8

层添加了

替

,

形成交叉地卷积层和最大池化层

,

其中第

1

层

、

将

X

输入到第

i

层网络

;

如果第

i

层网络为输入层

,

则

:

F

0

=

X

;

如果第

i

层网络为卷积层

,

则

;

特征图

FW

i

*

Fb

i

=

i

-1

+

i

)

f

(

否则

,

第

i

层网络为池化层

,

则

(;

特征图

F

down

F

i

=

i

-1

)

同时

,

使用

R

可以减少计

300×

激活函数

,

算量

,

增加网络的稀疏性

,

缓解过拟合问题的发生

.

有助于降低尺寸保留主要

1

的滑动窗口进行处理

,

输入层

F

0

被预测为

m

类的类别概率

Y

(

m

)

();

Y

(

m

)

=

P

(

L

=

l

W

,

b

)

m

F

0

;

10

优化的损失函数为

L

(

W

,

b

)

(

W

,

b

)

=

Loss

W

,

b

)

+

11

L

(

12

更新权重

W

λλ

WTW

+

2

n

∑

w

W

;

∂

L

(

W

,

b

)

;

13

W

i

←

W

i

-

η

∂

W

i

14

更新偏移量

b

∂

L

(

W

,

b

)

;

15

bb

i

←

i

-

η

∂

b

i

16eoch=eoch-1

;

pp

则

b 17

如果准确度没有提升

,

reak.

随机丢弃部分权值

,

减少运算量

.

第

9Droout

层

,

p

层使用带有

R

把前面提

eLU

激活函数的全连接层

,

取到的特征综合起来输入到下一层全连接层

,

这层

网络使用

5

个神经元

,

Softmax

分类器输出每一个

自然科学版

)

68

曲阜师范大学学报

(

2021

“

其中

W

i

表示第

i

层网络的权重矩阵

,

表示

W

i

*

”

与

F

i

-1

的卷积

,

bi

层的偏置项

,

F

i

-1

表示第

i

表示第

度

;

超参数

η

为学习速率

,

用于控制梯度下降的速度

.

,

对于训练样本

,

本文的优化器采用

RM

通过调

SPro

p

节

CNN

模型中卷积核的权值

W

i

和偏移向量

b

.

表示下采样函数

.

i

-1

层网络的特征图

,

down

(

*

)

,

表示

R

x

)

eLU

激活函数

(

ActivationFunction

)

f

(

()

5

常用的激活函数有

Simoid

函数

、

softmax

函

g

数以及

ReLU

函数

.ReLU

激活函数

(

Activation

),

以计算速度快

、

收敛速度快

、

分类效果好

Function

等优点成为

C

本实验训练

NN

模型的首选激活函数

.

)

结果显示

R

公式

(

识别效果最好

.

另

eLU

函数

(

5

)

形成卷积层

.

卷积层是

CLU

结合使用

,

NN

模型的

核心层

,

它利用图片中相邻区域的信息

,

使用稀疏连

外

,

在实际应用中

,

通常将卷积操作和激活函数

Re-

接和权值共享的方式提取特征

.

同时

,

为了减少过拟

用来调整整个

C

λ

为权重衰减

,

NN

模型的过拟合强

)

Laer

(

te

yyp

)

如公式

(

所示

.5

Y

为预测值

.

i

为真实值

,

y

x

)

ax

(

0

,

x

)

.

=

m

f

(

3

实验与分析

3.1

实验环境及参数的设置

本系统环境为

Ubuntu16.04.5LTS

,

GPU

型号

通过交叉熵损失函数训练后

,

CNNMER

最优

,

为

T

驱动版本为

3

实验软件为

Aesla84.81

,

nacon-

实验框架为

kda3.6.5

,

eras.

模型如下

:

为了完成本实验的微表情识别

,

本文实验

使用

Keras

架构以

TensorFlow

作后端搭建卷积神

经网络结构

,

使用

S

用于层的线性堆

euential

类

,

q

CNNMER

模型的重要的网络超参数设置如表

6

所示

.

叠

,

具体的模型结构及参数如表

5

所示

.

实验中

,

,

合现象的出现

,

对权重

W

添加

L

超参数

1L2

正则化

;

表

5 CNNMER

模型结构及参数

(,)

None300

,

300

,

32

(,)

None150

,

150

,

32

(,)

None150

,

150

,

64

(,)

None75

,

75

,

64

(,)

None75

,

75

,

128

(,)

None37

,

37

,

128

(,)

None175232

(,)

None175232

(,)

None512

(,)

None5

———

———

———

OututShae

pp

_

1

(

conv2dConv2D

)

_

2

(

conv2dConv2D

)

_

3

(

conv2dConv2D

)

_

1

()

flattenFlatten

_

1

()

denseDense

_

2

()

denseDense

:

Totalarams

p

:

Trainablearams

p

Param#

896

0

0

0

0

89719296

89815109

89815109

0

2565

0

_

p

_

1

(

maxoolin2dMaxPoolin2D

)

gg

_

p

_

2

(

maxoolin2dMaxPoolin2D

)

gg

_

p

_

3

(

maxoolin2dMaxPoolin2D

)

gg

18496

73856

_

1

()

drooutDroout

pp

:

Non-trainablearams

p

表

6

网络超参数配置

参数

_

Batchsize

数值

128

3.2

实验结果及分析

实验训练网络时使用数据增强后的数据集

,

训

练了

2

记录了训练集和验证集的精

00

轮

eoch

后

,

p

)

实验时训练精度曲线和验证精度曲线

,

图

4

(

展示

b

了实验时训练损失值曲线和验证损失值曲线

.

()

度值和损失值

,

结果如下页图

4

所示

.

图

4

展示了

a

()

根据下页图

5

可以看出

,

当训练轮次达到

5a0

L1Reularization

g

eochs

p

L2Reularization

g

Drooutrate

p

RMSProlearninate

pg

r1e-4

1e-4

1e-4

200

0.5

次左右时

,

训练精度曲线和验证精度曲线的上升幅

()

度已经比较缓慢

;

根据图

5

可以看出

,

当训练轮次

b

第

1

期

韦锦涛

,

等

:

基于卷积神经网络的微表情识别模型

69

达到

1

训练精度曲线和验证精度曲线的

00

次左右时

,

上升幅度变得更加缓慢

,

趋向于收敛的状态

.

使用测

试集进行测试时

,

最后得到的准确率为

9

测试

8.44%

,

集的不同的表情的分类结果的混淆矩阵如图

6

所示

.

图

4

训练过程中的精度值和损失值

图

5

训练过程中后

后

100

个

e

p

oc

1

h

50

个

的精度值

e

p

och

和

图

6

分类精确度的混淆矩阵

别

us

C

t

、

由图

N

H

NM

a

p

6

可知

p

E

in

R

es

模

s

、

,

对于已确定的微表情种类

型

Re

均

p

re

可

ss

以

ion

和

准确

S

地

ur

识

p

ri

别

se

,

,

,

微表

如

情

Dis

识

-

中

e

p

ression

的分类准确率分别为

96

Dis

g

ust

和

其

成

00

H

,

%.

a

p

其识别准确率比其它的四种确定种类的微表情

O

p

in

h

e

e

s

r

s

和

s

这一类由表情种类无法确定的表情组

Surrise

的分类识

.9

别

%

率

、

9

更

9.6

是

%

达

,

到

t

p

识别准确率都要低

,

但是

同时

9

,

3

将本文提出方法的精确度和其它优秀的

.8%.

Others

类的识别准确率仍

然达到了

微表情识别算法的精确度作了对比

,

对比结果如表

所示

.

表

7

显示了本文的方法在

CASMEⅡ

数据

集上的识别精度表现更优

.

表

7

在

CA

M

S

et

M

ho

E

d

Ⅱ

上微表情识别精度的对比

Accurac

3DFlow+CNN

[

7

]

59.11%

y

FMBH+SVM

[

23

]

69.11%

LBP-TOP+SVM

[

6

]

73.51%

ILDNP+PHOG-WEE+SVM

[

24

]

86.59%

TransferLearnin

97.4

OurMe

g

+CNN

[

25

]

%

thod98.44%

结束语

目前

,

微表情识别面临数据集单一

、

图像资源

少

、

容易产生过拟合问题

微表情视频片段的关键帧

.

本文使用帧间差分法提取

,

通过数据增强扩充了微

g

R

1

7

4

自然科学版

)

70

曲阜师范大学学报

(

2021

表情图像数量

,

在一定程度上缓解了过拟合问题

,

同

时

L1

_

L2

正则化和

droout

方法的引入进一步降

p

从实验结果上看

,

与

TransferLearnin+CNN

等优

g

秀的微表情识别方法相比

,

CNNMER

模型在识别

精度上得到了进一步提高

.

但是

,

CNNMER

模型数

据预处理时手工操作过多

,

未实现自动化建立微表

情数据集

;

并且微表情识别时采用的是图片数据集

,

未考虑表情的动态性

.

因此

,

下一步工作将进一步优

低了过拟合

,

从而提升微表情识别精度和泛化能力

.

[]

E10kmanP

,

actioncodinstem

:

A

g

s

y

,

ConsultinscholoistsPressPaloAlto1978

,

12.

g

P

yg

[,,

M

]

.UniversitfCaliforniaSanFrancisco2002.

y

o

VISAPP

)

.2018

:

201-208.

]

techniueforthemeasurementoffacialmovement

[

J.

q

[]

xressionTraininool

(

METT

)

pg

T

[]

K12azemiV

,

lisecondfacealinment

g

insoftheIEEEConferenceonComuterVisionand

gp

,

PatternReconition2014

:

1867-1874.

//

withanensembleofreressiontrees

[

M

]

Proceed-

g

化

CNNMER

模型

,

实现自动化采集微表情图像

,

探

索一种能够基于人脸微表情动态特征的识别方法

.

参考文献

:

[

1

]

f

EkmanP

,

ntsacrossculturesinthe

p

a

s

c

y

e

ch

a

o

n

l

de

o

gy

m

,

1

o

9

ti

7

o

1

n

,

1

[

J

7

]

(

2

.J

)

o

:

1

ur

2

n

4

a

.

lof

p

ersonalit

y

andsocial

[

2

]

R

H

e

u

c

a

o

n

g

nit

Y

ion

X

:

,

A

Ch

S

enF

urve

,

LvS

J

]

.

H

S

,

e

mm

tal

et

.

r

Fa

-

c

B

i

a

alE

,

x

p

ression

[

3

]

(

s

W

1

2

i

0

o

a

0

1

nR

n

)

g

g

.

y

[

yy

sel2019

,

11

8I

e

H

E

c

E

o

H

g

n

,

i

G

ti

u

on

JW.

inH

T

u

h

m

eA

an-

p

c

p

o

li

m

ca

p

t

u

io

te

n

r

s

I

o

n

f

te

F

r

a

a

c

c

i

t

a

i

l

o

E

n

x

[

p

C

re

]/

s-

/

ufacturin

g

EI

(

I

n

C

te

AM

rnat

in

g

s

y

stems

[

P

]

l

.USP

ex

p

)

i

r

.

o

e

I

n

s

E

a

a

s

t

i

E

lC

e

o

n

n

E

o

t

r

.

1

e

2

nf

0

c

0

e

o

1

r

,

3

g

8

en

1

ni

9

t

:

i

2

c

,

o

8

eo

2

n

8-

49

in

2

nA

9

.2

e

1

d

0

d

1

u

.

vancedMan-

[

4

]

9

c

-

at

6

i

-

o

1

n

1

al

.

learn-

[

5

]

L

H

iXB

,

Hon

g

XP

,

MoilanenA

,

sReadin

g

M

i

i

d

cr

d

o

e

-

nE

Ex

p

m

r

o

e

t

s

i

s

o

io

ns

n

:

AC

S

p

o

o

tt

m

in

p

g

ara

a

t

n

iv

d

eS

R

t

e

u

c

d

o

y

g

n

o

i

f

tio

S

n

p

on

M

ta

e

n

th

eo

o

u

d

s

[

s

[

6

]

Z

(

J

4

]

)

.

:

5

Ie

6

e

3

eT

-57

r

7

a

.

nsactionsonAffectiveCom

p

utin

g

,

2018

,

9

ni

h

t

a

io

oY

nM

,

X

et

u

h

p

rovedMicro-Ex

p

ressionReco

g

-

ches

[

J

]

.S

y

o

mm

dB

e

a

t

s

r

e

y

do

-Ba

n

sel

N

,

2

ec

0

e

1

s

9

sa

,

1

r

1

y

(

4

M

)

o

:

r

4

p

9

h

7

ol

.

o

g

icalPat-

[

7

]

t

LiJ

,

WanSeeJ

,

e

P

io

at

nb

ter

ased

g

o

Y

n3

D

Df

,

lowco

t

nv

a

o

l

l

.

ut

M

io

ic

n

r

a

o

l

-

n

e

e

x

u

p

r

r

a

e

l

ss

n

i

e

o

t

nr

wo

e

r

c

k

o

g

[

J

ni

]

-

.

1339.

nAnal

y

sisandA

pp

lications

,

2019

,

22

(

4

):

1331-

[

8

]

Z

p

haoY

,

lutionalneuralne

1

o

9

u

(

2

n

4

dm

):

5

ic

5

r

5

o

3

-e

.

x

p

ressionreco

g

nition

[

J

]

t

.S

w

e

o

n

r

s

k

or

f

s

or

,

2

c

0

o

1

m

9

-

,

[

9

]

a

B

o

n

o

lu

dR

rzaD

tio

e

n

c

al

o

,

I

g

t

n

uR

N

i

e

ti

u

o

r

n

,

D

al

f

a

r

n

N

o

e

e

m

scuR.

tw

H

o

i

r

g

k

hS

M

s

p

i

[

e

cr

M

e

oE

dC

]//

a

x

p

P

m

r

ro

e

e

c

r

s

e

a

s

e

su

ionD

din

si

g

n

s

g

ete

o

C

c

ft

o

ti

n

o

v

n

h

-

13thIn

e

s

p

i

l

o

ic

n

a

,

t

I

io

m

t

n

a

e

s

g

r

i

n

.

n

a

g

tio

M

a

n

a

n

a

d

dC

lJ

eira

o

ointConferenceonCom

p

uterVi-

,

m

p

P

u

o

t

r

e

t

rG

u

g

a

r

l

a

;

p

hic

V

sT

ISI

h

G

e

R

or

A

y

P

a

P

nd

(

A

5

p

-

:

[

13

]

s

L

m

p

eiH

atio-

,

te

Bi

m

nL

g

p

or

.

al

Vi

d

d

if

e

f

o

e

-

r

b

e

a

n

s

c

e

ea

ds

n

a

dc

lien

o

to

her

b

e

j

e

n

c

c

td

e

e

[

J

te

]

ct

.

io

M

nv

ult

i

i

a

-

10

e

6

d

9

i

9

a

.

ToolsandA

pp

lications

,

2018

,

77

(

9

):

10685-

[

14

]

Xiao

y

unT

,

Son

g

linS

,

g

mentation

o

a

g

n

n

dS

itio

e

n

con

[

J

d-

]

O

.I

r

e

d

e

e

eA

rP

c

o

c

o

e

l

s

i

s

n

g

,

20

fo

1

rF

9

(

7

a

)

ci

:

a

8

lE

682

x

1

p

-

r

8

e

6

s

8

s

2

io

8

nR

.

ec-

[

15

]

Z

en

h

ds

an

g

p

e

Y

e

,

Pezesh

g

kiM

,

BrakelP

,

e

p

t

c

send-to

a

-

networks

chr

[

J

]

e

.

c

2

o

01

n

7

iti

.

onwithdeeonvolutionalneurl

[

16

]

P

b

r

a

a

s

s

e

a

d

dPS

re

p

,

Path

at

a

i

kR

onf

,

o

G

r

u

f

n

a

j

c

a

e

nV

reco

K

g

n

,

e

i

t

ti

a

o

l

n

.D

[

e

M

e

p

]

le

I

a

C

rn

C

i

C

n

g

2019.S

p

ri

r

n

es

g

e

er

nt

,

2020

:

419-424.

//

E

[

17

]

J

o

a

v

fS

bee

u

nS

rveil

,

l

S

a

a

n

l

c

e

eD

em

a

S

t

,

AzamA

,

eco

g

nition

e

i

n

s

c

e

e

dC

o

l

n

ass

A

ifi

d

e

v

r

a

s

n

[

c

C

au

em

]/

e

/

si

nt

2

n

s

0

g

1

i

92

De

n

n

e

p

C

dI

F

om

n

e

p

t

a

u

e

t

t

r

u

a

n

r

t

a

e

i

t

sa

o

i

n

o

a

n

n

l

alC

dS

Sc

o

u

ie

n

p

n

f

e

e

r

c

r

-

e

-

(

ICACS

)

.IEEE.2019

:

1-6.

s

[

18

]

t

P

s

i

a

o

o

n

l

a

e

l

tt

n

iM

eura

,

l

HautJ

,

PlazaJ

,

e

p

convolu-

[

19

]

(

ificat

A

1

E

c

4

E

h

5

G

a

-

r

)

io

b

y

:

1

n

[

J

]

n

.

e

I

t

S

w

P

o

R

r

S

k

j

f

o

or

ur

f

n

a

a

s

l

t

o

h

f

yp

p

e

h

r

o

s

t

p

o

e

g

c

r

t

a

ra

mm

lim

et

a

r

g

y

e

,

c

2

l

0

a

1

s-

8

a

aU

20-1

seds

R

47

cr

,

e

O

.

e

hSL

nin

g

of

,

H

de

a

p

g

r

i

e

w

s

a

s

r

io

aY

nus

,

i

e

n

t

g

al

de

.

e

A

p

u

c

t

o

o

n

m

v

a

o

t

l

e

u

d

t

-

g

i

r

o

a

n

m

al

s

n

i

e

nb

ur

i

a

o

l

m

ne

e

t

d

w

ic

o

i

r

n

k

e

,

2

[

J

0

]

1

.

8

C

(

o

16

m

1

p

)

u

:

t

1

e

0

rm

3-1

e

1

t

3

ho

.

dsand

p

ro-

[

20

]

f

D

r

a

o

b

m

iriS

GP

,

S

H

t

e

r

a

a

s

j

l

e

i

c

p

to

K.

ries

Inf

u

e

s

r

i

r

n

i

g

n

g

a

tr

c

a

o

n

n

s

v

p

o

o

l

r

u

t

t

a

i

t

o

i

n

o

a

n

ln

m

e

o

u

d

r

e

a

s

n

l

[

21

]

g

i

e

n

t

g

wo

t

r

e

k

chn

[

J

ol

]

o

.

g

i

T

e

r

s

a

,

n

2

s

0

p

1

o

8

rt

,

8

a

6

tio

:

3

nr

60-

e

3

s

7

e

1

ar

.

ch

p

artC

:

emer-

S

M

c

i

a

nP

leC

,

o

C

n

h

v

o

ol

n

u

g

t

y

io

a

n

n

a

g

lN

W

e

,

u

T

ra

o

l

n

g

Net

C

w

,

o

eta

rkf

l

o

.

rM

Dua

ic

lT

ro-

e

E

m

x

p

p

r

o

e

r

s

a

-

l

s

[

22

]

(

i

8

on

):

1

R

7

e

4

c

5

o

g

.

nition

[

J

]

.FrontiersinPs

y

cholo

gy

,

2017

p

Y

r

a

o

n

ve

WJ

dS

,

p

L

o

iX

ntan

,

e

W

ou

a

s

n

g

M

SJ

icr

,

o

e

-

ta

Ex

l

p

r

.

e

C

ss

A

i

S

on

ME

D

Ⅱ

_

AnIm-

[

23

]

t

L

h

uH

eBa

,

s

K

el

p

in

al

eE

maK

valu

,

a

R

ti

o

o

n

n

sin

[

J

J

]

.

.

M

Pl

o

o

t

sO

iond

ne

es

,

2

c

0

ri

1

p

4

at

to

,

a

9

b

(

a

rs

1

se

fo

)

rm

.

and

i-

第

1

期

韦锦涛

,

等

:

基于卷积神经网络的微表情识别模型

71

]:

cro-exressionreconition

[

rocessinIm-

pggg

[]

Y24uY

,

DuanHY

,

emoralfeaturesselec-

pp

,():

aeCommunication201867108-117.

g

[]

Z25hiRC

,

XuHR

,

WanM

,

inDConvo-

g

3

lutionalNeuralNetworkswithTransferLearnin

g

b

y

SuervisedPre-TraininorFacialMicro-Exression

pg

f

p

,():

Sstems2019

,

10251054-1064.

y

]

Reconition

[

ransactionsonInformationand

g

]

tionforsontaneousmicro-exressionreconition

[

J.

ppg

,:

JournalofIntellient&Fuzzstems2018

,

35

(

4

)

gy

S

y

4773-4784.

Micro-exressionreconitionmodelbasedonconvolutionalneuralnetwork

pg

WEIJintao

,

NIJianchen

HOUJie

,

WUJunin

WEIYuanuan

g

,

qg

,

y

(,,,,

SchoolofSoftwareEnineerinQufuNormalUniversit273165

,

QufuShandonPRC

)

ggyg

,

ishandaddresses

pgpypy

,

tionseveralexeriments

gg

s

pp

CNNMERcanreconizemicro-exressioneffectivel.

gpy

:;;;;

Keords

facialmicro-exressiondataaumentationL1reularizationL2reularizationconvolu-

pggg

y

w

,,

wereimlementedonCASMEⅡdatasetsandCNNMERobtained98.44%accuracwhichvalidated

py

toreconizemicro-exressionbasedonconvolutionalneuralnetwork

(

CNN

)

.CNNMERconsistsoftwo

gp

:,

artsmicro-exressiondataset

p

re-rocessinndmicro-exressionreconitionwhichareusedtorelen-

pppg

a

pgp

ofthe

p

roblemthatmicro-exressionreconitionisfacedwithsmallnumber

gypg

,

andimbalanceofdatasamlesandlowreconitionaccuracthis

p

aer

p

roosesamodelcalledCNNMER

pgypp

cro-exressionreconitionhasbeenconfrontedwiththechallenesoffeatureextractiondifficultndlow

pggy

a

:,,

Abstract

Duetothecharacteristicsofshortdurationweakintensitndsmallmotionamlitudemi-

y

a

p

tionalneuralnetwork