2024年3月25日发(作者：小米9为啥不卖了)

一种基于眼动输入的手机解锁方法

林亮亮;陈洋;徐璐

【摘 要】提出了一种基于眼动输入的手机解锁方法,该方法首先使用AdaBoost级

联分类器进行人脸区域检测,利用眼部特征点建立眼睛相对坐标系,进行人眼视线方

位的估计;然后利用K-Means聚类算法对视场坐标系中的凝视区域进行聚类;最后

使用随机生成的密码序列对视线方位进行加密.实验结果表明,该身份认证方法具有

较高的认证精度和效率.

【期刊名称】《西安石油大学学报（自然科学版）》

【年(卷),期】2016(031)004

【总页数】5页(P122-126)

【关键词】眼动输入;身份认证;手机解锁;视线方位;特征检测

【作 者】林亮亮;陈洋;徐璐

【作者单位】西安音乐学院现代教育技术与网络信息中心,陕西西安710061;西安

交通大学软件学院,陕西西安710049;中国人民解放军61741部队,北京100078

【正文语种】中 文

【中图分类】TP391.4

林亮亮，陈洋，徐璐.一种基于眼动输入的手机解锁方法[J].西安石油大学学报(自然

科学版)，2016，31(4):122-126.

LIN Liangliang,CHEN Yang,XU Lu.A mobile phone unlocking method based

on eye tracking [J].Journal of Xi'an Shiyou University (Natural Science

Edition),2016,31(4):122-126.

随着智能手机终端的大屏化和应用体验的不断提升，手机已成为网民主要的上网终

端设备。国内对于视线输入认证方式的研究起步较晚。黄乔[1]对基于视线输入法

的人机交互系统进行了研究；蒋春燕[2]对视线跟踪技术在人机交互字符输入中的

应用进行了研究；崔耀等[3]在TMS320DM6446 EVM上实现了视线跟踪的打字

系统；谢欢等[4]利用外接红外灯和摄像机在手机上进行了注视姿势输入方法的研

究。本文提出一种基于人眼视线交互的手机身份认证方法。该方法对资源需求小，

实现成本低，认证准确实时，方便易用，而且用户无需用手就可完成整个认证过程。

基于眼动输入的身份认证方法通过使用主动形状模型(Active Shape Model，

ASM)算法实时检测用户眼球的位置来判断人眼视线注视的方位，对相应视线方位

所代表的密码进行输入，以避免用户密码泄露或者伪造，尽可能地提高认证精度和

效率。具体过程如图1所示。

密码表格是用户进行密码输入的依据和视线方位的参考；图像采集：当用户在智能

手机上开始使用人眼注视方位进行密码输入时，系统调用智能手机摄像头实时采集

连续的用户面部图像，并交由人脸区域检测流程进行处理；人脸区域识别：使用

Vioal-Jones人脸级联检测器在智能手机摄像头获取的原始图片上进行人脸区域的

快速检测；人眼特征点追踪定位：将经过人脸区域检测的图像通过使用ASM主动

形状模型算法预先训练，并建立通用人脸模型进行人脸面部特征点的定位；视线方

位估计：利用选取的人眼特征点建立眼睛参考系，将特征点的图像坐标转换成眼睛

参考系中的坐标，并以此来确定人眼视线方位；认证密码生成：利用生成的人眼视

线方位来将相对应的密码字符标识进行输入。

2.1 数据收集

选用公开的MUCT数据集进行通用人脸模型的训练。由于手机平台计算资源紧张，

使用较少数量的特征点可以加快运算速度，因此本文选取40个特征点进行训练。

2.2 形状模型的建立

形状模型的建立是利用Procrustes方法对数据集进行对齐的过程。经过归一化处

理后，数据集中各样本形状向量之间存在一定的相关性，且每一幅人脸图像都有

2n维的特征，数量较大会造成计算量过大。对于这种情况，采用主成分分析

(Principal Component Analysis,PCA)进行简化处理。

2.3 块模型的建立

块模型是用来检测和表示数据集中不同图像上每一个特征点的局部特征。当块模型

与含有面部特征的图像区域交叉相关时，就会对特征区域有一个强烈的响应。

对于数据集中第j个图像上第i个标注点，块模型的创建过程为：①在第j个图像

上第i个标注点的两侧，沿着垂直于该点前后2个特征点连线的方向上分别选择

m个像素以构成一个长度为2m+1的向量；②对该向量所包含像素的灰度值求导

得到一个局部纹理gij；③对数据集中其他数据样本图像上第i个标注点进行同样

的操作，得到第i个标注点的N个局部纹理gi1,gi2,…,giN；④求取均值

以及方差

得到第i个标注点的局部特征块模型。对其他所有的标注点均进行同样的操作，就

可以得到每个标注点的局部特征块模型。这样，一个标注点新的特征g与其建立

好的块模型局部特征之间的相似度量就可以用马氏距离作为匹配函数，即

2.4 人脸特征检测

在通过数据集训练建立起形状模型和块模型的基础上，使用Vioal-Jones人脸级

联检测器对使用智能手机摄像头获取的连续人脸图像视频序列进行人脸特征点的快

速检测工作。

本文使用人脸检测区域与人脸特征之间的几何关系来设置模型的初始形状。

3.1 视线方位估计

选用人眼视线范围作为视场参照系，人眼运动在正常的视觉观察过程中表现为在被

观察目标上的一系列停留和停留点之间的快速转移。如果这些停留在100 ms以上，

称之为凝视。当人眼凝视一个静止的事物时，并不是完全静止不动的，在注视的过

程中眼球仍有一些微小的运动。由于这些微小运动的存在，普遍认为没有固定不变

的凝视点，称之为凝视区域。可以简单地将视场参照系划分成由M×N个凝视区

域组成的矩阵形状，不同的凝视区表示视场参照系中不同的视线注视方位，如图2

所示。

对于M×N个凝视区域中每一个凝视区域由对应的瞳孔特征点在眼睛参照系中的

点集范围来标识。为了简化计算过程，可对该点集进行聚类，求出每个点集的质心，

使用质心来标识该凝视区域。

3.2 密码生成

使用本文提出的视线方位估计方法定位出用户当前所注视的凝视区域，对标识该凝

视区域的密码字符进行输入。另外，需解决以下2个问题：

(1)消除视线方位的同一性

视线方位的同一性是指：用户每次根据视线方位来对相应密码字符进行输入时，所

注视的视线方位都是一样的。本方法采用随机乱序分布的方法来对视线方位的同一

性进行消除，如图3所示。通过这样的过程使得用户每次输入密码时眼睛凝视的

方位不会完全相同，从而增加了安全性，有效防止了由于正面偷窥而造成的密码猜

测和身份欺骗。

(2)密码字符输入结束的判定

采用判断用户眨眼的方法对字符输入做结束判定。据相关领域统计得出，小于

200 ms的短时间眨眼属于习惯性不自主眨眼，而超过200 ms的长时间眨眼属于

有意识的主动眨眼。因此就可以根据手机执行前文提出的图像处理方法时的运行时

间(帧/s)来设置一个眨眼时间阈值用以区分不自主眨眼和有意识的主动眨眼。

对于是否眨眼的检测，可通过由ASM主动形状模型算法得出的上下眼皮特征点在

眼睛参考系统中坐标的距离来进行判断，如图2所示。眨眼过程中，上下眼皮特

征点距离会不断缩小至大约为零，因此可以设置一个系数，使得上下眼皮特征点间

的距离跟内外眼角特征点间的距离相关的一个阈值进行比较，可判定眨眼发生。阈

值等于参数p与内外眼角特征点距离之积。经过相关试验统计，该参数可以取

0.08，即当上下眼皮特征点距离小于内外眼角特征点距离的8%时，即可判定发生

眨眼活动。

对手机解锁系统进行测试及实验，包括基于ASM人眼追踪定位算法对瞳孔特征点

定位的准确度及效率、系统在不同凝视区域划分情况下的使用情况，以及不同密码

位数对系统的影响等。

4.1 测试环境

本文在训练用凝视区域质心指纹模板的过程中，共组织12人参与训练，并采用华

为荣耀4X、HTC 919d及小米2作为采集平台，见表1。

4.2 测试结果与分析

4.2.1 系统瞳孔定位准确率和效率 使用在PC平台上利用数据集训练生成的通

用人脸模型分别对JAFFE人脸库和测试人群人脸图像进行测试，结果如图4所示。

由图4可以看出，本文针对资源受限的智能手机平台所提出的安全密码输入方法

具有较好的运行效率。用本文的方法在不同手机硬件条件下对一幅JAFFE图像进

行处理的平均时间约为57 ms，帧率约为17帧/s，对一帧实时采集到的实验者图

像进行处理的平均时间约为85 ms，帧率约为11帧/s。本算法在JAFFE人脸库上

实现了99%的定位准确率，而且在个别面部旋转角度过大或带有黑框眼镜等情况

下的定位准确率也达到了92%以上。

4.2.2 视场参考系中凝视区划分对系统的影响 本实验参与实验人数为8人，使

用5个4位人眼视

线方位标识序列作为认证参考信息。实验者在本系统中通过使用人眼视线方位信息

对给出的参考标识信息进行输入。实验平台为华为荣耀4X，实验结果如图5所示。

由图5可以看出，当凝视区数量设置为2×2、2×3、3×3时，认证系统有非常好

的正确率，超过了90%。凝视区数量设置为3×4时，正确率下降为83.75%，从

4×4开始，正确率下降开始加快，4×6开始已经低于50%。

为了更好地分析下降原因，需要结合训练凝视区域质心指纹模板中收集到的坐标点

集数据进行分析。 如图6所示， 当凝视区数量设置为2×2、2×3、3×3时，系统

正确率较高，其原因在于凝视区之间的距离大，特点明显，易于区分识别。凝视区

数量设置为3×4时，正确率有所下降的原因在于认证时由于缺乏实际的方位参考

点， 用户只能凭直观感受定位凝视区范围，所以会出现错误率的增大。当凝视区

域划分从4×4开始，认证系统的正确率明显降低。所以本文中使用3×3的凝视区

域划分设置，在保证认证系统具有较高准确率的同时尽量提升视线方位信息的复杂

度。

4.2.3 不同密码位数下的认证准确度和效率 本实验参与实验人数为8人，依次

使用1～6位密码字符标识序列作为认证参考信息。实验结果如图7所示。

图7 系统在不同密码位数下的认证准确度和效率Fig.7 Identity

authentication accuracy and efficiency of system under different password

number

从图7中可以看出，在密码位数设置为不大于4位时，系统有着较好的正确率和

效率。当位数大于4位时，认证时间有所提高，而正确率有所下降。

参 考 文 献：

责任编辑：张新宝

A Mobile Phone Unlocking Method Based on Eye Tracking

LIN Liangliang1,CHEN Yang2,XU Lu3

( Education Technology and Network Information Center,Xi'an

Conservatory of Music,Xi'an 710061,Shaanxi,China;re

Institute,Xi'an Jiaotong University,Xi'an 710049,Shaanxi,China;e

People's Libration Army 61741,Beijing,China)

Abstract：A mobile phone unlocking method based on eye tracking is

this method,AdaBoost cascade classifier is used for the

detection of human face,and to use the feature points of the eye

establishes the relative coordinates of the eye to estimate the direction of

eye using the field of view as the human eye visual field

coordinate system,we estimate the human eye sight the

gaze regions in the view coordinate system are clustered using K-Means

clustering last,the randomly generated password sequence is

used to encrypt the direction of sight mental results show that

the proposed authentication method has high authentication accuracy and

efficiency.

Key words：eye movement input;authentication;mobile phone

unlocking;sight orientation;feature detection

文献标识码： A

收稿日期：2016-04-05

基金项目：陕西省工业科技攻关项目(编号：2015GY026)

作者简介：林亮亮(1980-)，男，硕士，工程师，主要从事教育信息化、软件工程

等研究。E-mail：**************

DOI：10.3969/.1673-064X.2016.04.021

中图分类号： TP391.4

文章编号：1673-064X(2016)04-0122-05

4.2.3 不同密码位数下的认证准确度和效率 本实验参与实验人数为8人，依次

使用1～6位密码字符标识序列作为认证参考信息。实验结果如图7所示。

从图7中可以看出，在密码位数设置为不大于4位时，系统有着较好的正确率和

效率。当位数大于4位时，认证时间有所提高，而正确率有所下降。

【相关文献】

[1] 黄乔.基于视线输入法的人机交互系统研究[J].计算机系统应用,2008(5):14-16.

[2] 蒋春燕.视线跟踪技术研究及其在人机交互字符输入中的应用[D].上海：上海交通大学,2008.

[3] 崔耀,何迪,于明轩,等.基于眼视线跟踪的打字系统在TMS320DM6446 EVM上的实现[J].数据

采集与处理,2012,27(6):737-741.

CUI Yao,HE Di,YU Mingxuan,et ation of eye-tying system based on eye-tracking

on TMS320DM6446 EVM[J].Journal of Data Acquisition & Processing,2012,27(6):737-741.

[4] 谢欢,赵歆波,侯阳.适用于手机的眼动输入方法研究[J].计算机与现代化,2013(4):81-85.

XIE Huan,ZHAO Xinbo,HOU -input interaction for mobile phones[J].Computer

and Modernization,2013(4):81-85.

[5] VOLKER Roth,KAI Richter,RENE Freidinger.A PIN entry method resilient against

shoulder surfing[C].Proc.11th ACM Conference on Computer and Communications

Security,Washington,DC,USA,October 2004.

[6] WARE C,MIKAELIAN H evaluation of an eye tracker as a device for computer

input[C].Proceedings of the Conference on Human Factors in Computing

Systems and Graphics Interface.1987:183-188.

[7] JACOB R J you look at is what you get:eye movement-based interaction

techniques[C].Proceedings of the SIGCHI Conference on Human Factors in Computing

Systems.1990:11-18.

[8] KASPROWSKI P,OBER movement tracking for human identification[C].6th World

Conference BIOMETRICS 2003,London (2003).

[9] KUMAR M,GARFINKEL T,BONEH D,et ng Shouldersurfing by Using Gaze-

based Password Entry[C].Technical Report CSTR 2007-05,Stanford University,Stanford

2007.