2024年4月2日发(作者：红米k40游戏增强版参数)
第
50
卷第
2
期
红外与激光工程
Infrared
and
Laser
Engineering
2021
年
2
月
Feb.
2021
Vol.50
No.2
MEMS
振镜扫描共聚焦图像畸变机理分析及校正
缪
新叫李航锋
1,
张运海心
，
王发民込施
辛彳
(1.
中国科学技术大学
，
安徽合肥
230026
；
2.
中国科学院苏州生物医学工程技术研究所江苏省医用光学重点实验室
，
江苏苏州
215163;
3.
苏州大学附属第二医院，
江苏苏州
215000)
摘要
：
在皮肤反射式共聚焦显微成像过程中
，
针对
MEMS
振镜二维扫描引起的共聚焦图像畸变
，
开
展了光束偏转理论分析
，
得出了投影面扫描图像的具体形状表征
,
理论畸变图像与真实畸变图像一致
，
明确了畸变机理
，
提出一种有效的畸变校正算法
，
实现对图像二维畸变的校正
。
首先记录原始光栅畸
变图像
，
然后基于
Hessian
矩阵提取光栅中心线
，
拾取特征点并设置基准参考线
，
通过基于最小二乘法
的
7
次多项式插值法标定二维方向像素畸变校正量
，
采用加权平均法填补间隙像素灰度值，最终实现
图像畸变校正
。利用网格畸变测试靶实验得出
7
次多项式插值后的校正决定系数最高
、
均方根误差值
最低
，
整幅
512
行图像在
7
次多项式插值后最优行数占
379
行
，
比例为
74%,
通过残差分析
，
二维方向
上残差最大为
4
个像素
，
最小为
0
个像素
，
平均为
1.15
个像素
，
校正结果较为精确
。
皮肤在体实时成
像实验显示
，
图像畸变校正后组织结构特征更加真实准确
，
表明这种校正算法有效可行
，
有助于皮肤疾
病的准确诊断
。
关键词
：
图像二维畸变
；
机理分析
；
Hessian
矩阵
；
光栅
；
多项式插值
中图分类号
：
TH742.9
文献标志码
：
A
DOI
：
10.3788/IRLA20200206
Analysis
and
correction
of
image
distortion
in
MEMS
galvanometer
scanning
confocal
system
Miao
Xin
12
,
Li
Hangfeng1
,
Zhang
Yunhai
1,2
*,
Wang
Famin
1,2
,
Shi
Xin
3
(1.
University
of
Science
and
Technology
of
China,
Hefei
230026,
China;
2.
Jiangsu
Key
Laboratory
of
Medical
Optics,
Suzhou
Institute
of
Biomedical
Engineering
and
Technology,
Chinese
Academy
of
Sciences,
Suzhou
215163,
China;
3.
The
Second
Affiliated
Hospital
of
Soochow
University,
Suzhou
215000,
China)
Abstract:
Aiming
at
the
distorted
confocal
images
caused
by
the
two-dimensional
scanning
of
MEMS
galvanometer
during
skin
imaging
by
reflectance
confocal
microscopy,
the
theoretical
analysis
of
beam
deflection
was
carried
out,
and
the
specific
shape
representation
of
projection
plane
scanning
image
was
obtained.
It
was
concluded
that
the
theoretical
distortion
image
was
consistent
with
the
real
distortion
image.
The
distortion
mechanism
was
clarified
and
a
distortion
correction
method
was
proposed.
First,
the
original
distorted
grating
image
was
recorded,
then
the
center
lines
of
grating
were
obtained
based
on
the
Hessian
matrix,
after
that
feature
points
were
picked
and
datum
reference
lines
were
set.
Finally,
the
correction
to
the
distorted
confocal
images
was
realized
by
calibrating
the
corrections
of
the
two-dimensional
pixel
distortions
using
polynomial
interpolation
收稿日期
：
2020-10-12
；
修订日期
:2020-11-15
基金项目:国家重点研发计划
(20
17YFC0
110305)
；
山东省自然科学基金
(ZR2019BF012)
；
济南市
“
高校
20
条
”
资助项目
(2018GXRC018)
；
苏州市民生科技项目
(SS201643)
20200206-1
红外与激光工程
第
2
期
第
50
卷
based
on
the
least
square
method
and
filling
the
gray
value
of
gap
pixels
by
weighted
average
method.
By
the
experiment
of
measuring
target
with
grid
distortion,
the
correction
coefficient
was
the
highest
and
the
root
mean
square
error
was
the
lowest
after
polynomial
interpolation
of
degree
7.
Also,
the
optimal
number
of
512
rows
was
379,
accounting
for
74%.
The
residual
distortions
were
accurately
evaluated,
in
two
dimensional,
the
maximum
value
is
4
pixels,
the
minimum
value
was
0
pixel
and
the
average
value
was
L15
pixels,
so
the
results
were
accurate.
The
experiment
of
in
vivo
real-time
skin
imaging
shows
that
the
organizational
structure
features
are
more
real
and
accurate
after
corrections.
So
this
method
is
effective
and
feasible,
which
is
helpful
for
accurate
diagnosis
of
skin
diseases.
Key
words:
two-dimensional
distortions
of
images;
mechanism
analysis;
Hessian
matrix;
grating;
polynomial
interpolation
0
引言
量庞大
、
必须获取一定数量的采样点才能得到较为准
作为一款新型影像学临床诊断设备
，
皮肤反射式
确的畸变校正参数
，
而且校正后的图像呈现严重拉
共聚焦显振镜利用皮肤中血红蛋白
、
黑色素和角蛋白
伸
，
直接影像图像质量；
经纬度以及双经度模型是以
等不同组织成分的折射率差异进行成像
，
为皮肤组织
引入极点的方式来实现图像映射关系
，
但是在极点周
的实时观测提供有效的技术手段
，
在恶性皮肤肿瘤早
围依然存在图像拉伸现象
；
柱面模型则是设置引导方
期诊断
、
治疗后随访等方面发挥了愈发重要的作用"役
向
，
将图像沿着柱面导向展开
，这种方式有效避免了
为进一步实现皮肤病检查时的便捷性,需要发展手持
图像拉伸
，
但会损失中心画面
。而基于标定算法的校
式皮肤共聚焦显振镜
，
由于受到系统体积和重量限
正方式最先由
Tsai
如提出
，
首先需要求解初始化参
制
，
系统中的核心部件扫描振镜要采用单镜面式
数
，然后经过非线性优化来实现系统标定参数，
并确
MEMS
振镜实现二维扫描成像,该扫描方式使得采集
定畸变系数
；
张正友标定法创首先通过建立畸变数学
到的图像存在较为严重的二维畸变
，
扭曲了皮肤组织
模型
，
再利用多幅不同位姿的标定板图像完成畸变参
真实的结构形态.如不对这种图像畸变进行校正
，
将
数标定
，
该算法需要明确畸变种类
。
人工智能算法校
不利于医生观察皮损组织真实形态
、
边界轮廓
、
结构
正方法
S
创主要包括机器视觉
、
深度学习
、
BP
神经
特征等信息
，
直接影响临床诊断结果因此
，
需要
网络等
，
这些方法均需要较大的采样数据量
，
系统模
在分析产生图像畸变机理的基础之上
，
实现畸变校
型的准确构建直接影响校正结果
。
正
，
将真实图像信息准确呈现
，
为皮肤疾病诊断奠定
文中分析了单镜面型
MEMS
振镜二维扫描畸变
基础
。
机理,通过记录原始光栅畸变图像
，
基于
Hessian
矩阵
目前,针对共聚焦图像畸变的机理分析均基于两
提取光栅中心线
，
二维方向分别拾取特征点并设置参
振镜配合的扫描方式厂®,如双检流计振镜
、
共振振
考线
，
采用基于最小二乘法的
7
次多项式插值拟合方
镜-检流计振镜及双共振振镜
，
上述系统形成的主要
法进行二维方向像素畸变校正量标定
，
最终实现图像
图像扫描畸变为双曲线枕形畸变
，
只需校正一维
（
快
二维畸变校正
，
通过残差分析评估证明该方法有效可
轴
）
方向畸变
，
通过推导图像各像素实际位置、
振镜
行
，
能够满足皮肤在体实时成像检测需求
。
实际偏转角以及控制电压三者关系
，
这种方式计算量
大
，
实现难度较高
，
静态扫描控制方式一定程度上影
1
振镜扫描畸变机理
响成像速度
。
而针对其他图像畸变的各类校正方法
基于
MEMS
扫描振镜的共聚焦成像系统如图
I
及算法主要有建立投影变换模型校正
“
⑼
、
基于标定
所示
，
激光束经过
PBS
棱镜.反射至
MEMS
扫描振
算法校正
WT21
以及人工智能算法校正等
。
基于投影
镜
，
其镜面在一定光学摆角内进行高速二维扫描
，
之
变换模型校正方法主要适用于鱼眼相机
，
包括采用球
后光束经扫描透镜和筒镜进行扩束
，
经过
M4
波片调
面透视投影模型心叫经纬度模型河坷
、
双经度模
制偏振态
，
最后由物镜聚焦于待测样本面
，
样本反射
型
E
以及柱面模型
1
咱
9
］
。
球面透视投影的方法运算
光束由原路返回
，
分别经过物镜
、
川
4
波片
、
筒镜
、
扫
20200206-2
红外与激光工程
第
2
期
第
50
卷
描透镜
、
MEMS
振镜后到达
PBS
棱镜,经针孔透镜聚
焦于光纤端面
，
由探测器将光信号转换为电信号
，
最
后上位机重建出图像
。
1.1
MEMS
振镜工作机理
MEMS
振镜工作机理如图
2
所示,一束激光入射
至
MEMS
振镜镜面中心
，
反射至投影面从而形
成一个扫描光点
。
单镜面型
MEMS
振镜由上位机通
过串口发送指令给下位机主控板
，
同时实现
X
、
『
两
图
1
基于
MEMS
扫描振镜的反射式共聚焦成像系统
维方向驱动控制
，镜面在
x
方向为正弦波
、
y
方向为
Fig
」
Reflectance
confocal
microscope
based
on
MEMS
锯齿波运动模式,最终在投影面形成二维扫描图像
。
Fig.2
Working
mechanism
of
MEMS
1.2
扫描畸变分析
首先
，
镜面绕快轴偏转运动
，在系统投影面处
标系
，
将入射光向量沿
X
。
和
zo
方向分解
，
如图
3(a)
所
示
，
则入射光在
X
q
P
q
Z
o
坐标系下的单位向量为
(sina,
建立
DZ
坐标系(与图
2
中号
z
坐标系一致)
，
设镜面由
O,coso),
经镜面反射后的反射光也沿
X
。
和
Zo
方向分
解
，
如图
3(b)
所示
，
则反射光在乂哄函坐标系下的单
原始位置
1
绕快轴转动
a
到达位置
2,
则反射光偏转
角为
2a,
以镜面在位置
2
处的法线方向
、
垂直法
线方向以及平行护坐标系中
y
轴方向建立
X
q
P
o
Z
o
坐
位向量为
(sina,
0,
-cosar)
。
图
3
MEMS
振镜绕快轴偏转运动示意图
Fig.3
Working
around
fast
axis
of
MEMS
镜面绕慢轴偏转运动示意图如图
4
所示
，
其视图
不变
，
因此其在
X
。
方向上的单位向量仍为
sina,
将经
方向为图
3
中的/向
，
镜面由原始位置
1
绕慢轴转动
过
MEMS
振镜二维偏转后的反射光在乂収忆
。
坐标
0
到达位置
2,
则反射光偏转角为
20
。
反射光沿
X
。
方
向的分向量在振镜绕慢轴偏转运动过程中保持
系下分解
，
首先将反射光单位向量向旳
0z°
平面投
影
，
得出向量
1
的模为
sina,
向量
2
的模为
cosa,
再
20200206-3
红外与激光工程
第
2
期
第
50
卷
将向量
2
向
x°Ozo
平面投影
，
得出向量
3
的模为
z
=
0,
可得出
：
y
2
=
7
------
兀+(
—
])厶
’
cosa
・
sin20,
向量
4
的模为
cosa
・
cos20,
考虑向量方向
后得出反射光在
XoXoZo
坐标系下的单位向量可表示为
⑵
tana
tarro
/
由于实际情况下
MEMS
振镜镜面与入射光原始
(sina,
cose
•
sin20,
-cosa
•
cos20)
0
夹角为
45
。
，
因此心
=
45°,
00
=
0°,
绕快轴的机械偏转
角约为土
7
。
,即
a
e
[38°,52°],
绕慢轴的机械偏转角约为
±5°,
即奘
[-5
。,
5
。
]
。
令
A(a)
=
—
,
tana
=
taira
/
厶
2,
则公式⑶
可化简为
y
2
^Ax+B,
图形为二次抛物线
，
由二次函数
特性可知
：
当
A
>
0
时,抛物线开口向右
；
当
A
<
0
时,抛
物线开口向左
；
HI
越大
，
抛物线开口越大
；
当
B>0
时,
图
4
MEMS
振镜绕慢轴偏转运动示意图
抛物线与
x
轴交点在
y
轴左侧
；
当
B
<
0
时
，
抛物线与
x
轴
Fig.4
Working
around
slow
axis
of
MEMS
交点在
y
轴右侧
；
当
B
=
0
时,抛物线与
x
轴交点为原点
。
在砂坐标系下
，
将反射光在
X^
q
Z
q
坐标系下
的单位向量进行二次分解
，
则
X^o
坐标系下兀
o
方向
tana
厶始终为正值
，
因此
,A(a)>0,
tana
随着自变量
a
变大
而变大
，
因此
,A(a)
随着自变量
a
变大而减小
，
即随着
函数
4(a)
=
—
在定义域
a
e
[38
。,
52
。
]
内,
tana
>0,
2L
的单位向量
sinQ
在
xyz
坐标系下分解为
(sin
2
a,0,
-sina
•
cosg
),
旳方向的单位向量
cosa
•
sin20
分解为
(O,cosa
・
sin20,O),
z°
方向的单位向量-
cosa
・
cos20
分
解为
(cos%
•
cos20,
0,
sincz
•
coscr
•
cos20)
。
因此
，
将二次
2Z
a
变大
，
抛物线开口逐渐变小
。
函数
A(a)
=
二在定
tana
义域
a
€[38
。,
52
。
吶
，
tana
>0,
Z
始终为正值
，
因此,
A(a)>0,
tana
随着自变量
a
变大而变大
，
因此
，
A
(a)
随
着自变量
a
变大而减小
，
即随着
a
变大,抛物线开口逐
渐变小
。
由
y=
.
-
L
o
可知
，
当
MEMS
振镜镜面绕
分解后的向量在桦坐标系下重新沿各轴累加
，
可
得岁反射光在瞎坐标系下的单位向量如下
：
(sin%
+
cos
2
a
•
cos2^,
cosa
•
sin20,
-sina
•
cosa
+
sina
•
cosa
•
cos20
)
反射光在砂坐标系下的直线方程式可表示为
：
sina
-tanp
慢轴的偏转角达到最大时
，
即仔
=±5
。
时
，
随着
a
变大,
x
=
k-
(sin
2
a
+
cos%
•
cos%)
y
=
k-
cosa
•
sin2/?
z
=
L
+
k・
(—
sina
•
cosa
+
sina
•
cosa
•
cos20)
|y|
的值逐渐变小
，
即面上二维图像的高度逐渐
(I
)
变小
。
综上
，
投影面
xoy
上的理论扫描图像示意图如
图
5(a)
所示，
真实扫描图像如图
5(b)
所示
，
两者形状
式中泌为系数;厶为镜面至投影面
XOY
的距离。
为了
求解出投影面
XOY
上的二维图像
，
令公式⑴中
V
基本一致
。
(b)
图
5
理论扫描图像及实际扫描图像
Fig.5
Theoretical
and
actual
scanning
image
20200206-4
红外与激光工程
第
2
期
第
50
卷
2
图像畸变校正方法
2.1
光栅中心线提取
采用间距为
20
gm
的光栅进行二维扫描成像
，
记
录原始畸变光栅图像
，
如图
6
所示
。
G
(P
。
)是
f(X,
『
)
在
P
a
(x°,yo)
点处的
Hessian
矩阵
,
可简化为
：
H
(x,y)
=
(7)
式中
：亠为
x
的二阶偏导数
，
其他参数类似
。
设
Hessian
矩阵有两个特征值心
、
A
2
,
对应的特征
向量为匕
、
%
。
如果
1
如
》
闷,则儿
、
%
代表
P(x,y)
点处
灰度值变化最大曲率及方向.而久
2
、
匕表示变化最小
曲率及方向
，
如图
7
所示
：
—
Normal
direction
of
light
bar
—
Axis
direction
of
light
bar
—Other
directions
of
light
bar
图
6
畸变光栅图像
P(x,y)
Fig.6
Distorted
grating
image
由于光栅条纹具有一定的像素宽度
，
为了精确获
取图像像素位移量
，
需要准确提取光栅条纹中心线
。
°
Pixel
如果用函
数
f(X,y)
来表示光栅灰度图像
，
则在
Po(x
o
,y
o
)
点处的泰勒展开式可表示为
：
图
7
Hessian
矩阵的特征值和特征向量表征示意图
Fig.
7
Eigenvalues
and
eigenvectors
of
Hessian
matrix
f(X,y
)
=/(xo,yo)+
韵
Po
图
7
中
P(x,y)
点为光条的精确中心点
，
基于上述
方法
，
实现整段光条精确中心点群的提取
，
形成条状
1
2
97
dX
2
ro
p
次+
2
dXdy
严
H
a
%
9
曲线段
。
对图
6
畸变光栅图像中心线条纹提取.提取
前后对比示意图如下图
8
所示
。
⑶
式中
：
AX
=
X-
jc
0
；
AK
=
y~y
0
o
其矩阵表达式为
：
/(X,Y)=/(P
()
)
+
P()
△
X
Ar
+
*(AX,A
『
)
97
ax
2
97
QYdX
a
2
/
dXdY
d
2
.f
AX
Ar
Po
+
•••
(a)
(b)
ar
2
⑷
图
8
畸变光栅图像
(a)
及中心线提取后图像
(b)
Fig.8
Distorted
grating
image
(a)
and
center
lines
image
(b)
即:
/(X,
K)
=
f(P")+
v
/
(
p
0
)
t
aw
+
1
a
//
t
g
(
p
0
)
ah
+
…
2.2
特征处理及分析
畸变光栅图像实现中心线条纹有效提取后
，
施加
多条等间隔水平参考线
，
参考线与纵向光栅中心线交
(5)
其中,
点为特征点
，
如图
9
所示
。
07
ax
2
G(P°)
a
2
/
dXdY
为了实现畸变光栅图像水平方向的位移校正
，
需
，
△
/
7
=
卩
0
a
2
/
dYdX
97
dY
2
AX
Ay
⑹
设置纵向参考线,对每一条中心线条纹上的特征点横
坐标进行算术平均
，
从而获取纵向参考线横坐标数
值
，
如图
10
所示
。
20200206-5
红外与激光工程
第
2
期
第
50
卷
通过上述公式计算得出的"组数据
（
x,,AS,
）
,
由于
图像中各像素点在水平方向均存在畸变
，
因此采用基
于最小二乘法的"次多项式插值方法
，
对已知数据展
开拟合
，
能够获取每个像素点对应的水平方向位移
量
。
通过比较不同次数多项式插值拟合结果的拟合
度
、
拟合误差以及运算效率
，
筛选岀校正决定系数
（用于评价拟合近似程度
）
较高
、
均方根误差值较低,
且运算效率较高的最优次数的多项式插值方法
，
得到
水平方向像素畸变校正矩阵
。
纵向畸变校正方法与横向畸变校正方法类似
，
在
水平方向畸变校正之后
，
基于
Hessian
矩阵对横向畸
变光栅图像提取光栅中心线
，
拾取特征点并设置横向
参考线
，
再次采用基于最小二乘法的"次多项式插值
方法
，
对已知数据进行拟合
，
得出每个像素点的竖直
方向位移量
，
筛选出最优次数的多项式插值方法
，
得
到竖直方向像素畸变校正矩阵
，
最终实现图像二维畸
变校正
。
在图像二维畸变校正过程中
，
原图相邻像素若畸
变校正量不同会产生间隙像素
，
灰度值为
0,
破坏图像
清晰度和完整性
，
如图
12
所示
。
图
10
中心线及纵向参考线
Fig
」
0
Center
lines
and
reference
lines
2.3
像素位移校正
在整幅光栅图像中
，
每条纵向光栅条纹都有对应
的纵向参考线
，
对图像任一行而言
，
光栅条纹中心线
上特征点与对应的纵向参考线之间都存在像素水平
图
12
畸变校正后间隙像素示意图
Fig.12
Gap
pixels
after
distortion
corrections
因此
，
可采用加权平均法填补间隙像素灰度值,
最大程度还原图像信息
。
设原相邻两像素分别为
位移量
AS,,
如图
11
所示
。
和像素灰度值分别为
R,
”
和中间形成了
〃个间隙像素
，
分别为像素则间隙像素
M
的灰度值为
：
3
实验
3.1
像素畸变校正量的标定
为验证上述图像畸变校正方法的可行性及有效
性
，
对畸变光栅图像
（
图
6
）
进行图像畸变校正。
采用
基于最小二乘法的多项式插值法，
实现像素水平位移
图
11
像素水平位移校正量示意图
量的插值拟合
，
随机采样图像某一行数据
（
例如
：第
Fig.l
1
Horizontal
displacement
correction
300
行）
，
分别采用
5
次多项式
、
6
次多项式
、
7
次多项
20200206-6
红外与激光工程
第
2
期
第
50
卷
式以及
8
次多项式进行插值拟合
，
插值结果如图
13
所示
，
计算如下
：
p(x)
=
2.1c
-13
%
5
-5.2e
_,0
x
4
+4.6^
7%
3
一
1
.Se^x
2
+
2.5e~
2
x
+
4.0
p
(x)
=
-9.1e-
,6
x
6
+
2.9e
」
2
疋
一
3.6
e
-
9
x
4
+
-^x2
+
6.3e~
2
x
+
3.3
p(x)
=
1.9e
_18
x
7
—
7.4e
_15
x
6
+
-11
%
5
-
9.7e~
9
x
4
+
4.36
-6
^
-
9.7e~
4
x
2
+
9.2e
_2
x
+
2.8
.
p(x)
=
-2.3e
_21
x
8
+
1
.
1
e~
17
x
7
-
2.2e
_14
x
6
+
2.56
-11
^
5
一
1.6e
_8
x
4
+
5.9e
_6
x
3
一
lZe^x
2
+
0.1x
+
2.6
Abscissa
of
original
pixel
(a)
Curve
fitted
by
quintic
polynomial
Abscissa
of
original
pixel
(b)
Curve
fitted
by
polynomial
of degree
six
Abscissa
of
original
pixel
(c)
Curve
fitted
by
polynomial
of
degree
seven
(d)
Curve
fitted
by
polynomial
of
degree
eight
图
13
像素水平位移量多项式拟合曲线
Fig.
13
Polynomial
fitting
curve
of
pixel
horizontal
displacement
通过上述计算结果及拟合曲线分析可知
，
5
次
、
Number
of
lines
379
工
6
次
、
7
次以及
8
次多项式插值拟合校正决定系数分
别为
0.8737
、
0.9046
、
0.907
8
以及
0.9003
；
均方根误
差分别为
0.5209
、
0.4525,
0.4449
以及
0.4626；
通过
77
是
n
统计发现上述多项式插值运算时长基本相同
。
因此,
42
7
次项插值拟合校正决定系数最高
，
且均方根误差
最小
，为了进一步验证该结果有效性
，
对整幅图像
0
5
6
7
__
.
8
Fitting
times
图
14
多次项插值拟合最优情况统计
512
行分别进行
5
次
、
6
次
、
7
次以及
8
次多项式插值
拟合
，
统计各次数多项式插值拟合为最优时占据的行
数
，
如图
14
所示
，
7
次项最优占
379
行
，
比例为
74%,
Fig.
14
Statistics
of
multiple
interpolation
fitting
明显优于其他次数插值拟合
，
因此
，
认为
7
次项插值
拟合最优
。
竖直方向也采用
7
次项插值拟合的方法进行畸
变校正
，
最终二维畸变校正后光栅图像及中心线提取
图
15
二维畸变校正后光栅图像
(a)
及中心线提取后图像
(b)
后图像如图
15
所示
。
Fig
」
5
Grating
image
after
2-D
corrections
(a)
and
center
lines
(b)
20200206-7
红外与激光工程
第
2
期
第
50
卷
3.2
残差分析
的准确扫描角度
a
、
0,
而扫描角度与控制电压呈固定
为了更精确评价畸变校正结果准确性
，
采用
50
关系
，
因此能够得出各像素点与控制电压的一一映射
间距的网格畸变测试靶进行二维扫描成像，
记录原始
关系
，
理论上
MEMS
振镜只需读取准确的控制电压
畸变图像
，
如图
16(a)
所示
，
通过上述方法实现二维畸
矩阵即可生成完全无畸变图像
。
但在实验时发现该
变校正
。
将校正后图像与标准网格畸变测试靶图像
方法计算量庞大,且这种外部数据读取的方式直接影
进行对比
，
分析校正后二维方向的残差
，
并统计出最
响
MEMS
振镜扫描速度
，
从而影响系统成像速度
，
无
大
、
最小以及平均残差
，
图像局部放大后的残差分析
法满足在体实时成像要求
。
示意图如图
16
⑹所示
。
而文中畸变校正方法具有一定的普适性和通用
性
，
不受畸变模型限制
，
虽然多次项插值拟合方式的
校正精度与之相比略低,但已基本不影响图像的观察
和分析
，
且该方法不会影响系统成像速度
，
完全满足
使用要求
。
(a)
(b)
5
结论
图
16
网格测试靶畸变图像
(a);
畸变校正后网格图像
(b)
Fig
」
6
Distorted
image
of
grid
test
target
(a);
Grid
image
after
distortion
文中针对单镜面型
MEMS
振镜开展了二维扫描
correction
(b)
畸变机理分析
，
提出一种有效的的二维畸变校正算
畸变矫正后的网格畸变测试靶与标准网格畸变
法
，
实现图像畸变准确校正
。
首先记录原始光栅畸变
测试靶二维方向上残差最大为
4
个像素
，最小为
0
个
图像，
然后基于
Hessian
矩阵提取光栅中心线
，
拾取特
像素,平均为
1.15
个像素
，
由于像素数实际为整数
，
因
征点并设置基准参考线
，
通过基于最小二乘法的
7
次
此,近似认为平均残差约
1
个像素
。
多项式插值法标定二维方向像素畸变校正量,最终实
3.3
皮肤实验
现图像畸变校正
。
利用网格畸变测试靶进行残差分
在当前存在畸变的系统中开展在体皮肤共聚焦
析
，
二维方向上残差最大为
4
个像素
，
最小为
0
个像
成像实验,记录皮肤组织结构特征较为明显的棘层图
素
，
平均为
1.15
个像素
，
校正结果较为精确
。
皮肤在
像
。
校正前后对比如图
17
所示
，
能够明显看出
，
皮肤
体实时成像实验显示
，
图像畸变校正后组织结构特征
棘层细胞结构形态由原先的斜拉伸状变为较为均匀
更加真实准确
，
表明这种校正算法有效可行
，有助于
的蜂窝状
，
能够清晰辨识正常组织特征
，
有利于皮肤
皮肤疾病的准确诊断
。
组织结构信息准确获取
，辅助医生检测和诊断
。
参考文献
：
[1]
Liu
Chuang,
Zhang
Yunhai,
Huang
Wei,
et
al.
Correction
of
reflectance
confocal
microscopy
for
skin
imaging
distortion
due
to
scan
[J].
Infrared
and
Laser
Engineering,
20
1&
47(10):
1041003.
(in
Chinese)
刘创,张运海
，
黄维
，
等.皮肤反射式共聚焦显微成像扫描畸变
图
17
皮肤棘层图像畸变校正前后对比
校正
[J]
•红外与激光工程
,
201
&
47(10):
1041003.
Fig
」
7
Contrast
of
skin
echinoderm
images
before
and
after
distortion
[2]
Xiao
Yun,
Zhang
Yunhai,
Wang Zhen,
et
al.
Effect
of
incident
correction
laser
on
resolution
of
LSCM
[J].
Optics
and
Precision
Engineering,
2014,
22(1):
31-38.
(in
Chinese)
4
讨论
肖旳,张运海
，
王真
，
等•入射激光对激光扫描共聚焦显振镜分
辨率的影响
[J]
•光学精密工程,
2014,
22(1):
31-3
&
文中
2.2
节已分析出
MEMS
振镜扫描畸变模型
[3]
Zheng
Yajie,
Shen
Xue,
Cui
Yong.
Diagnostic
value
of
及对应的表达式
，
可推算出真实图像中各像素点对应
reflectance
confocal
microscopy
combined
with
dermoscopy
onb
20200206-8
红外与激光工程
第
2
期
第
50
卷
enign
and
malignant
melanocytic
nevus
and
seborrheic
keratosis
[J].
Journal
of
China-Japan
Friendship
Hospital,
2018,
32(2):
79-82,
64.
(in
Chinese)
郑亚杰
，
沈雪
，
崔勇•皮肤镜联合反射式共聚焦显振镜对色素
黄明益
，
吴军•理想投影椭圆约束下的鱼眼镜头内部参数标
定
[J].
中国图象图形学报,
2019,
24(11):
1972-1984.
[12]
Yuan
Guoqin,
Zheng
Li'na,
Zhang
Hongwen,
et
al.
Two
dimensional
high-precision
internal
orientation
element
痣良恶性
、
脂溢性角化病的诊断价值
［
J
］
.
中日友好医院学报
，
calibration
of
linear
array
camera
[J].
Optical
&
Precision
Engineering,
2019,
27(8):
1901-1907.
(in
Chinese)
远国勤
，
郑丽娜,张洪文
，等.线阵相机二维高精度内方位元素
标定
[J].
光学精密工程,
2019,
27(8):
1901-1907.
2018,
32(2):
79-82,
64.
[4]
Zhu
Yibin.
Application
of
reflective
confocal
laser
scanning
microscope
in
dermatology
[J].
Renowned
Doctor,
20
1&
64(9):
136.
(in
Chinese)
朱宜彬•反射式共聚焦激光扫描显微镜在皮肤科的应用研
[13]
Wang
Xiangjun,
Bai
Haoyue,
Wu
Fanlu,
et
al.
Fish
eye
image
distortion
correction
method
based
on
improved
spherical
究
[J].
名医
,2018,
64(9):
136.
perspective
projection
[J].
Journal
of
Graphics.
2018,
39(1):
43-
49.
(in
Chinese)
王向军
，
白皓月
，
吴凡璐
，
等•基于改进球面透视投影的鱼眼图
⑸
Liu
Caiming.
Study
on
the
working
principle
and
image
distortion
of
galvanometer
scanning
in
laser
large
screen
display
system
[J].
Chinese
Journal
of
Lasers,
2003,
12(3):
263-266.
像畸变校正方法
［
J
］
.
图学学报,
2018,
39(1):
43-49.
(in
Chinese)
刘才明•激光大屏幕显示系统中振镜扫描的工作原理及图像
失真研究
[J].
中国激光,
2003,
12(3):
263-266.
[14]
Zhang
Baofeng,
Qi
Zhiqiang,
Zhu
Junchao,
et
al.
Omnidirection
image
restoration
based
on
spherical
perspective
projection[C]//
APCCAS
2008,
2008.
[15]
⑹
Jiang
Ming,
Yu
Jianhua,
Luo
Xiaoling,
et
al.
Study
on
graphic
Wang
Yizhuo.
Correction
of
fisheye
image
and
mosaic
method
of
cylindrical
panorama[D],
Harbin:
Harbin
Engineering
University,
2013.
(in
Chinese)
王依桌.鱼眼图像的校正与柱面全景拼接方法
［
D
］
•哈尔滨:哈
尔滨工程大学
,2013.
distortion
in
laser
display
[J].
Chinese
Journal
of
Lasers,
1999,
8(6):
509-512.
[7]
Chen
Fangjie,
Han
Jun,
Wang
Zuwu,
et
al.
Image
registration
algorithm
based
on
improved
GMS
and
weighted
projection
transformation
[J].
Laser
&
Optoelectronics
Progress,
20
1&
[16]
Liu
Yijing,
Miao
Changyun,
Yang
Yanli.
Research
on
fast
55(11):
111006.
(in
Chinese)
陈方杰
，
韩军
，
王祖武
，
等.
基于改进
GMS
和加权投影变换的
图像配准算法
［
J
］
.
激光与光电子学进展
,
201&
55(11):
111006.
correction
algorithm
of
radial
distortion
based
on
longitude
latitude
mapping
[J].
Laser
Journal,
2015,
36(1):
1-4.
(in
Chinese)
刘亿静
，
苗长云,杨彦利•基于经纬映射的径向畸变快速校正
算法的研究
［
J
］
•激光杂志,
2015,
36(1):
1-4.
[8]
Wei
Qiyuan,
LV
Xiaoqi,
Gu
Yu.
Improved
projection
transformation
and
structural feature
preserving
mosaic
image
restoration
algorithm
卩].
Modern
Electronic
Technology,
2017,
40(23):
38-42,
46.
(in
Chinese)
魏启元
，吕晓琪
，
谷宇•改进投影变换和保留结构特征的拼接
图像修复算法
［
J
］
.
现代电子技术,
2017,
40(23):
38-42,
46.
[17]
Wei
Lisheng,
Zhou
Shengwen,
Zhang
Pinggai,
et
al. Correction
method
of
fish
eye
image
distortion
based
on
double
longitude
model
[J].
Chinese
Journal
of
Scientific
Instrument,
2015,
36(2):
377-385.
(in
Chinese)
魏利胜
，
周圣文,张平改
，
等.基于双经度模型的鱼眼图像畸变
[9]
Fan
Chengcheng.
Improvement
of
multivariate
statistical
control
model
based
on
projection
transformation[D].
Suzhou:
Soochow
University,
2017.
(in
Chinese)
樊城城•基于投影变换多元统计控制模型的改进
［
叨•苏州
：
苏
矫正方法
［
J
］
.
仪器仪表学报,
2015,
36(2):
377-385.
[18]
Xiao
Xiao,
Wang
Wei,
Bi
Kai.
Distortion
correction
of
panoramic
circular
lens
under
cylindrical
perspective
projection
州大学,
2017.
model
[J],
Journal
of
Xidian
University
,
2013,
40(1):
87-92.
(in
[10]
Anatoliy
Kovalchuk,
Ivan
Izonin,
Mihai
Gregush
ml,
et
al.
An
efficient
image
encryption
scheme
using
projective
Chinese)
肖潇
，
王伟
，
毕凯•柱面透视投影模型下的全景环形透镜畸变
校正
［J
］
.
西安电子科技大学学报,
2013,
40(1):
87-92.
transformations
[J].
Procedia
Computer
Science.
2019,
160:
584-589.
[19]
Zhou
Hui,
Luo
Fei,
Li
Huijuan,
et
al.
Research
on
correction
method
of
fish
eye
image
based
on
cylinder
model
[J].
[11]
Huang
Mingyi,
Wu
Jun.
internal
parameter
calibration
of
fish
eye
lens
under
the
constraint
of
ideal
projection
ellipse
[J].
Computer
Application,
2008,
28(10):
2664-2666.
(in
Chinese)
周辉，
罗飞
，
李慧娟
，
等.基于柱面模型的鱼眼影像校正方法的
研究
[J].
计算机应用
，
2008,
28(10):
2664-2666.
Journal
of
Image
and Graphics,
2019,
24(11):
1972-1984.
(in
Chinese)
20200206-9
红外与激光工程
第
2
期
第
50
卷
[20]
Tsai
R
Y.
A
versatile
camera
calibration
technique
for
high
accuracy
SD
machine
vision
metrology
using
off-the-shelf
TVcameras
and
lenses
[J].
IEEE
Jourmal
of
Robotics
Automation,
1987,
3(4):
323-344.
[23]
Han
Huangpu.
Fast
correction
of
CCD
lens
distortion
based
on
imaging
law[D].
Xi'an:
Xi'an
Technological
University,
2012.
(in
Chinese)
韩黄璞•基于成像规律的
CCD
镜头畸变的快速校正
[D].
西安:
西安工业大学,
2012.
[21]
Zhang
Z.
A
flexible
new
technique
for
camera
calibration
[J].
IEEE
Transactions
on
Pattern
Analysis
and
Machine
Intelligence,
2000,
22(11):
1330-1334.
[24]
Wang
Lan,
Li
Xinhua.
Distortion
correction
of
BP
neural
network
based
on
improved
genetic
simulated
annealing
[22]
He
Yazhou.
Image
distortion
correction
and
temperature
measurement
error
analysis
based
on
machine
leaming[D].
Dalian:
Dalian
University
of
Technology,
2018.
(in
Chinese)
何亚洲•基于机器学习的图像畸变校正及测温误差分析
[D].
algorithm
[J].
Computer
Measurement
&
Control,
2019,
27(5):
77-81.
(in
Chinese)
王岚,李新华.基于改进遗传模拟退火算法的
BP
神经网络的
大连:大连理工大学,
2018.
畸变校正研究
[J].
计算机测量与控制
,2019,
27(5):
77-81.
第一作者简介：
缪新
(1989-),
男
，
助理研究员
，
硕士
，
2012
年于南京航空航天大学获得学士学
位,
2015
年于南京航空航天大学获得硕士学位
，
现于中国科学院苏州生物医学工程技术研究
所在职攻博
，
主要从事在体显微光学及激光共聚焦显微成像方面的研究
。
：
**************.cn
通讯作者简介
：
张运海
(1975-),
男
，
教授
，
研究员
，
博士生导师
，
1998
年于南京航空航天大学
获得学士学位
,
2006
年于南京航空航天大学获得博士学位
，
现于中国科学院苏州生物医学工
程技术研究所工作
，
现为江苏省医用光学重点实验室副主任
，
主要从事激光扫描共聚焦成
像,超分辨显微光学方面的研究工作
。
2018
年被评为江苏省
333
工程培养对象,
2012
年获得
江苏省六大人才高峰资助项目
,
2010
年被评为江苏省有突出贡献中青年专家,
2006
年被认定
为苏州市紧缺高层次人才-
：
****************.cn
20200206-10
发布者：admin，转转请注明出处：http://www.yc00.com/num/1712064734a1999337.html
评论列表（0条）