南京航空航天大学学报  2018, Vol. 50 Issue (3): 416-421   PDF    
基于视觉注意力分配的飞机驾驶舱人机界面布局优化
叶坤武1, 包涵1, 魏思东2     
1. 空军航空大学研究生队, 长春, 130022;
2. 空军航空大学飞行器与动力系, 长春, 130022
摘要: 以优化飞机驾驶舱人机界面布局设计为目的,提出了一种基于飞行员视觉注意力分配的布局优化模型。首先分析了计算机辅助三维交互应用软件(Computer aided three-dimensional interactive application,CATIA)中的可视域分析模块,给出不同视野区域的可视性等级,并对驾驶舱人机界面所在的视野范围进行栅格化处理;然后用G1法分析人机界面上各个设备的重要程度,并给予定量赋值;最后建立以飞机驾驶舱人机界面布局的视觉注意分配达到最优为目标函数的优化模型,并引入带有惯性权重的粒子群算法进行模型的求解。利用飞机模拟驾驶舱的人机界面布局为例,进行模型验证,结果表明该模型具有一定的可行性。
关键词: 驾驶舱     人机界面     视觉注意力     粒子群算法    
Layout Optimization for Aircraft Cockpit Man-Machine Interface Based on Visual Attention Distribution
YE Kunwu1, BAO Han1, WEI Sidong2     
1. Brigade of Postgraduate, Aviation University of Air Force, Changchun, 130022, China;
2. Flight Vehicle and Dynamic Department, Aviation University of Air Force, Changchun, 130022, China
Abstract: To optimize the layout of aircraft cockpit man-machine interface, an optimized model is proposed based on the pilot visual attention allocation.Firstly, visual analysis module is analyzed in CATIA, different levels of visual field are offered and visual field for the cockpit man-machine interface is rasterized.Secondly, the important degree of each equipment on man-machine interface is analyzed by means of G1 method, and the quantitative value is gived.Finally, a model of layout optimization for the aircraft cockpit man-machine interface is established based on visual attention allocation, and this model is solved by the particle swarm optimization.The examples of aircraft cockpit virtual man-machine interface show that this method is suitable for the similar problem.
Key words: cockpit     man-machine interface     visual attention     particle swarm optimization    

无论是军机还是民机,看似简单的飞行动作往往是飞行员经过一系列复杂的操作而完成的,在狭窄的驾驶舱空间中,各种仪器仪表星罗棋布,因此飞机驾驶舱人机界面布局优化设计对飞行有着重要意义。布局设计情况会直接影响到人机交互程度,合理的驾驶舱布局能使人机交互达到较高的水平,保证飞行效率和飞行安全, 减小飞行失误概率。对驾驶舱设计不仅要遵循基本的布置原则:重要程度、功能性分组、操作顺序和使用频率等,还要符合人体的基本生理特性[1]

目前,国内外学者针对人机界面布局优化展开了深入研究,主要集中在通过分析人的生理指标,例如人眼数据、脑电数据和呼吸强弱等,以达到界面布局最优的目的。Li等[2]用眼动跟踪器实时记录人的各种眼动数据,分析了驾驶舱人机界面布局设计和飞行员执行不同任务时的注意力分配两者间的关系。卫宗敏等[3]使用ERP技术对飞行员开展了脑力负荷的评价研究,将人员进行模拟操作的正确率和反应时间记录分析,探索了飞机驾驶舱显示界面和脑力负荷的关系。另外还有学者对脑电数据[4]和心电图[5]展开研究,脑电数据能够反映脑部活动的变化情况,是判断脑力状态的一种重要手段,而心电图指标可用于人的作业负荷和脑负荷的分析。在界面的视觉注意力分配研究上,杨坤等[6-7]研究了飞行员在观察仪表时的视觉注意力分配情况,并进行了界面布局的优化。王宁等[8]构建了视觉注意焦点图,并与界面各个模块的重要性分布图比较,优化了用户的视觉特性。

本文基于CATIA中人体双眼的可视域分析模块,从人的视觉注意力分配的角度对驾驶舱人机界面所在的视野区域进行栅格化处理,用G1法对人机界面上各个目标的重要程度定量赋值,并通过分析视野区域的可视性等级、目标形心在视野的区域范围和目标在不同视野区域中各占的单元数等影响因素,建立了基于视觉注意力分配的飞机驾驶舱人机界面布局优化模型。引入带有惯性权重的基本粒子群算法进行视觉注意力分配强度的求解,并用该模型对飞机模拟驾驶舱人机界面进行布局优化。

1 视觉注意力分配影响因素 1.1 可视性区域等级划分

利用CATIA平台中的“Open vision window”模块对95百分位人体模型的视野范围进行仿真分析。在标准坐姿情况下,飞行员直视人机界面的视野范围如图 1所示,飞行员视觉中心与A区域中心重合。其中A区域是人体双目视线叠加区域,为最佳视野区域,水平范围在30°左右;视觉中心以上和以下垂直范围的角度范围都在35 °左右;B区域为有效视野区域,是人体的单眼视线可视区域,水平范围在70°左右; C区域为除了A, B区域以外的所有区域[9]

图 1 飞行员的视野范围仿真 Figure 1 Simulation of pilot's visual field

人的水平视野范围如图 2所示, 其中人眼距离人机界面的距离为d。由图 2可见,目标越偏离视觉中心,飞行员对目标的视觉注意力分配越少,当驾驶舱中的某个目标完全处于A区域内时,能引起飞行员视觉注意力的高度集中,当驾驶舱中的某个目标完全处于C区域时,飞行员不能很好地对它进行观察,因此对视野区域进行可视性等级划分为ABC

图 2 人的水平视野范围 Figure 2 Level of people vision

人眼对于形状规则目标的观察更多集中在目标的形心位置。因此,目标形心所在视野区域的范围也会影响到飞行员对目标的视觉注意力分配情况,形心位于A区域的目标能引起飞行员较大的视觉注意力。

1.2 人机界面视觉注意力划分模型

飞行员对目标的视觉注意力分配与目标所在视野的区域和在各个视野区域中占的面积有关。由于人眼特殊的生理构造,人在水平方向上的视野要好于垂直方向上的视野,因此人的视野范围在与视线垂直的平面上并不规则。为计算目标在视野区域中所占的面积,根据视觉注意力分配情况,将人机界面所在的视野区域进行划分,以视觉中心为划分中心做栅格化处理,形成了由基本单元构成的人机界面视觉注意力划分模型,如图 3所示,单元面积要适应目标的尺寸。

图 3 人机界面区域划分示意图 Figure 3 Man-machine interface division sketch map

划分的单元面积由人眼与人机界面的距离d和目标尺寸等因素决定。划分单元最主要目的就是计算不规则图形的面积,由于没有固定的划分标准,本文的做法是保证单元面积与目标尺寸面积比小于0.01。正常情况下,划分的单元面积越小,越能反映目标在不同视野区域的注意力分配情况,但同时需要考虑操作的可行性。其中目标在A区域的单元占目标总面积的比例越大,人对该目标的视野注意力分配也越多。

2 人机界面布局优化模型 2.1 目标重要程度分析

相对重要或者使用频率较高的目标在驾驶舱人机界面布局中要处于有利的视野区域,以便飞行员快速接受相关飞行信息。

随机对各模块进行编号,如图 4所示,a~f为驾驶舱人机界面主要目标所处的位置,总面积为S。将形状不规则的目标简单处理成规则模块,使目标大部分落在模块内,并保持形心位置不变,各个模块在不同等级的视野区域内占据一定数量的单元。

图 4 目标模块化处理 Figure 4 Target modular processing

使用G1[10]对驾驶舱人机界面上的各个目标进行重要度判断。综合不同飞行任务下目标对飞行的影响,将所有目标模块的重要程度进行两两比较,判断相对重要程度rk

$ {\mathit{r}_\mathit{k}}{\rm{ = }}\frac{{{\mathit{\omega }_{\mathit{k}{\rm{ - 1}}}}}}{{{\mathit{\omega }_\mathit{k}}}} $ (1)

式中:ωk为目标uk的重要度。rk的赋值如表 1所示。

表 1 rk赋值表 Table 1 Value table of rk

进一步计算目标ui的权重值ωi

$ {\mathit{\omega }_\mathit{i}}={\left({\rm{ 1 + }} {\sum\limits_{\mathit{k}{\rm{ = 2}}}^\mathit{n} {\prod\limits_{\mathit{i}{\rm{ = }}\mathit{k}}^\mathit{n} {{\mathit{r}_\mathit{i}}} } } \right)^{{\rm{ - 1}}}} $ (2)

式中:i=1, 2, …, n; ωk-1=rkωk

2.2 优化模型建立

本文在建立了驾驶舱人机界面视觉注意力划分模型和对目标重要程度分析的基础上,以飞机驾驶舱人机界面最终布局的视觉注意分配达到最优为目标函数,构建基于视觉注意力分配的飞机驾驶舱人机界面布局优化模型。

首先对模型做如下定义:

(1) 目标在不同等级的视野区域所占单元的视觉注意力等级为Q={qij}, qij为目标i在视野区域j中所占单元的视觉注意力等级。

(2) 目标的形心所在视野区域的视觉注意力等级为E={eij},eij代表目标i的形心在视野区域j时的视觉注意力等级。

(3) 目标在不同等级的视野区域中分别占据的单元数为D={dij},dij为目标i在视野区域j中所占的单元数。

其中,i=1, 2, …, nn为目标模块的个数;j=1,2,3,分别代表视野区域A, B, C

目标模块的重要程度和目标在不同等级的视野区域所占单元的视觉注意力等级、目标形心所在的视野区域、目标在不同视野区域所占的单元数成正比关系,即对于飞行越重要的目标应该有一定的面积,且尽量靠近视觉中心。定义视觉注意力分配强度Z

$ \mathit{Z}{\rm{ = }}\sum\limits_{\mathit{i}{\rm{ = 1}}}^\mathit{n} {\sum\limits_{\mathit{j}{\rm{ = 1}}}^{\rm{3}} {{\mathit{\omega }_\mathit{i}}{\mathit{q}_{\mathit{ij}}}{\mathit{e}_\mathit{i}}{\mathit{d}_{\mathit{ij}}}} } {\rm{}} $ (3)

Y=maxZ, 则有

$ \mathit{Y}{\rm{ = max}}\sum\limits_{\mathit{i}{\rm{ = 1}}}^\mathit{n} {\sum\limits_{\mathit{j}{\rm{ = 1}}}^{\rm{3}} {{\mathit{\omega }_\mathit{i}}{\mathit{q}_{\mathit{ij}}}{\mathit{e}_{\mathit{ij}}}{\mathit{d}_{\mathit{ij}}}} } $ (4)

式中

$ {\mathit{d}_\mathit{i}}{\rm{ = }}\sum\limits_{\mathit{j}{\rm{ = 1}}}^{\rm{3}} {{\mathit{d}_{\mathit{ij}}}} $ (5)
$ \mathit{S}{\rm{ = }}\sum\limits_{\mathit{i}{\rm{ = 1}}}^\mathit{n} {\sum\limits_{\mathit{j}{\rm{ = 1}}}^{\rm{3}} {{\mathit{d}_{\mathit{ij}}}} } $ (6)

式(5)表示目标i在不同等级的视野区域中所占的单元数等于目标i在视野区域中所占的单元数;式(6)表示所有目标在不同等级的视野区域所占的单元等于所有目标在视野区域的面积。Z值越大,说明飞行员视觉注意力对越重要的目标模块分配越多。

2.3 求解方法

粒子群算法适用在搜索范围不明确的空间中,空间中每个粒子都代表视觉注意力分配强度Z达到最优的一个潜在解。在基本粒子群算法中引入惯性权重ωi,能在保持粒子群的全局搜索寻优能力的同时,又能有效增强粒子群的局部搜索寻优能力。目前惯性权重的取值方法大致有:固定权重法、随机权重法和线性递减权重法等[11],其中线性递减权重法较其他两种方法具有能够更加灵活反映惯性权重随迭代次数变化的优点,是由Shi等[12]提出的,表示为

$ \mathit{\omega }\left( \mathit{t} \right){\rm{ = }}{\mathit{\omega }_{{\rm{max}}}}{\rm{ - }}\frac{{{\mathit{\omega }_{{\rm{max}}}}{\rm{ - }}{\mathit{\omega }_{{\rm{min}}}}}}{{{\mathit{T}_{{\rm{max}}}}}}{\rm{ \times }}\mathit{t} $ (7)

式中Tmaxt分别为最大迭代次数和当前迭代次数。

3 实例分析

以一个飞机模拟驾驶舱人机界面的布局优化设计为例,界面如图 5所示。该界面长和宽分别为623.4 mm和422.2 mm,运用CATIA过程中,人体双眼直视界面,界面形心与视觉中心相重合。对其进行目标模块化和编号处理,如图 6所示。其中: ei模块中未添加设备,可以在布局设计中最后布置; 由于尺寸的限制,d, hf模块无法水平并排布置。

图 5 模拟驾驶舱人机界面 Figure 5 Man-machine interface of si mulation cockpit

图 6 人机界面目标模块化 Figure 6 Modular of man-machine interface

图 6中每个模块的尺寸如下:ac模块为272.7 mm×114.9mm;b模块为384 mm×272.7 mm;df模块为192.5 mm×152.8 mm;h模块为231.1 mm×152.8 mm;g, ei模块为192.5 mm×39.2 mm。座椅位置相对界面位置可进行距离的调整,取d=500 mm。在CATIA对界面进行视域分析,总视野模式下水平视野的角度范围是140°,视野模式中视点以上和以下垂直的角度范围都是3 5°。以视觉中心为原点,由角度和距离关系可求得视觉中心水平线上A区域范围为(-288.68 mm, 288.68 mm),视觉中心水平线上B区域范围为(-1 373.74 mm, 1 373.74 mm),视觉中心垂直线上A区域范围为(-350.10 mm, 350.10 mm)。

在CATIA中分析人机界面和视野区域的面积关系,单元大小适应目标模块尺寸,按人机界面长和宽的比例划分界面,将目标模块的长划分为16个单元,宽划分为11个单元,所以单元的边长大约为38 mm,如图 7所示。由图 7可以看出:模块b, h, e的形心位于A区域; 模块a, c, d, f的形心位于B区域; 模块g, i的形心位于C区域。由于目标形心对飞行员注意力分配影响较为明显,因此形心在A, B, C区域时的注意力分配强度等级可按指数变化,分别记为e2, e和1。

图 7 优化前的人机界面布局 Figure 7 Man-machine interface before optimization

各个目标模块在不同视野区域内所占的单元数如表 2所示。将A, B, C区域的可视性等级分别记为3, 2, 1,即模块在A区域单元的等级为3,模块在B区域单元的等级为2,模块在C区域单元的等级为1。

表 2 优化前各个模块在不同区域的单元数 Table 2 Modules in different parts of unit before optimization

对各个模块的重要度进行分析:b模块是主显示界面,呈现的数据直接影响到飞行员对飞行状态的判断;g模块是指示灯界面,紧急情况下伴随着提示音,因此它的布局对飞行员视觉的要求不高;a, c, d, f模块的作用是显示飞机不同时刻的飞行状态。首先邀请相关专家对不同目标模块进行评比,获得初始数据,然后用G1法计算得到各模块最后的权重值ωi,具体数据如表 3所示。

表 3 各个模块的权重值 Table 3 Value of each module

对优化前的驾驶舱人机界面布局进行视觉注意力分配强度Z的计算,由式(3)得到优化前Z=6 15.6。

采用带有惯性权重的粒子群算法对式(4)进行计算,其中适应度函数为函数表达式,即式(3)为适应度函数,适应度值为函数值,以式(5)和式(6)为约束条件。种群粒子数为2 0,每个粒子维数为2,算法迭代进化次数为300,ω取值为ωmin =0.4,ωmax =0.9,即ω线性递减。得到优化后Z=623.6,此时各个目标模块在不同视野区域所占的单元数如表 4所示。

表 4 优化后各个模块在不同区域的单元数 Table 4 Modules in different parts of unit after optimization

使人机界面布局达到最优水平,不仅要使视觉注意力分配强度达到最高,还要考虑目标在空间上的局限性和布局是否符合人的基本审美观。结合表 4的数据,得到优化后的布局如图 8所示。可以看出,权重值相对高的b模块和h模块全都位于视野的A区域,有利于实际应用的操作,且最主要的目标模块布置在界面中心位置,其他目标模块以它为中心呈对称分布,符合人的基本审美。

图 8 优化后的人机界面布局 Figure 8 Man-machine interface after optimization

4 结束语

以减少在驾驶舱布局设计中对经验的过多依赖、定量分析和优化飞机驾驶舱人机界面布局为目的,本文基于CATIA中人体双眼的可视域分析模块,构建了人机界面视觉注意力划分模型,并对人体的可视性区域进行等级划分;将G1法引入对驾驶舱人机界面上的各个目标进行重要度判断;在此基础上建立了基于视觉注意力分配的飞机驾驶舱人机界面布局优化模型。以一个飞机模拟驾驶舱人机界面的布局优化设计为例,对该模型进行验证,优化结果证明了该模型具有一定的实用性。

参考文献
[1]
周前祥, 蔡刿, 李洁, 等. 载人航天器人机界面设计[M]. 北京: 国防工业出版社, 2009.
[2]
LI Wenchin, YU Chungsan, BRAITHWAITE G, et al. Interface design and pilot attention distribution whilst pursuing a dynamic target[J]. Lecture Notes in Computer Science, 2015, 9174: 408–415. DOI:10.1007/978-3-319-20373-7
[3]
卫宗敏, 完颜笑如, 庄达民. 飞机座舱显示界面脑力负荷测量与评价[J]. 北京航空航天大学学报, 2014, 40(1): 86–91.
WEI Zongmin, WANYAN Xiaoru, ZHUANG Damin. Measurement and evaluation of mental worklord for aircraft cockpit display interface[J]. Journal of Beijing University of Aeronautics and Astronautics, 2014, 40(1): 86–91.
[4]
郭琛. 眼动和脑电同步采集和分析的研究和应用[D]. 北京: 清华大学, 2012.
GUO Chen. Methods towards synchronous recording and analysis of eye movements and electroencephalograph[D]. Beijing: Tsinghua University, 2012.http://cdmd.cnki.com.cn/Article/CDMD-10003-1013016962.htm
[5]
郭永丛, 司玉娟. 基于心电信号提取呼吸信号的算法[J]. 吉林大学学报, 2016, 34(3): 327–333.
GUO Yongcong, SI Yujuan. Pespiratory signal extraction algorithm based on ECG[J]. Journal of Jilin University, 2016, 34(3): 327–333.
[6]
杨坤, 高温成, 白杰. 基于眼动指标的飞行仪表布局评估研究[J]. 人类工效学, 2016, 22(3): 1–6.
YANG Kun, GAO Wencheng, BAI Jie. Research on the evaluation of flight instruments layout based on eye movement indics[J]. Chinese Journal of Ergonomics, 2016, 22(3): 1–6.
[7]
范晓丽, 周前祥, 柳忠起, 等. 基于视觉搜索的飞机显示界面设计原则[J]. 北京航空航天大学学报, 2015, 41(2): 216–221.
FAN Xiaoli, ZHOU Qianxiang, LIU Zhongqi, et al. Principle of plane display interface design based on visual search[J]. Journal of Beijing University of Aeronautics and Astronautics, 2015, 41(2): 216–221.
[8]
王宁, 余隋怀, 肖琳臻, 等. 考虑用户视觉注意机制的人机交互界面设计[J]. 西安工业大学学报, 2016, 36(4): 334–339.
WANG Ning, YU Suihuai, XIAO Linzhen, et al. Human computer interface design considering visual attention[J]. Journal of Xi'an Technological University, 2016, 36(4): 334–339.
[9]
张燕军. 民机驾驶舱工效设计若干关键技术研究[D]. 南京: 南京航空航天大学, 2014.
ZHANG Yanjun. Research on key technologies of ergonomics design for civil aircraft cockpit[D]. Nanjing: Nanjing University of Aeronautics and Astronautics.http://cdmd.cnki.com.cn/Article/CDMD-10287-1015951815.htm
[10]
郭亚军. 综合评价理论方法及应用[M]. 北京: 科学出版社, 2007.
[11]
潘峰, 李位星, 高琪, 等. 粒子群优化算法与多目标优化[M]. 北京: 北京理工大学出版社, 2013.
[12]
SHI Y, EBERHART R C. Empirical study of particle swarm optimization[C]//Proceeding of Congress on Evolutionary Computation. Piscatway, USA: [s. n. ], 1999: 1945-1949.