太空成为当前世界强国战略利益争夺的新空间[1-2]。“太空高边疆、网络新边疆、海洋远边疆”概念的提出以及“一带一路”倡议、“走出去”国家战略的实施,标志着中国在太空、网络、海洋三大战略空间的利益拓展需求日益增强[3-4]。目前的在轨智能处理任务主要集中在图像处理、海量数据存储与格式转换、数据压缩与转发、原始数据的自动分析及目标的特征提取等功能上,力图依靠星上自主处理,最大限度地减少地面干预,以支持用户的快速应用[5-7]。
星上信息处理算法是实现卫星智能化星上处理的核心,是决定卫星处理能力的核心因素。目前包括成像环境评价、云检测、目标定位、目标识别及辐射校正预处理在内的各类处理算法在地面应用中都已有较多积累,但是由于受星上计算、存储等资源限制,尚没有在星上广泛应用[8]。
针对用户对遥感卫星快速响应产品的需求,可通过星上智能快速处理实现对典型目标的定位和自动识别,从而提取出目标区域原始影像或带目标几何定位信息的产品快速下传给用户[9-10]。本文将目标定位和图像识别有机结合在一起,通过星上实时快速的正反定位和目标识别处理的能力来减少卫星下传数据量,保证针对特定区域快速提取出有效图像信息和目标几何定位信息,从而满足用户对卫星快速响应的要求。
1 面向快速响应应用的星上目标定位及识别工作模式面向快速响应应用的星上目标定位及识别工作模式通过对相机原始影像的星上目标定位及识别处理,提取出目标影像块及其定位信息并快速下传至地面,实现快速响应应用,其工作流程包括狭义工作模式和星地一体化广义工作模式两个层面[11-12]。
1.1 狭义工作模式狭义工作流程指星上处理后影像下传至地面的单向工作流程而不考虑星地一体化协同和反馈的工作流程。其基本过程如下。
(1) 相机成像,获取原始影像。
(2) 星上目标定位及识别主要采用两种策略。
已知目标地面位置信息和先验特征辅助星上目标识别:基于星上处理载荷预先存储或通过地面上注的目标位置信息、目标特征库等先验知识库,根据已知的目标地面位置信息计算其在影像上的坐标,在该坐标邻近范围内对相机原始影像进行目标识别,根据目标光谱、纹理等特性和位置信息等特征,判断是否在感兴趣空间位置检测到感兴趣目标。
已知目标先验特征而未知目标地面定位信息进行星上目标识别和定位处理:基于星上处理载荷预先存储或通过地面上注的目标特征库等先验知识库,在未获取目标未知信息的情况下,根据目标特征库等先验知识识别出感兴趣目标后,通过卫星轨道姿态参数实时计算目标地面点定位信息。
(3) 对感兴趣空间位置检测到的感兴趣目标影像进行提取,获取目标影像块。
(4) 数传分系统接收经过星上处理的影像和相机原始影像,主要包括经过星上目标定位识别提取出的目标影像块和未经星上目标定位识别处理的常规影像。
(5) 地面处理应用分系统对下传后的影像进行处理和应用,在此过程中由于星上处理进行了目标识别定位可以极大地增强快速响应应用能力。
1.2 广义工作模式广义工作流程指卫星系统和地面系统共同参与,协同进行面向快速响应应用的星上目标定位及识别的工作流程。其基本过程是:
(1) 完成与狭义工作流程步骤(1~5)同样的过程,获取经过星上目标定位识别后的影像,用于地面处理和应用。
(2) 地面处理应用分系统对经过星上目标定位识别后的影像进行质量评价和应用效能评估,评价星上目标定位识别性能是否符合应用需求。
(3) 若影像质量和应用效能评价结果不佳,则对目标识别判据阈值进行调整、更新目标位置信息及目标特征库等先验知识库或调整目标定位识别策略。
(4) 通过地面运行控制分系统,将调整后的目标识别判据阈值、更新后的目标位置信息及目标特征库等先验知识库和调整后的目标定位识别策略上注至星上处理载荷,调整星上处理策略或更新星上处理先验知识库。
(5) 理载荷根据调整后的目标定位识别策略或更新后的目标定位识别先验知识库,再次进行星上目标定位及识别处理,即重复狭义工作流程(1~5)。
1.3 两种工作模式比较狭义工作模式处理周期较短,时效性高,适用于星上目标位置信息及目标特征先验知识准确的情况下的星上目标定位及识别处理;但是在目标先验知识不准确的情况下适用性不强,容易发生目标漏判或误判的问题,导致准确率下降。
广义工作模式涉及星地大回路,周期长、涉及因素多、时效性差,但由于目标定位识别复杂度高且可靠性、准确率有待检验,因此具有较为广泛的适用性。
2 星上像方-物方坐标双向定位算法地面目标的星上像方-物方坐标双向定位是根据像点坐标定位到地物的大地坐标和根据地物大地坐标定位到影像坐标的一个正反定位的过程。星上几何定位的算法基础是快速的单点定位处理,可以通过星上识别出目标地物能快速定位到地面上,获得目标的地理位置信息,也可以通过目标地物先验位置获得目标在影像上的粗略坐标缩小搜索范围,提高目标识别的速度和可靠性。
2.1 像方到物方正向定位算法卫星从图像行列值正向定位到地面经纬度算法成熟,涉及一系列的坐标系和定位计算,过程如下。
(1) 坐标系的建立
为建立系统几何校正模型,首先引进协议天球坐标系(如J2000.0惯性坐标系)、协议地心坐标系、轨道坐标系、卫星本体坐标系、瞬时摄影坐标系,然后建立这些坐标系之间的转换关系,最后导出瞬时摄影坐标系到协议地心坐标系的共线方程。
(2) 何定位模型的建立
根据成像时刻内插出轨道位置和姿态,利用坐标变换方法建立原始图像和输出图像的几何关系,建立系统几何校正模型,从像元行列值到该像元主光轴单位向量在瞬时地心坐标系下的坐标,其步骤如下:
① 由瞬时摄影坐标系到卫星本体坐标系的变换
$ \left[ \begin{array}{l} {{X}_{b}} \\ {{Y}_{b}} \\ {{Z}_{b}} \\ \end{array} \right]={{\mathit{\boldsymbol{M}}}_{1}}\left[ \begin{array}{l} 0 \\ 0 \\ 1 \\ \end{array} \right] $ | (1) |
② 由卫星本体坐标系到轨道坐标系的变换
$ \left[ \begin{array}{l} {\mathit{{X}'}} \\ {{Y}'} \\ {{Z}'} \\ \end{array} \right]={{\mathit{\boldsymbol{M}}}_{2}}\left[ \begin{array}{l} {{X}_{b}} \\ {{Y}_{b}} \\ {{Z}_{b}} \\ \end{array} \right]~ $ | (2) |
式中M2为3个姿态角构成的旋转矩阵。
③ 由轨道坐标系到J2000.0坐标系的变换
$ \left[ \begin{array}{l} {{X}_{O}} \\ {{Y}_{O}} \\ {{Z}_{O}} \\ \end{array} \right]={{\mathit{\boldsymbol{M}}}_{3}}\left[ \begin{array}{l} {\mathit{{X}'}} \\ {{Y}'} \\ {{Z}'} \\ \end{array} \right] $ | (3) |
式中M3为由升交点赤经、轨道倾角、从升交点算起的幅角构成的变换矩阵。
④ J2000.0坐标系到协议地心坐标系(例如WGS-84、地心一号等)的变换
$ \left[ \begin{array}{l} {{X}_{G}} \\ {{Y}_{G}} \\ {{Z}_{G}} \\ \end{array} \right]={{\mathit{\boldsymbol{M}}}_{4}}\left[ \begin{array}{l} {{X}_{O}} \\ {{Y}_{O}} \\ {{Z}_{O}} \\ \end{array} \right] $ | (4) |
变换矩阵M4需进行岁差改正A、章动改正N、格林尼治恒星时改正B1和极移改正B2,即M4=B2×B1×N×A。
⑤ 可得到由惯性坐标系到瞬时摄影坐标系的变换为
$ \left[ \begin{array}{l} {{X}_{G}} \\ {{Y}_{G}} \\ {{Z}_{G}} \\ \end{array} \right]={{\mathit{\boldsymbol{M}}}_{4}}{{\mathit{\boldsymbol{M}}}_{3}}{{\mathit{\boldsymbol{M}}}_{2}}{{\mathit{\boldsymbol{M}}}_{1}}\left[ \begin{array}{l} 0 \\ 0 \\ 1 \\ \end{array} \right]=\left[ \begin{matrix} {{m}_{11}}&{{m}_{12}}&{{m}_{13}} \\ {{m}_{21}}&{{m}_{22}}&{{m}_{23}} \\ {{m}_{31}}&{{m}_{32}}&{{m}_{33}} \\ \end{matrix} \right]\ \left[ \begin{array}{l} 0 \\ 0 \\ 1 \\ \end{array} \right] $ | (5) |
这样,一个图像中的点(由行列值表示),它的主光轴单位向量在协议地球坐标系中的坐标就可以得到Z=[m13 m23 m33]T
(3) 地面点位置的确定
卫星与地面点的几何关系示意图如图 1所示,设摄影时刻卫星的星历位置(可以根据像元所在行,确定成像时间,由该时刻的轨道根数计算,并经过坐标系变换得到)为
$ \mathit{\boldsymbol{S}}=\left[ \begin{align} &{{X}_{s}} \\ &{{Y}_{s}} \\ &{{Z}_{s}} \\ \end{align} \right] $ | (6) |
![]() |
图 1 几何定位示意图 Figure 1 Geo metrical localization diagram |
像元对应的地面目标点在协议地心坐标系中的坐标为(考虑地球为椭球体)
$ \mathit{\boldsymbol{E}}\text{=}\left[ \begin{array}{l} {{X}_{G}} \\ {{Y}_{G}} \\ {{Z}_{G}} \\ \end{array} \right]=\left[ \begin{array}{l} {{a}_{\text{e}}}\text{cos}\lambda \text{cos}\varphi \\ {{a}_{\text{e}}}\text{sin}\lambda \text{cos}\varphi \\ \ \ \ \ \ {{b}_{\text{e}}}\text{sin}\varphi \\ \end{array} \right] $ | (7) |
式中:ae为地球长半轴;be为地球短半轴;λ为地心经度;φ为地心纬度。
根据矢量关系有:E=S+uZ
进一步可求得目标点的地心经度、纬度
$ \left\{ \begin{align} &\lambda =\text{arctan}\frac{{{Y}_{G}}}{{{X}_{G}}}\left( \text{当}\frac{{{Y}_{G}}}{{{X}_{G}}}<0\text{时}, \lambda =\lambda +\pi \right) \\ &\varphi =\text{arcsin}\frac{{{Z}_{G}}}{{{b}_{\text{e}}}} \\ \end{align} \right. $ | (8) |
大地经度等于地心经度,而大地纬度可以由式(9)计算得到
$ \mathit{\Phi }=\text{arctan}~\left( \frac{\text{tan}\varphi }{\sqrt{1-{{e}^{2}}}} \right) $ | (9) |
这样,就由图像上的行列值计算得到了地面上对应点的大地经纬度,地面高程H由DEM内插得到。
将(B, L, H)作为初值代入严格物理成像方程迭代求解出精确的地物大地坐标。
由以上求解过程可以得知,传统的卫星几何定位的几何精度主要取决于卫星成像模型精度和星历数据及参考数据的精度。
但是卫星在星上如果采用上述处理方法,由于模型复杂,配置项和计算项太多,会导致计算效率低下,不利于卫星成像快速定位。为了保证星上快速高精度定位的同时,在成像模型和计算项上采用以下策略:
① 将地面进行的传感器检校参数配置到星上,包含安装角偏置矩阵、内畸变参数,从而保证星上定位也具有较高的定位精度。
② 优化WGS-84和J2000之间的坐标转换关系,根据岁差、章动、极移的规律简化定位模型。
③ 根据地球模型,采用粗DEM地形校正参考数据和大气折光改正模型,保证敏捷成像(侧摆和俯仰)时的卫星指向定位精度。
④ 坐标系之间的旋转关系矩阵化,同时尽量减少迭代项和迭代次数。
2.2 物方到像方的定位算法卫星从地面经纬度反向定位到像行列值,解算参数将变成成像时间和像点列号;根据严格成像模型卫星位置和姿态指向是由时间决定的,不同的时刻卫星可能指向同一地物,因此解算的时间参数没有唯一解,因此需要初始给定的求解时间范围内卫星指向是平滑变化的,解算采用依次轮流迭代策略,保证解算收敛。反向定位流程图如图 2所示。
![]() |
图 2 卫星从物方到像方反向定位流程图 Figure 2 Satellite reverse localization from image to object space |
2.3 算法复杂度
一次快速正向几何定位算法复杂度包含了星上从星务系统实时读取时间、姿态、轨道数据及相应的姿轨内插(或外推)处理,定位模型中包括至少10次坐标旋转矩阵的计算和相乘,同时根据卫星指向矢量和地球模型10次左右的迭代定位计算。优化后的星上快速定位算法主要时间花费应主要在从星务系统的姿轨信息实时获取上和根据卫星指向矢量的定位的迭代计算上。
反向定位算法在每一次迭代中都包含依次正向定位算法,算法复杂度相对较高。
3 典型地物目标星上自动识别算法典型地物目标星上自动识别算法主要面向洪水、森林火灾、泥石流、交通事故等典型应急监测任务,这些目标或灾害事故有自己的几何特性和光谱特性,在设计用于目标检测与识别的分类器时,可以充分利用模式识别、机器学习的理论,如多核学习、上下文学习、在线学习等,以获得性能优异的检测识别结果,保证识别的鲁棒性。
典型地物目标星上自动识别算法中针对可见光线阵电荷耦合元件(Charge-coupled device, CCD)非均匀性校正,以及云区、港口、城区、机场等感兴趣目标的检测为处理对象,以满足星载处理器处理能力和处理方式(主要是适应现场可编程逻辑门列(Field programmable gate array, FPGA)处理为出发点,研发相应的星载海量数据在轨处理算法。
(1) 港口检测
通过分析港口附近水域与陆地的灰度统计信息,使用基于最大类间准则的分割算法提取港口陆地和水域交界处,进而在水陆交界处使用多尺度模板搜索附近突出或内陷的码头或船舶等信息,从而精确定位到港口区域。
(2) 城区检测
主要进行基于局部特征点密度分布和基于纹理分析的两种城区检测算法的研究。
(3) 机场检测
采用机器学习的方法,离线训练用于机场检测的级联的Adaboost分类器,用于机场的在线检测。
在目标表征方面,要保证目标识别的鲁棒性,就需要使用于识别目标的特征具有较好的几何不变性,可采用基于目标部件的目标检测框架,其核心思想是目标都是由一定的部件组成的,因此可以通过检测目标部件,同时考虑目标部件之间的位置关系,利用目标部件的表观特征和它们之间位置关系来描述目标。在实际应用中,可以预先对目标提取这些特征,并对每类典型目标建立特征库预存到星上,从而实现特定目标的识别。
4 面向信息快速获取的星上目标定位识别运用方法面向快速获取目标的信息将星上目标识别和几何定位有机结合,可大大减小目标识别区域的搜索范围,快速可靠地获取目标区域影像。首先通过数据库获取目标的先验信息,包括兴趣目标的地理几何位置信息和特征信息,一方面可通过几何反算得到目标区域的像点坐标,然后快速找到该目标影像区域,通过目标特征库有针对地搜索该区域;另一方面可直接在影像上根据目标特性进行撒网式搜索,利用目标先验信息自动搜索和识别目标区域。利用目标先验知识对目标进行定位识别方法的设计能快速提取出目标区域0级原始图像,根据用户需求提供满足几何定位的1级图像及RPC参数或在星上直接生成几何校正产品,并通过数据传输通道传给地面直接使用。基于星上目标定位识别方法的快速响应流程如图 3所示。
![]() |
图 3 星上目标定位识别快速响应流程图 Figure 3 Process of rapid response of on-board target localization and recognition |
5 结束语
本文针对遥感卫星星上目标的定位及识别,着眼快速响应应用需求,在对星上目标定位及识别工作模式进行研究的基础上,重点对像方-物方坐标双向定位算法进行梳理,并针对典型地物目标星上自动识别算法提出研究思路,最后给出算法的应用方法流程,为快速响应产品星上智能处理提供方法参考。
[1] |
张茗.
迈向"太空2.0":美国"新太空"的兴起[J]. 世界经济与政治, 2016(1): 115–160.
ZHANG Ming. Towards space 2.0:The emerging U.S. newspace[J]. World Economics and Politics, 2016(1): 115–160. |
[2] |
何奇松.
国际太空新秩序与中国的责任[J]. 世界经济与政治, 2016(8): 104–160.
HE Qisong. The new order in space and China's responsibility[J]. World Economics and Politics, 2016(8): 104–160. |
[3] |
刘海泉.
"一带一路"战略的安全挑战与中国的选择[J]. 太平洋学报, 2015, 23(2): 72–79.
LIU Haiquan. The security challenges to the "One Belt and One Road" strategy and China's choices[J]. Pacific Journal, 2015, 23(2): 72–79. |
[4] |
周平.
全球化时代的疆域与边疆[J]. 中国边疆史地研究, 2014, 24(3): 1–13, 178.
ZHOU Ping. Territory and borderland in era of globalization[J]. China's Borderland History and Geography Studies, 2014, 24(3): 1–13, 178. |
[5] |
ROBERTO A L. Image processing on-board small remote sensing satellites[C]//Proceedings of 20104th International Conference on Intelligent Information Technology Application (Volume 4).[S.l.]: Northeastern University, China, 2010: 4. |
[6] |
YU Fangfang, WU Xiangqian.
An integrated method to improve the GOES Imager visible radiometric calibration accuracy[J]. Remote Sensing of Environment, 2015, 164: 103–113.
DOI:10.1016/j.rse.2015.04.003
|
[7] |
HAN Ke, WANG Hao, TU Binjie, et al.
Pico-satellite autonomous navigation with magnetometer and sun sensor data[J]. Chinese Journal of Aeronautics, 2011, 24(1): 46–54.
DOI:10.1016/S1000-9361(11)60006-X
|
[8] |
杨芳, 刘思远, 赵键, 等.
新型智能遥感卫星技术展望[J]. 航天器工程, 2017, 26(5): 74–81.
DOI:10.3969/j.issn.1673-8748.2017.05.012 YANG Fang, LIU Siyuan, ZHAO Jian, et al. Technology prospective of intelligent remote sensing satellite[J]. Spacecraft Engineering, 2017, 26(5): 74–81. DOI:10.3969/j.issn.1673-8748.2017.05.012 |
[9] |
徐伟, 陈彦彤, 朴永杰, 等.
基于吉林一号遥感图像的星载目标快速识别系统[J]. 光学精密工程, 2017, 25(1): 255–262.
XU Wei, CHEN Yantong, PIAO Yongjie, et al. Target fast matching recognition of on-board system based on Jilin-1 satellite image[J]. Optics and Precision Engineering, 2017, 25(1): 255–262. |
[10] |
BURGHARDT T, DAMEN D, MAYOL-CUEVAS W, et al.
Correspondence, matching and recognition[J]. International Journal of Computer Vision, 2015, 113(3): 161–162.
DOI:10.1007/s11263-015-0827-8
|
[11] |
JAN Shaushiun, TAO Anlin.
Comprehensive comparisons of satellite data, signals, and measurements between the beidou navigation satellite system and the global positioning system[J]. Sensors (Basel, Switzerland), 2016, 16(5): 689–703.
DOI:10.3390/s16050689
|
[12] |
YANG Guohai.
Principle of satellite navigation orbit and positioning[J]. International Journal of Education and Management Engineering(IJEME), 2013, 3(2): 611–614.
|