- 随着深度学习在计算机视觉(CV)领域的突破,SAR图像目标检测领域也开始采用这些深度学习算法,虽然和光学图像成像机理不同,但是可以借鉴CV领域的优秀算法进行改进,目前也有很多论文展现了不错的效果。下面针对SAR目标检测识别的学习和研究,总结一些数据集并提供下载方式,方便后续的研究。
- 注意:本文所提所有数据集仅供学术研究使用。
1. MSTAR (1996)
下载链接:https://pan.baidu.com/s/1SAdmYAOHPheAH98CLP9dQg
提取码:h2ig运动和静止目标获取与识别(Moving and Stationary Target Acquisition and Recognition, MSTAR)数据集,是美国国防高级研究计划署(Defense Advanced Research Project Agency, DARPA) 和空军研究室(Air Force Research Laboratory, AFRL) 提供的SAR图像。
采集该数据集的传感器为高分辨率的聚束式合成孔径雷达,该雷达的分辨率为0.3m×0.3m。工作在X波段,所用的极化方式为HH极化方式。对采集到的数据进行前期处理,从中提取出像素大小为128×128包含各类目标的切片图像。该数据大多是静止车辆的SAR切片图像,包含多种车辆目标在各个方位角下获取到的目标图像。
MSTAR混合目标数据中包含十类军事目标的切片图像,这些军事目标分别为2S1(自行榴弹炮)、BRDM2(装甲侦察车)、BTR60(装甲运输车)、D7(推土机)、T62(坦克)、ZIL131(货运卡车)、ZSU234(自行高炮)、T72。这些目标是雷达工作在多种不同的俯仰角时,各个目标在方向上面的成像图片。光学图像和SAR图像如下图所示:
数据分为标准工作条件(SOC)和扩展工作条件(EOC),标准工作条件是测试与训练SAR图像目标外形配置和型号相同,仅成像时目标的俯仰角和方位角不同,扩展工作条件是指测试与训练SAR图像有很大不同,主要是成像角度的改变、外形配置的变化以及型号不同。
除了10类军事目标外,MSTAR数据集还提供了大幅场景SAR图像,包含森林、地面、建筑等杂波,可用于目标检测和识别。
2. OpenSARShip (2017)
下载链接:https://aistudio.baidu.com/aistudio/datasetdetail/77017
参考文献:https://ieeexplore.ieee.org/document/8067489 OpenSARShip: A Dataset Dedicated to Sentinel-1 Ship Interpretation
https://ieeexplore.ieee.org/document/8124929 OpenSARShip 2.0: A large-volume dataset for deeper interpretation of ship targets in Sentinel-1 imagery
OpenSARShip是由上海交通大学高级传感技术中心(AST)开发的开放式SAR图像管理和处理平台,用于SAR图像的读取、处理、可视化和算法测试。
缺点:类别间样本数量极其不均衡,难以训练出较好的分类模型。
3. SSDD / SSDD+ (2020)
下载链接: https://pan.baidu.com/s/1l2Qs5Pd-NbMt3DUlSGxgWQ?pwd=cnh5
提取码: cnh5
SSDD是国内外公开的第一个专门用于SAR图像舰船目标检测的数据集,可以用于训练和测试检验算法,得到了三十级所高校和研究所的使用。
SSDD是通过在网上下载公开的SAR图像,并将目标区域裁剪成大小为500×500左右像素,并通过人工标注舰船目标位置而得的。数据主要有RadarSat-2、TerraSAR-X和Sentinel-1传感器,HH、HV、VV和VH四种极化方式,分辨率为1m-15m,在大片海域和近岸地区都有舰船目标。
旋转边框在遥感目标检测中也得到了很多应用。旋转边框可以完全分开舰船与背景像素。通常,垂直边框中的很多像素不属于船的像素,这对于区分背景和舰船区域十分不利,尤其是密集排列的交叠非常大的舰船目标,所以最好利用旋转边框来定位舰船目标。
旋转边框的宽度和高度可以显示船的真实形状而垂直边框的长宽比和尺寸与船的真实形状不一致,旋转边框可在完成检测任务的同时实现对目标的方位向估计(会存在180°模糊),不需要设计单独的舰船目标方向估计算法。
在垂直边框的基础上增加一个旋转角度来表达旋转边框,可以表示成(x, y, w, h, $\theta$),$\theta$是从y轴正向到舰船长中轴方向的角度。为了用旋转边框对舰船目标进行检测,对SSDD的标签进行了改进,对其在类别和位置基础上增加了旋转角度信息,将这个数据集称为SSDD+。
4. AIR-SARShip(2019)
下载链接: https://pan.baidu.com/s/1qWOKaYgqMumovkGRUrg9fQ?pwd=jcnb
提取码: jcnb
参考论文:http://radars.ie.ac.cn/article/doi/10.12000/JR19097 AIR-SARShip-1.0: High-resolution SAR Ship Detection Dataset
高分辨率SAR舰船检测数据集-2.0(AIR-SARShip-2.0)发布300幅图像,图像分辨率包括1m和3m,成像模式包括聚束式和条带式,极化方式为单极化,极化方式为VV,场景类型包含港口、岛礁、不同等级海况的海面,目标覆盖运输船、油船、渔船等十余类数千艘舰船。
图像尺寸约为1000×1000像素,图像格式为Tiff、单通道、8/16位图像深度,标注文件提供相应图像的长宽尺寸、标注目标的类别以及标注矩形框的位置。
5. SAR-Ship-Dataset (2019)
下载链接:https://aistudio.baidu.com/aistudio/datasetdetail/54361
参考文献:https://www.mdpi.com/2072-4292/11/7/765 A SAR Dataset of Ship Detection for Deep Learning under Complex Backgrounds
该数据集以我国国产高分三号SAR数据和Sentinel-1 SAR数据为主数据源,共采用了102景高分三号和108景Sentinel-1 SAR图像构建高分辨率SAR船舶目标深度学习样本库。目前,该深度学习样本库包含43819个船舶切片。
6. HRSID (2020)
下载链接:https://aistudio.baidu.com/aistudio/datasetdetail/54512
参考文献:https://ieeexplore.ieee.org/document/9127939/ HRSID: A High-Resolution SAR Images Dataset for Ship Detection and Instance Segmentation
数据集是电子科技大学在2020年1月发布数据集,HRSID是高分辨率SAR图像中用于船舶检测、语义分割和实例分割任务的数据集。该数据集共包含5604张高分辨率SAR图像和16951个ship实例。ISSID数据集借鉴了Microsoft Common Objects in Context (COCO)数据集的构建过程,包括不同分辨率的SAR图像、极化、海况、海域和沿海港口。该数据集是研究人员评估其方法的基准。对于HRSID, SAR图像的分辨率分别为:0.5m, 1 m, 3 m。
7. MiniSAR (2006)
官网链接:https://www.sandia.gov/radar/pathfinder-radar-isr-and-synthetic-aperture-radar-sar-systems/complex-data/
miniSAR (Ku波段) 包括城市地区、高尔夫球场、直升机停车场等,共标记了580辆车辆8. FARAD SAR DATA(2015)
- 官网链接: https://www.sandia.gov/radar/pathfinder-radar-isr-and-synthetic-aperture-radar-sar-systems/complex-data/
Ka X 波段数据 对于FARAD数据集,主要场景包括城市地区和农村地区。此外,FARAD数据集存在许多复杂的人为建筑和城市干扰。
9. RSDD-SAR (2022) 斜框标注
- 来源雷达学报:https://radars.ac.cn/web/data/getData?dataType=SDD-SAR
- 舰船斜框检测数据集(Rotated Ship Detection Dataset in SAR Images, RSDD-SAR),采用了国产高分3号卫星数据和欧空局TerraSAR-X卫星数据。该数据集由84景高分3号数据和41景TerraSAR-X数据切片及2景未剪裁大图,共127景数据构成,包含多种成像模式、多种极化方式、多种分辨率切片7000张,舰船实例10263个,具有旋转方向任意、长宽比大、小目标占比高和场景丰富的特点。图1为RSDD-SAR数据集典型场景切片示例。
10. MSAR-1.0 (2022)
- 来源:雷达学报:https://radars.ac.cn/web/data/getData?dataType=MSAR
- 大规模多类SAR目标检测数据集-1.0(MSAR-1.0)共包括28449张检测切片,采用海丝一号卫星和高分三号卫星数据。
MSAR-1.0数据集极化方式包括HH、HV、VH和VV。该数据集场景包括机场、港口、近岸、岛屿、远海、城区等;类型包括飞机、油罐、桥梁和船只四类目标,由1851架桥梁,39858条船只,12319个油罐和6368架飞机组成。图1是MSAR-1.0数据集的部分切片样例。 - MSAR-1.0数据集切片尺寸为256×256像素,部分桥梁切片为2048×2048像素,格式为三通道灰度图像,24位深JPG。标注格式为XML格式,记录目标类型和位置信息,其中位置信息由Xmin、Xmax、Ymin和Ymax组成。MSAR-1.0数据集切片标签文件示例见下面数据集使用说明中图2、3。符合Yolo系列、PolarMask、SSD和Faster-RCNN等主流检测网络的格式要求。
11. SAR-Airport-1.0 (2022)
- 来源:雷达学报:https://radars.ac.cn/web/data/getData?dataType=SAR-Airport
- 星载SAR机场检测数据集,主要采用了欧空局Sentinel-1B卫星数据,构建一套包含多种极化方式、多种尺寸大小、涵盖多个国家多个城市的SAR机场目标数据集,推动SAR机场目标检测等先进技术的深入研究。数据集由北京化工大学遥感技术研究所团队构建。
- 星载SAR机场检测数据集主要由images和labels两部分组成,images文件夹总计624张切片,包含训练集和测试集;labels文件夹包含了所有图片对应的标注文件。两个文件夹中的文件命名方式均为“国家_地区_序列号”。标注示例为图1所示,图1(a)为切片示例,图1(b)为对应的.txt标签文件,一行标注一个目标,分别记录检测类型(0:机场)、归一化的机场中心位置(列、行标号)、归一化的机场目标框宽度和归一化的机场目标框长度,符合Yolo系列、PolarMask、SSD和Faster-RCNN等主流检测网络的格式要求。
12. FUSAR-Ship 1.0 (2019)
- 来源:雷达学报:https://radars.ac.cn/web/data/getData?dataType=FUSAR
- FUSARShip 高分辨率船只数据集,包含15个主要船舶类别、98 个子类别和许多非船舶目标的海洋目标。数据切片取自126幅原始高分三号遥感图像,极化模式包含DH和DV,分辨率为1.124m×1.728m,成像模式为 UFS 模式,覆盖了各种海、陆、海岸、河流和岛屿场景。
- 本数据集累16144个切片,其中包括与 AIS 信息匹配的船只 6252 张,类似船的亮点等强虚警 2045 张,桥及海岸线 1461 张, 沿岸区域及岛屿 1010 张,复杂海波杂波1967张,普通海面1785张,陆地1624张,适用于复杂海面的船只检测与识别工作。图1为FUSARShip船只切片样例。
- 数据集内图像的标注标准为以船舶目标最小外接离心圆的圆心为中点,向外扩充256个像素点,船舶切片大小固定,以512像素×512像素的切片形式存储。
13. SRSDD-SAR (2021)
由中国科学院空天信息创新研究院采用高分三号卫星影像制作,成像模式均为聚束式,空间分辨率为1m,具有HH和VV两种极化方式。该数据集从30景SAR影像中提取了666个尺寸为1024像素×1024像素的切片,共计2884个6类船舶样本,同时采用旋转框标记目标,适用于分布密集的船舶检测识别任务。
原下载地址:https://github.com/HeuristicLU/SRSDD-V1.0https://pan.baidu.com/s/1EonxuMSDVCnICwSsfWjYew
提取码:aC1Q
-
14. SAR-AIRcraft-1.0 (2023)
- 由中国科学院空天信息创新研究院基于高分三号卫星聚束式单极化影像构建的SAR飞机检测识别数据集,分辨率高达1m。该数据集包含4种不同尺寸、7种飞机类别、16463个飞机目标实例的4368幅图像,可用于飞机目标的多尺度检测与识别技术研究。
原下载地址:
https://radars.ac.cn/web/data/getData?newsColumnId=f896637b-af23-4209-8bcc-9320fceaba1915. SAMPLE (2019) MSTAR车辆仿真+实测
- 论文地址:https://www.spiedigitallibrary.org/conference-proceedings-of-spie/10987/2523460/A-SAR-dataset-for-ATR-Development—the-Synthetic-and/10.1117/12.2523460.short
- SAMPLE数据集由美国空军研究实验室于2019年发布,主要包括不同观测条件下各种车辆目标的合成SAR图像。除背景外,目标构型、传感器参数、观测俯角、方位角等均与实测MSTAR SAR图像保持一致.因此 SAMPLE数据集为研究模拟和实测SAR图像之间的差异以及识别算法的迁移提供了一个很好的基准。SAMPLE数据集公开部分包含10个地面军用车辆目标(2S1自主火箭炮、BMP-2、BTR-70装甲运兵车、M35、M548卡车、M1、M2、M60、T-72坦克、ZSU234防空部队)的合成SAR图像片,其方位角范围为10°~ 80°,俯角范围为15°~ 17°。SAR传感器成像时工作在x波段,分辨率为0.3m。
结尾 遥感数据集汇总链接
- https://aistudio.baidu.com/aistudio/projectdetail/882508 所有遥感数据集下载汇总
- https://blog.csdn.net/qq_27930679/article/details/110631002 遥感目标检测数据集
- https://mp.weixin.qq.com/s/0YPA7Rxgtkbi207ZVaU7ZA 数据分享01期|遥感目标检测数据集(更新)
参考文献
[1] L. Huang et al., “OpenSARShip: A Dataset Dedicated to Sentinel-1 Ship Interpretation,” in IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, vol. 11, no. 1, pp. 195-208, Jan. 2018, doi: 10.1109/JSTARS.2017.2755672.
[2] Wang Y, Wang C, Zhang H, Dong Y, Wei S. A SAR Dataset of Ship Detection for Deep Learning under Complex Backgrounds. Remote Sensing. 2019; 11(7):765. https://doi.org/10.3390/rs11070765
[3] S. Wei, X. Zeng, Q. Qu, M. Wang, H. Su and J. Shi, “HRSID: A High-Resolution SAR Images Dataset for Ship Detection and Instance Segmentation,” in IEEE Access, vol. 8, pp. 120234-120254, 2020, doi: 10.1109/ACCESS.2020.3005861.
[4] 孙显, 王智睿, 孙元睿, 等. AIR-SARShip-1.0:高分辨率SAR舰船检测数据集[J]. 雷达学报, 2019, 8(6):852–862. doi: 10.12000/JR19097.
[5] 王智睿, 康玉卓, 曾璇, 等. SAR-AIRcraft-1.0:高分辨率SAR飞机检测识别数据集[J]. 雷达学报, 2023, 12(4): 906–922. doi: 10.12000/JR23043
[6] Benjamin Lewis, Theresa Scarnati, Elizabeth Sudkamp, John Nehrbass, Stephen Rosencrantz, and Edmund Zelnio “A SAR dataset for ATR development: the Synthetic and Measured Paired Labeled Experiment (SAMPLE)”, Proc. SPIE 10987, Algorithms for Synthetic Aperture Radar Imagery XXVI, 109870H (14 May 2019)
[7] Xiyue HOU,Wei AO,Qian SONG,Jian LAI,Haipeng WANG,Feng XU.FUSAR-Ship:building a high-resolution SAR-AIS matchup dataset of Gaofen-3 for ship detection and recognition[J].Science China(Information Sciences),2020,63(04):40-58.
[8] Lei, S.; Lu, D.; Qiu, X.; Ding, C. SRSDD-v1.0: A High-Resolution SAR Rotation Ship Detection Dataset. Remote Sens. 2021, 13, 5104. https://doi.org/10.3390/rs13245104