RS DL
论文介绍
年份：2023
作者单位: 欧空局等
要点
星载AI处理：Φsat-2(Phisat-2) 任务可以展示直接在卫星上运行AI应用的可行性和优势。这代表了一种从传统方法向新模式的转变，即将数据传送到地面进行处理的方式转变为在卫星上进行处理。
多光谱成像和处理：卫星配备了一台紧凑的多光谱相机，能够在八个光谱带加近红外(NIR)波段中拍摄图像，这些图像随后在卫星上处理为1B级数据。
AI应用：任务包括几个星载AI应用，如用于自动检测街道的SAT2MAP应用、云检测服务、自主船只识别(AVA)和深度压缩应用。这些应用旨在减少传输到地球的数据量，并增强卫星在决策上的自主性。
数据压缩：任务中使用了如生成对抗网络(GANs)用于街道制图，YOLOv3-tiny用于船只检测的深度学习模型，展示了AI在减少数据处理需求和下行数据量方面的应用。
任务概述与目标
Φsat-2是欧洲航天局（ESA）Φsat任务系列的一部分，旨在探索和实现创新的地球观测（EO）技术。该任务通过结合AI和先进的星载数据处理能力，进一步推动了“新空间”（New Space）的发展，即通过快速发展和降低成本来实施地球观测任务。Φsat-1在2020年成功进行了实验，展示了边缘计算的潜力，Φsat-2则在此基础上设计，旨在全面利用星载处理能力，今年8月16日成功发射。
任务目标
展示AI的星载应用能力：任务的主要目标是展示在卫星上运行AI应用的可能性，这包括在整个任务期间动态更新和上传新的AI应用。
验证应用场景的相关性：评估在不同应用场景下，尤其是在紧急情况下的实用性。
多应用程序运行：展示在星载系统中，能够同时或依序运行多个AI应用程序的能力。
任务架构
Φsat-2任务架构包括空间段（Space Segment）、发射段（Launch Segment）、地面段（Ground Segment）和用户段（User Segment）。任务平台基于Open Cosmos Opensat的6U型号，预期的任务寿命至少为12个月。
星载图像处理链
图像处理流程
Φsat-2具备强大的星载图像处理能力，可以在AI应用程序处理之前对图像进行预处理。预处理包括辐射校准、几何校准和多光谱图像的配准，处理后的数据可供AI应用程序使用，并通过X波段天线下载到地面。
光学有效载荷与预处理单元
光学有效载荷由SIMERA Sense Multiscape100 CIS推扫相机构成，预处理单元是一个独立的星载计算机，负责将原始数据处理成符合AI应用需求的格式。任务还使用了NanoSat MO框架，负责管理和监控AI应用程序，并支持多个应用程序的串联运行。
Φsat-2的光学有效载荷是SIMERA Sense Multiscape100 CIS多光谱相机。
预处理单元是Φsat-2星载图像处理链中的关键组件之一。这是一个专用的星载计算机（OBC），用于在AI推理处理之前对原始数据进行预处理。预处理单元负责执行辐射校准、几何校准和多波段图像的配准，处理的图像可以达到L1B级别。
AI应用（AI Applications）
1 Sat2Map应用(Sat2Map App)
目标与用途：Sat2Map是由CGI开发的一款AI软件应用程序，主要用于从卫星图像中提取街道地图数据，特别是在紧急情况下(如洪水事件)为地面团队提供及时的可操作信息。这些信息可用于支持撤离计划或救援人员的调度。 技术实现：Sat2Map应用了生成对抗网络(GANs)，这是一种特殊的神经网络架构，能够模拟给定数据集的底层数据分布，以创建新的数据集。具体而言，Sat2Map使用了条件GAN(Conditional GANs)，它可以根据输入卫星图像生成相应的街道地图。Sat2Map利用了三种不同的条件GAN实现方法：CycleGAN、Pix2Pix和Jerin Paul模型。最终，Jerin Paul模型被选定用于Sat2Map的最终实现。 训练与测试：模型的训练数据集来自不同任务的卫星图像(如PlanetScope和Sentinel-2)，并特别针对印度阿萨姆地区的洪水场景进行了训练和测试。Sat2Map可以区分街道、被淹没的街道和云区，并通过快速地理配准过程提高了信息质量。
2 自主船只感知应用(Autonomous Vessel Awareness, AVA App)
目标与用途：AVA应用程序旨在展示通过AI技术自主感知海洋领域内的船只的能力。它将运行在Φsat-2卫星上，利用深度学习技术自动检测和分类船只，并判断场景是否需要进一步监控。这将帮助减少需要下传的图像数量，降低图像处理和分析的时间，并减少卫星任务的运营成本。 技术实现：AVA的实现包括两个部分：图像增强和船只检测。图像增强使用了单张图像超分辨率模型(Single Image Super-Resolution Model)，这是一种卷积神经网络(CNN)，旨在提高原始图像的质量，从而提升整个AVA应用的性能。船只检测采用了YOLO(You Only Look Once)算法，特别是YOLOv3-tiny，这是为资源受限设备设计的轻量级目标检测算法，能够实时检测和分类海上图像中的船只。 训练与测试：在测试阶段，模型对整幅图像进行处理，将其划分为更小的网格(bounding boxes)，并根据与预定义船只类别的相似度打分。AVA模型利用船舶图像数据集进行训练，该数据集结合了自动识别系统(AIS)数据和卫星图像。
3 云检测应用(Cloud Detection App)
目标与用途：云检测是Φsat-1实验中的主要目标之一，在Φsat-2任务中进一步扩展了这一概念，开发了云检测服务和演示应用程序。该服务用于过滤和处理图像，确保只有无云或云覆盖在用户指定范围内的图像进入后续处理阶段，从而提高星载资源的利用效率。 技术实现：云检测应用程序使用了经过优化的U-Net架构，这是一种常用于图像分割的深度学习模型。通过对模型进行性能优化，推理速度大幅提升。模型能够有效分割不同类型的云层(如云、半透明云、云影等)，并为最终用户提供辅助数据以供进一步处理。 训练与测试：模型的分割质量在训练和测试数据集上进行了验证，并使用包括Dice系数、准确率、精确度、召回率、特异性和Jaccard指数在内的经典指标进行了量化。结果显示，该模型在多类别云分割任务中表现出高质量且快速的操作能力。
4 深度压缩应用(Deep Compression App)
目标与用途：深度压缩应用程序通过卷积自编码器(CAE)实现图像压缩，旨在减少需要下传的数据量，同时尽量减少信息损失。这种方法能够有效地压缩图像数据，并在地面上通过解码器进行重建，从而提高任务的有效性。 技术实现：CAE模型由编码器和解码器两部分组成。编码器通过一系列卷积层提取图像特征，并在瓶颈层进行压缩表示，从而实现数据压缩。解码器则通过反卷积层还原图像，生成与输入图像尺寸相同的输出。 训练与测试：在训练阶段，CAE模型使用由SIMERA Sense MultiScape100 CIS模拟的图像数据集。压缩图像的质量通过峰值信噪比(PSNR)和结构相似性指数(SSIM)进行评估，这些指标广泛用于评估有损压缩的效果。此外，还通过语义分割任务评估了重建图像的实用性，结果表明，重建图像在实际应用中与原始图像表现相似。
欢迎关注CVPR/ECCV 2024系列
因配置了AI回复功能，除关键词自动回复外，号内信息主要由AI大模型回复。如需资源、投稿、合作等，请直接联系小助手微信（添加请备注：咨询、投稿、合作、加群，加群需备注姓名/昵称，单位和研究方向）。
关于AI回复功能：
公众号新增AI回复功能，已接入大模型，集成查找ArXiv论文、CSDN博文等功能
问题及讨论可直接在文章下方留言
欢迎关注
分享遥感与深度学习领域的技术、论文、书籍、新鲜事。
欢迎加入遥感与深度学习交流群(点此加入)。
