Remote Sensing Technology and Application, Volume. 40, Issue 1, 1(2025)
Remote Sensing Large Models: Review and Future Prospects
Figures & Tables(9)
Fig. 1. Flowchart of foundation models for vision tasks on remote sensing images
Table 2.
Summary of Vision Foundation Models View tableView in ArticleTable 2.
Summary of Vision Foundation Models 模型 架构 参数量 训练数据 发布日期 ViT[ 9 ]基于Transformer 1.843 B JFT-3B 2021/6/8 Swin-T[ 10 ]基于ViT增加shifted windows 3 B ImageNet,CoCo 2021/11/8 CoAtNet[ 11 ]基于Transformer 24.4 B ImageNet,JFT 2021/6/9 CoCa 结合了 contrastive loss和caption loss 21 B JFT-3B, ALIGN 2022/6/14 DALL·E 3 它在DALL·E2的基础上进行了改进，提高了图像的保真度和质量 未公布 未公布 2023/10/19
Table 3.
Summary of Vision-Language Foundation Models View tableView in ArticleTable 3.
Summary of Vision-Language Foundation Models 模型 架构 训练数据 发布日期 CLIP[ 5 ]基于ResNets、ViT和Transformer
图文双流对比预训练
WIT(WebImageText) 2021/2/26 ALBEF[ 13 ]基于BERT和ViT图文双流先对齐后融合预训练，增加了动量蒸馏解决噪声问题 COCO和Visual Genome 2021/10/7 BLIP[ 14 ]基于BERT和ViT多模态混合编码器-解码器，增加了CapFilt提高文本语料库质量 COCO、Visual Genome、Conceptual Captions 2022/2/15 Flamingo[ 15 ]基于NFNet和Transformer图文交错多模态融合预训练，通过感知器重采样减少视觉标签 COCO、OKVQA、VQAv2、MSVDQA 2022/11/15 LLaVA[ 16 ]基于Vicuna、CLIP视觉编码器进行特征对齐预训练，利用指令进行端到端的微调 ScienceQA、CC-595K、LLaVA-Instruct-158K 2023/12/11 Kosmos1[ 17 ]基于MAGNETO对齐感知和语言模型，使用xPos相对位置编码更好地进行长上下文建模 The Pile、Common Crawl、LAION-2B、LAION-400M 2023/03/1
Table 4.
Summary of large models in remote sensing View tableView in ArticleTable 4.
Summary of large models in remote sensing 模型 训练策略 数据集 基础网络 数据集模态 RingMo[ 68 ]MAE+PIMask 多个数据集 Vit 单模态 RSPrompter[ 69 ]冻结+微调 WHU，NWPU，SSDD sam 单模态 SpectralGPT[ 70 ]MAE+3DMask fMoW/BigEarthNetS2 Vit 单模态 RemoteCLIP[ 52 ]MAE 10个数据集 Vit-14 多模态 GeoChat[ 71 ]LoRA微调 318k个指令对的RS数据集 LLaVA1.5 多模态 RSGPT[ 63 ]文本监督 图像+文本描述+指令 InstructBLIP 多模态 EarthPT[ 46 ]自回归 ClearSky Unsupervised Multitask Learners 多模态 DINO-MM[ 72 ]蒸馏+对比 多个数据集 Self-supervised Multitask Learners 多模态 SkySense[ 47 ]冻结+微调 16个不同任务的数据集 Vit 多模态
Tools
Get Citation
Copy Citation Text
Shuaihao ZHANG, Zhigang PAN. Remote Sensing Large Models: Review and Future Prospects[J]. Remote Sensing Technology and Application, 2025, 40(1): 1
Paper Information
Category:
Received: Jul. 21, 2024
Accepted: --
Published Online: May. 22, 2025
The Author Email: Zhigang PAN (zgpan@mail.ie.ac.cn)
© Copyright 2018-2021 | Chinese Laser Press.
All Rights Reserved 沪ICP备15018463号-20