RS DL
论文介绍
题目：Global Streetscapes — A comprehensive dataset of 10 million street-level images across 688 cities for urban science and analytics
期刊：ISPRS Journal of Photogrammetry and Remote Sensing
论文：https://www.sciencedirect.com/science/article/pii/S0924271624002612
数据：https://github.com/ualsg/global-streetscapes
年份：2024
创新点
全球覆盖和数据规模：数据集涵盖了688个城市，来自210个国家，总共1千万张街景图像，覆盖了全球大约10%的人口。 丰富的元数据：每张图像都有超过300种元数据属性（地理、时间、情境、语义和感知属性），有助于在多个城市研究领域中广泛应用。 手动与自动标注结合：部分图像经过手动标注，使用深度学习模型对剩余图像进行自动标注，涵盖全景状态、光照条件、天气、图像质量等属性。
背景
为什么不用谷歌街景（Google Street View）？
谷歌街景是广泛使用的街景图像来源，但它在某些方面存在限制，因此作者选择使用众包平台Mapillary和KartaView的数据。 数据获取限制：谷歌街景的数据获取受到限制，并且通常无法免费大规模获取。相反，众包平台上的数据是开放的，允许研究人员自由访问和下载大量图像，这降低了使用门槛。 视角和采集方式的局限性：谷歌街景图像通常是由车辆采集的，这意味着图像大多来自车道，缺少步行者或骑行者视角。相比之下，众包平台提供了更广泛的视角，包括从自行车道、人行道等多种平台拍摄的图像，适合研究步行性和骑行性等特定领域。 覆盖面和多样性：谷歌街景的覆盖范围虽然广泛，但在一些欠发达地区或非正式定居点的覆盖不足。而众包数据可以通过用户上传，覆盖这些传统街景服务无法覆盖的区域，提供更多的地理多样性。 元数据丰富度不足：谷歌街景的数据通常缺乏详细的元数据（例如天气、光照、图像质量等），而这些信息对特定城市分析至关重要。作者通过使用众包数据，结合人工标注和深度学习模型，丰富了数据的情境和语义信息。 动态性和更新频率：众包平台的数据由于是用户持续上传的，因此更新频率更高，有助于进行时间序列分析。相比之下，谷歌街景的数据更新频率较低，尤其在某些城市和区域可能存在更新滞后。
数据特点
数据规模巨大：该数据集包含了1千万张街景图像，来自210个国家和地区的688个城市，这些城市覆盖了全球约10%的人口。其庞大的规模为大规模的城市研究提供了坚实的数据基础。
地理多样性：数据集覆盖六大洲，地理分布广泛，包括欧洲、亚洲、北美、南美、非洲和大洋洲。其中，欧洲的图像占比最高，约为40%，其余来自其他大洲。这种地理多样性使得数据集在全球范围内的城市分析中具有广泛的适用性。
丰富的情境和语义元数据：每张图像都有超过300个元数据属性，涵盖了地理位置、时间、情境、语义和感知信息。这些元数据帮助研究人员对图像进行分类和筛选，使得数据能够适用于各种城市分析任务。以下是一些重要的元数据属性：
天气状况：如晴天、雨天、雾天、雪天等。
光照条件：如白天、夜晚、黄昏。
拍摄视角：正视图像、侧视图像等。
拍摄平台：如机动车道、自行车道、人行道等不同类型的道路。
全景状态：标识图像是否为全景图像。
多源数据整合：数据集整合了Mapillary和KartaView两个众包平台的图像。这不仅增强了数据的覆盖范围，也弥补了某些城市在单一平台上数据不足的问题。通过整合多个数据源，数据集能够提供更多样化的城市环境图像。
时间和空间信息的增强：每张图像都配有详细的时间戳，并被转换为当地时间。此外，基于图像拍摄的时间，还标注了季节和日出日落时间差，有助于进行时间维度的研究。空间上，数据集还与OpenStreetMap（OSM）和全球网格系统等数据进行融合，为每张图像添加了街道、行政区划等信息。
多样化的视觉属性：图像类型多样，包括透视图、鱼眼图、等距图、球面图等，反映了街景图像的多视角和多种拍摄设备的使用情况。透视图是最常见的图像类型，占比超过70%。
语义分割和感知评分：数据集还进行了语义分割和人类感知评分。例如，每张图像的语义信息（如绿色植被、天空视野等）被预先计算，感知评分则涵盖了安全感、活力、美感、无聊感、压抑感等维度，为研究者提供了额外的城市环境感知数据。
数据构建
城市采样和数据下载
从全球城市数据库（SimpleMaps）中筛选出42,905个城市，基于人口大于5万的城市进行采样，确保数据覆盖全球不同区域。该方法通过分层随机抽样确保了地理平衡和代表性。
数据来源为众包平台Mapillary和KartaView，通过API下载相关的街景图像及其元数据。
地理空间信息增强
图像通过OpenStreetMap（OSM）的街道网络数据进行匹配，确保每张图像与具体的街道关联。同时，图像的位置与全球城市网格系统结合，进行更细粒度的空间索引。
使用全球人类居住层（GHSL）的数据，标注图像所处地区的城市化程度，例如城市中心、郊区、乡村等。
时间信息增
每张图像的时间戳被转换为当地时间，并根据拍摄地点标注季节（例如春季、夏季）和光照条件（例如日出前或日落后）。
根据图像的地理位置，计算拍摄时的天气和气候条件。
情境信息增强
使用计算机视觉技术，自动标注图像的情境属性，包括拍摄平台（例如道路、骑行道、人行道等）、天气、光照条件、全景状态、图像质量等。部分图像经过手动标注后，训练的深度学习模型用于自动标注整个数据集。
语义和感知增强
使用预训练的语义分割模型和感知分类模型对图像进行处理，计算出包括绿色视图指数、天空视图指数等的语义信息，以及关于安全感、活力、美感等人类感知的评分。
下图展示了八个上下文属性的人工标注类别分布
类别和值的分布
数据应用
文中提到了一些应用方向：
城市形态和景观分析
交通和活动能力研究
城市感知与安全研究
时空动态变化研究
计算机视觉和人工智能模型的基准测试
增强现实与自动驾驶
我们更关注遥感领域的应用，因此公众号小编整理了一些使用过街景图像的文章：
论文赏读 | ISPRS | 农作物分类制图, 使用PlanetScope 影像和SAM模型, 并结合谷歌街景视图数据
论文赏读 | CVPR24 | 结合卫星和街景图像实现精细的建筑属性分割，入选Highlight！
论文赏读 | ECCV24 | 使用全景-BEV联合检索网络进行跨视角图像地理定位
论文赏读 |CVPR24 |无监督用于跨视角地理定位，夏桂松教授团队新作
欢迎关注CVPR 2024系列
因配置了AI回复功能，除关键词自动回复外，号内信息主要由AI大模型回复。如需资源、投稿、合作等，请直接联系小助手微信（添加请备注：咨询、投稿、合作、加群，加群需备注姓名/昵称，单位和研究方向）。
关于AI回复功能：
公众号新增AI回复功能，已接入大模型，集成查找ArXiv论文、CSDN博文等功能
问题及讨论可直接在文章下方留言
欢迎关注
分享遥感与深度学习领域的技术、论文、书籍、新鲜事。
欢迎加入遥感与深度学习交流群(点此加入)。
