Terrabyte：欧洲最大的地球观测数据分析平台.pdf

国 际 书 摘Book SummaryTerrabyte:欧洲最大的 地球观测数据分析平台德国航空航天中心(Deutsches Zentrum fur Luft一und Raumfahrt；DLR)和巴伐利亚科学与人 文 学 院 的 莱 布 尼 茨 超 级 计 算 中 心（Leibniz-Rechenzentrum;LRZ)己开始运营“terrabyte”-欧洲最大的地球观测数据科学分析平台之一。该平台首次使研宄人员能够以最高分辨率有效 分析来自遥感卫星的全球数据集。研宄人员还可以 更准确地确定全球变化对人类和环境的影响，并制 定合适的行动方案。例如，极地地区的剧烈变化、极端天气事件和自然灾害的日益频繁以及全球范围 内不断发展的城市化等方面的监测应用。Terabyte是安全的并且独立于商业运营商。大 型计算设施的启动仪式于2023年6月 14日在慕尼黑 附近加兴的LRZ举行，来自政府和学术界的嘉宾出 席了启动仪式。Terrabyte提供过去五年收集的地球观测数据，以及基于云服务的智能大数据分析方法。除了来自 德国TerraSAR-X/TanDEM-X任务和美国陆地卫星计划(Landsat program)的大量数据外，这些数据还包括 来自欧洲哥白尼地球观测计划Sentinels的所有产 品。此外，用户可以将社交网络中的信息整合到他 们的分析中。“Terrabyte是地理信息研宄向前迈出的一大 步。大数据、最新的基于人工智能的处理方法和高 性能十算以独特的方式结合在一起。Terrabyte不仅 构成了我们技术发展的基础，而且还是巴伐利亚和 德国一个重要的经济驱动力。这一点是基于与相关 合作伙伴的合作以及相关的知识转让。”DLR执行 委员会主席Anke Kaysser Pyzalla说道。DLR德国遥感数据中心主任Stefan Dech补充 道：“通过莱布尼茨超级计算中心，我们为这个具 有挑战性的项目找到了理想的合作伙伴。通过 Terrabyte，我们拥有了一个自主且安全的平台，其 中包含通过地球观测得到的全面的全球数据集，我 们 可 以 与 合 作 伙 伴 一 起 访 问 数 据。同 时，Terrabyte在我们的Oberpfaffenhofen和加兴站点之 间架起了一座技术桥梁。“Terabyte满足了高效数据存储、数据科学、人 工智能猁云服务，甚至高性齡十算和超级计算的多样 化需求。凭借我们在这些领域多年的专业知识，我们 将所有这些技术结合到地球观测的定制服务中。66N o ,2 23“通过Terabyte从大量历史和当前卫星数据中 受益的不仅是DLR研宄人员，还有德国的科学家。这是一个非常令人兴奋但又具有挑战性的项目，得 益于DLR和 LRZ同事之间密集和出色的合作。”LRZ 董事会主席 Dieter KranzlmUller 说道。顶尖的技术性能，且用户友好Terrabyte总共拥有约50PB1的在线存储容量。该系统集成到位于加兴的LRZ的现有基础设施中，并连接到DLR在Oberpfaffenhofen运营的德国卫星数 据档案库。在那里，所有数据都被安全地长期存 档，并且可以根据需要上传到Terrabyte。数据速率 为每秒100GB的网络连接，可确保归档数据快速传 输到Terrabyte生产系统。最新一代CPU和GPU资源可 实现云环境下的高效运行。为了处理和分析数据，Terabyte平台配备了最新的AI硬件，可提供每秒 1.3PB的计算能力，即每秒1.3万亿次浮点计算。Terrabyte提供一系列基于软件的服务，以便研 宄团体可以利用这些数据资源。大部分数据都经过 预处理，以便立即整合到应用程序中（分析就绪数 据；ARD)。软件工具和系统使科学家能够更轻松 地实现自己的算法并在Terrabyte环境中使用它们。DLR地球观测中心(EOC)2、其他DLR研宄所及其合作 伙伴的研宄人员正在开发结合人工智能和机器学习 的算法，这将使广泛的全球科学分析得以进行。此 前由于数据量大且可用的计算能力有限，这些分析 只會陡商业平台上进行。地球观测大数据的未来DLR的“世界居住地足迹”等产品证明了地球 观测大数据分析的潜力。该数据集显示了地球上人口稠密地区的发展情况，现己成为联合国、世界银 行和许多其他机构使用的标准。该地图是使用哥白尼和陆地卫星任务的数据以 及TanDEM-X任务获取的数据创建的全球数字高程模 型生成的。另一个例子是基于人工智能对正在建设 中或己经运营的海上风电场的全球分析。这些是评 估碳中和是否成功的重要指标。评估还提供了有关 通过这种能源供应技术可以在多大程度上实现经济 独立的信息。Terrabyte的日常运营现己开始。Terrabyte为 项目合作伙伴提供了一个可持续高性能计算和基于 云计算的研宄工作平台。DLR打算与莱布尼茨超级 计算中心一起利用这一机会继续开展新的IT开发，以加强科学研宄并巩固德国作为研宄中心的地位。关于该项目“Terrabyte”是巴伐利亚科学与人文学院(Bayerische Akademie der Wissenschaften；BAdW)的莱布尼茨超级计算中心(Leibniz一Rechenzentrum；LRZ)与德国航空航天中 心(Deutsches Zentrum fur LuftundRaumfahrt;DLR)的遥感数据中心（Deutsches Fernerkundungsdaten zentrum；DFD)的合作项目，其目标是使当前和历史的地球观测数据集中且公 开，并可用于科学研宄。DLR己投资约1900万欧元用于专门适应地球观 测要求的计算基础设施以及软件环境的开发。LRZ负责高性能数据分析平台的运营，承担运营成 本，除了大量的人力资源外，还将为合作贡献其多 年的专业知识。1PB相当于1015字节或约223000张DVD的内容。DLREarth Observation CenterHome。译者:一景，荷兰对地观测公司NEO Bv,遥感与地信咨询项目经理。译文:来自德国航空航天中心DLR官网的2023年6月15日新闻专栏文章。中国测绘 出于传递资讯的目的刊登此文，不代表本刊观点。67