数据湖存储架构选型.pdf

数据湖存储架构选型阿里巴巴 郑锴 2020-11-1CONTENT数据湖是个潮流0102湖存储/加速：挑战很03“完美”选项之 checklist04阿云上的 JindoFS录 02数据湖是个潮流什么是数据湖统、集中地存储全部原始数据结构化、半结构化、图/视频/频使 BI+AI 来分析不只是 SQL为什么要数据湖数据孤岛计算管理弹性数据湖架构数据湖加速(JindoFS,Alluxio)数据湖存储（OSS,S3,HDFS）数据湖构建数据湖管理元数据服务数据开发数据湖集成数据治理数据大屏机器学习数据报表数据挖掘数据湖应用数据湖计算数据湖02湖存储/加速：挑战很海量数据数据规模PB、EB件规模亿级件数据超录成本存储和计算分离吞吐性能丰富的计算和场景AI训练数据分析、交互式、实时计算计算场景EMR、ECS 建、云原、混合云架构升级和迁移数据迁移、校验作业迁移、对运维、治理Ranger 权限、审计03“完美”选项之 checklistCheckList1.基于对象存储，规模存储能2.录元数据操作能3.策略灵活的缓存加速能4.和计算打通优化的能CheckList(contd)5.持数据湖新型表格存储的能6.归档/压缩/安全存储的能7.全的数据+AI态持8.强迁移能甚是缝迁移能04阿云上的 JindoFSHadoop OSS 持和优化元数据优化百万级件数录，幅提升：list,delete，du，countRename 优化百万级件数录，rename 操作：幅提升，持重试，回退清理须 rename 的 Jindo Job Committer读写 IO 优化充分异步并发，发挥 OSS 吞吐OSS 多版本持优化性能开销OSS 缓存加速系统数据致性元数据致性缓存数据致性磁盘缓存写时缓存读时缓存，避免读放磁盘负载均衡位清理缓存块 LRU 淘汰基于 OSS 的存储系统管理元数据内存缓存细粒度锁件数据分块存放OSS 1 备份缓存 1 备份性能优化元数据操作普遍 HDFS缓存读+OSS读 HDFS扩展基于 OSS 的规模平扩展Checklist关键因素支持情况1.基于对象存储，大规模存储能力支持基于阿里云对象存储 OSSOSS 支持 EB 级海量存储2.大目录元数据操作能力支持JindoFS 在超大目录数据加载、检索、统计、rename 上具有几倍的性能优势3.缓存加速的能力支持JindoFS 支持在大数据分析场景、交互式查询场、机器学习训练场景和云原生应用场景提供策略灵活的分布式缓存加速能力；缓存加速的性能提升大于 50%的效果优于开源方案4.和计算打通优化的能力支持和 JindoFS co-design的 JindoTable 提供对数仓表的缓存、计算加速、治理优化和归档存储支持Checklist（cont d）关键因素支持情况5.支持数据湖新型表格存储的能力支持JindoFS 提供 Delta、Hudi 和 Iceberg 所需要的存储接口和事务支持语义，并支持 Flink 实时入湖6.归档/压缩/安全存储的能力支持JindoFS 在目录、表、分区级别支持 OSS 归档；提供透明压缩；支持 AK 免密保护，Ranger 授权和审计扩展功能7.全面的大数据+AI生态支持支持JindoFS 全面兼容和支持开源生态，提供：Hadoop JindoFS SDK；Jindo Job Committer;POSIX fuse 支持 JindoFuse；TensorFlow FileSystem；Flink connector；Kite SDK8.强大迁移能力甚至是无缝迁移的能力部分支持提供优化的 JindoDistCp 工具，支持 Hadoop 数据源导入