LTS（原BDS）产品介绍.pdf

LTS（原BDS）产品介绍孟庆义HBase&Lindorm团队大纲 产品介绍 技术内核LTS介绍HBase/LindormLTS数据链路服务数仓、数据湖搜索引擎关系型数据库NoSQLOSS消息队列易用高性能高可用以HBase/Lindorm为核心构建数据链路生态，打造一体化的数据存储、计算闭环 数据搬迁，业务上云Lindorm/HBase的第一个门槛 数据多维计算分析生态，无缝融合提供稳定易用的架构解决方案丰富数据通道功能概览云HBase/Lindorm集群MySQLPostgreSQLMongoDB在线事务数据库KafkaRocketMQ日志队列HiveSparkMaxCompute数仓OSSElasticSearchSolr搜索引擎Powered by BDS、DTS、Dataworks产品化支持工具式支持即将支持SLS阿里云LTS优势 低成本弹性扩展低延迟高可用完全托管功能丰富易用高效数据复制机制，线上真实案例50TB同步6小时仅需160元支持水平及垂直扩展实时同步，同城延迟 offset hlog2 -offset zookeeperHBaseHBase/LindormReplication SourceReplication SinkBDS ClusterReplication Manager Backup Manager WorkerWorkerWorkerHLog ReaderAsync ClientRingBuffer 同HBase内核紧耦合 抗热点能力差 动态扩展能力差 不支持跨版本同步社区方案优势 同源库完全解耦 抗热点能力强 灵活动态扩展 支持跨版本同步增量实时同步p 核心优势 实时数据变更订阅 Key级别保序（分区扩缩容不影响）更新前后镜像（Old/New Image)Lindorm Streams 实时订阅数据订阅/触发器流计算数据同步/迁移LindormStreamsDataHubMQLindorm函数计算宽表实时事件hloghlogLDFile全量回溯StreamsTopic数据写入hloghlogLDLogLindorm HDFSLTS数据同步数据保序数据变换Kafka 协议兼容MQDataHub推送订阅Lindorm多模引擎存储计算分离架构Serverless弹性冷热分离低成本多模多端数据处理LTS全增量一体多表迁移数据变换DDL感知开放数据生态大数据分析生态 云原生多模数据库 LindormMySQLRDS实时同步云HBase/Lindormp 核心优势 简单易用 存储成本低 云原生弹性 支持多维搜索 支持数据分析旁路批量数据导入HBase/Lindorm RegionSSTable1SSTable2SSTable3LSM-TreeBulkload离线数据RPCMVCCWAL编码压缩XXX秒级加载离线生成SSTableRow1 C1=v1 C2=v2 C3=v3 ts=t1Row2 C1=v4 C2=v5 C3=v6 ts=t1Row1 C1=v1 ts=t1Row1 C2=v2 ts=t1Row1 C3=v3 ts=t1Row2 C1=v4 ts=t1Row2 C2=v5 ts=t1Row2 C3=v6 ts=t1输入数据行级有序For KV in Stream compare if currentrow;write2File;Row Aware Writer有序KV流编码压缩减少重复的比较运算减少同行KV的Rowkey冗余减少时间戳ts的冗余p 优势 支持MaxCompute、Hive数据回流云HBase/Lindorm 导入速度相比API写入提升40倍 旁路加载速度提升一个数量级 Row Aware Writer 速度提升4倍 单位资源消耗下降节省成本