MatrixDB 实现数字汽车和智能工厂实践.pdf

MatrixDB：数字汽和脑实践姚 延 栋创 始&C E O北 京 四 维 纵 横 数 据 技 术 有 限 公 司Confidential 2021 四维纵横姚延栋MatrixDB 创始Greenplum 北京研发中负责（2010-2020）Greenplum 中社区创始PostgreSQL 中社区常委清华学产教融合课程分布式数据系统基础及应产业负责著有Greenplum：从数据战略到实现关于我Confidential 2021 四维纵横l时序和超融合l数字汽l脑录Confidential 2021 四维纵横时 序 和 超 融 合Confidential 2021 四维纵横全数字化时代到来，拐点出现2020 年物联网设备超过非物联网设备DB-Engines 过去 24个 月流行度趋势肯锡物联：抓住加速机遇指出到2026年IoT数据市场规模1000亿美，“IoT最场景在中国”。物联最典型的数据是时序数据。Confidential 2021 四维纵横什么是时序数据时序数据是时间序列数据，即带有时间戳的数据序列。这个序列中的个数据也成为数据点（datapoint），个数据点通常是个（timestamp，value）对。(ts1,v1)(ts2,v2)(ts3,v3)(tsN,vN)(,)timeseriesConfidential 2021 四维纵横什么是时序数据可以有很多时间序列，每个时间序列有的节奏。(ts1,v1)(ts2,v2)(ts3,v3)(tsN,vN)(,)(ts1,v1)(ts2,v2)(ts3,v3)(tsK,vK)(,)timeseries1timeseries2Confidential 2021 四维纵横什么是时序数据时间序列都是(ts,val)序列，那么如何区分不同的时间线？不同时间线会有不同的静态属性，通过静态属性可以区分时间线。(ts1,v1)(ts2,v2)(ts3,v3)(tsN,vN)(,)(ts1,v1)(ts2,v2)(ts3,v3)(tsK,vK)(,)timeseries1timeseries2name:cpu_usage,IP:192.168.1.1name:cpu_usage,IP:192.168.1.2静态属性静态属性Confidential 2021 四维纵横什么是时序数据时间序列都是(ts,val)序列，那么如何区分不同的时间线？不同时间线会有不同的静态属性，通过静态属性可以区分时间线。时间timeseries1timeseries2timeseriesN!#$!#$!#$Confidential 2021 四维纵横什么是时序数据对时序数据的查询丰富多样：个时序的最新值，个时序在某个时间段的明细或者聚合，多个时序在个时间段的明细或者聚合，多个时序的最新值等。时间timeseries1timeseries2timeseriesN!#$!#$!#$Confidential 2021 四维纵横什么是时序数据Timeseries 之间有什么关系？这种关系是否重要？多数场景下，某些timeseries有定相关性，属于同个实体，或者有相同的静态属性时间timeseries1timeseries2timeseriesN!#$!#$!#$同一个实体，譬如同一个应用同一个机床同一辆车同一个实体，譬如同一个应用同一个机床同一辆车!#$timeseriesNConfidential 2021 四维纵横12什么是时序数据Confidential 2021 四维纵横时序数据建模三种数据建模式：1.窄表模式2.宽表模式3.树形模式Confidential 2021 四维纵横时序数据建模窄表模式：个数据点，可以KV数据模型，也可以关系数据模型。注意窄表不是字意思的字段个数多少，是只表示个数据点。2021/10/01 08:00:00;设备编号=958D-7913,城市=上海;向;23.4 2021/10/01 08:00:00;设备编号=958D-7913,城市=上海;速;3.4 2021/10/01 08:00:00;设备编号=F3CC-20F3,城市=北京;向;45.1 2021/10/01 08:00:00;设备编号=F3CC-20F3,城市=北京;速;1.1 2021/10/01 08:01:00;设备编号=958D-7913,城市=上海;向;23.2 2021/10/01 08:01:00;设备编号=958D-7913,城市=上海;速;3.3 2021/10/01 08:01:00;设备编号=F3CC-20F3,城市=北京;向;45.0 2021/10/01 08:01:00;设备编号=F3CC-20F3,城市=北京;速;1.2Confidential 2021 四维纵横时序数据建模宽表模式：表示多个数据点，通常采关系数据模型。可以张表，也可以多张表。注意宽窄定义不依据字段个数，是表示个数据带还是多个数据点。宽表也可以只有5、6个字段。时序数据静态属性表+时序数据表Confidential 2021 四维纵横时序数据建模树形模式：与窄表区别是以层级式组织静态属性（元数据）root%&()*+(VIN1,-VIN2VIN3GPS速度油量加速度速度经度维度经度维度xyGPS./时速速度Confidential 2021 四维纵横时序数据建模010123234545676785859:;=?=ADEFG.HI=JKLMNOPQJRSTUVWX0ST=UVYWX0STA=YUV0STAJK=ZSTAA=0STAA=Confidential 2021 四维纵横时序数据是企业海量多样化数据的部分_aF=2021-10-10 00:00:00 AND ts=2021-11-17 19:30:00-123456AND ts 0 OR abs(diff2)0-:;?A3BCDEFGHIJ56select vin,ts,case when mode=0 and mode_lag 0 then start else end end as drive_statusfrom(-KL0/(M.1NOPQRSselect vin,ts,mode,lag(mode)over(partition by vin order by ts desc)mode_lagfrom car_signalwhere ts 2022-03-08 00:00:00)u1where(mode=0 and mode_lag 0)or(“mode”0 and mode_lag=0)a1where drive_status_start=drive_start;所有全天驾驶循环，常于级分析、模型训练等分钟条 SQL 节省千代码+测试，幅提升开发效率Confidential 2021 四维纵横34案效果：省、省、省时、省钱MatrixDB!#!#$%&()*+,-./0!#$%&(1.4亿数据点/秒吞吐低延迟写 400+并发毫秒级返回 峰数据延迟2时缩短到10秒，500倍提升 开发效率提升100倍（客户反馈从3天到10分钟）硬件成本节省 80%精简技术栈：超融合数据库 MatrixDB 替换Hadoop 全家桶 OpenTSDB、HBase、HDFS、Hive、RedisConfidential 2021 四维纵横35智能装备运维和数字汽常相似某装备制造业巨头对分布在全球各地的产品进智能化改造，使其对产品的使过程了如指掌，为期客户提供运维管理、预测维修、动优化等。All in One：替代MySQL+时序数据库+Greenplum+Spark 集群硬件节省半，性能提升6倍1.设备数据明细2.预测泥泵机是否发堵管3.统计最频排量4.预测最佳油vs.转速5.臂架异常：泄漏，发卡6.模拟泵（有多节机械臂）作状态7.模拟泵作状态衍，常姿态统计8.泵异常检测%&(Confidential 2021 四维纵横脑Confidential 2021 四维纵横37第四次业命已经开启Confidential 2021 四维纵横38数据+模型+软件是第四次业命的基础|77+j+j+ja+“/”*/)/)/)j”*a+“/”*/)CPSa+“/”*a+“Confidential 2021 四维纵横39脑：数据+模型，是智能制造的中枢ERP _MES _UVaMatrixDB aSQLETL/CDCETL/CDCIoT网管FSTFSQLConfidential 2021 四维纵横40数据建模关系数据：包括 ERP、MES 等系统的数据，采表式存储设备相关数据：静态信息：关系表存储指标数据：类设备张表维修数据：关系表存储Confidential 2021 四维纵横41数据查询最新值查询明细查询聚合查询多维查询级查询（譬如窗函数）多表关联类型查询机器学习类型查询，下推 Python/R 算法到数据库中执，通过SQL实现MLConfidential 2021 四维纵横42案效果传统的业数据“复杂”、“低效”，投巨产出甚微，使得很多业企业谈“数据”变。基于MatrixDB的业数据平台解决数据复杂度问题，把“极简”、“极速”留个客户 运营数据（TB）+产数据（GB）+设备数据（10万点/秒时序数据）数据库内实现模型训练和分析，快速部署、低成本实施和可复制推 All-in-One：MySQL+时序库+Hive+Spark MatrixDB，成本节省60%+，性能提升6倍