时光序列数据存到传统数据库中会碰到一些问题，例如时光序列数据直接保存到关系数据库中(例如MySQL 的InnoDB引擎)，应用SQL语句进行分析。这里就会碰到以下一些问题：

1. tag反复存储，存储开销大年夜，如不雅将模型变成MySQL的行时，每个数据点会产生自力的行，也就是标签会反复存储，在一个时光序列膳绫强个数据点须要保存到标签反复存储一遍，如许才能用标签把这个序列上所有的数据点找出来。
2. 可以用结合索引部分化决多维度的问题，然则进一步增长了存储的开销。
3. B树索引在持续写入的时刻产生大年夜量随机IO，写机能敏捷降低，多结合索引加剧了写入慢的问题，InnoDB是用B+Tree进行索引的，为了数据萌芽快，一般会根据标签不合组合建立不合索引，当写入数据时，不合标签写进去的数据排序是不一样的，大年夜部分的标签在写进去时会在索引上产生随机插入。
4. 数据量大年夜导致索引/数据很轻易跨越内存容量，查找/聚合机能不高。萌芽时会导致大年夜量的磁盘IO的开销。
5. 降精度的SQL子萌芽很难被SQL优化器优化。

8月24日阿里云数据库技巧峰会上，来自阿里数据库事业部高等专家钟宇带来HiTSDB 时序数据库方面的演讲。本文重要大年夜时序数据开端介绍，包含时序序列数据的特点，接着介绍了时序数据营业场景，以及OpenTSDB在HBase上的优化，最后分享了HiTSDB的优化和进步。

时序数据介绍

时序数据就是在时光上分布的一系列数值,时光和数值是两个关键字，时序数据一般指指标型数据，比如股票价格、告白数据、气温变更、网站的PV/UV、小我健康数据、工业传感器数据，还有关于应用法度榜样的机能监控，像办事器体系监控数据，比如cpu和内存占用率，此外还有车联网。

据统计，在大年夜数据范畴中时序数据会跨越一半。

图为告白的监测数据，可以看到事例中跟踪了三个告白来源，每个来源跟踪了三个指标，包含展示了若干次、点击了若干次以及产生了若干收入。广澳来源是用不合的标签来区分的，比如由谁宣布、告白商、针对目标用户的性别和宣布在哪个国度等。 大年夜家可以清楚的看到每个指标，在不合的时光点有不合的数值，这就构成了一系列的时光数据。左边成为数据源，中心成为metric，右边称为时光序列，时光序列在时光上具有不合的值，

如不雅对时光序列建模会有两种方法，一种是单值，一种是多值。单值是把每一个数据源的每一个指标的每一个值当成一行。多值模型是把同一个数据源的不合指标放在不合列中，也就是每个数据源在每个时光点只会产生一行数据。

多值模型必定能用单值模型来模仿，多值模型在处理某些数据时更便利些，然则单值建模可以模仿所有场景。

时光序列数据的处理和一般数据库处理有所不合，一般数据库基于行，每一个数据点是一行，时光序列数据是按时光线处理数据。每个时光线上的数据是异常接洽关系的，比如某一个告白源收入在不应时光上就构成时光序列，这些时光序列中的收入可以画成一条变更曲线，针对曲线我们可以做时光序列变更处理，最常见的是插值和降精度。因为数据源采样的原因，往往会损掉一些点，我们用插值袈内里间插上常见的线性插值或者零值补偿;如不雅告白数据不必定须要最细时光粒度来看，我们就可以降精度，不合数据降精度的方法不一样。

针对时光数据，还有一个最常见的处理——聚合，我们往往看的不仅仅是年腋荷琐数据源来的指标，如不雅我们要看北美地区某一个告白源在一段时光内产生的所有收入的总和，我们就须要把跟告白源标签对应的时光线全部挑出来，然后将告白收入时光点加和在一路，获得一个新的乞降曲线，如图所示，我们找到了异常多的时光线，最后用氖刂聚合函数聚合在一路。每一种营业须要的聚合方法也是不一样的，比如告白数据算加和，或者按告白源作平均，也有可能找最大年夜最小值，或者作统计性工作，比如99%值都在某个数值以上。

时光序列数据的特点

是以，我们得出时光序列特点包含以下几方面：

• 持续产生大年夜量数据。不论是告白监控照样传感器、气温，它针对的情况很多。比如监控工业袈浒区中灯的耗电量，每盏灯就会有传感器及时传输灯耗电量，如不雅采样距离是一秒钟，每盏灯每一秒就会产生一个数据点，几万盏灯没秒就会有几万次写入，如不雅涉及麓竽暌诡多，就会产生每秒几百万上切切的写入。
• 数据产生率安稳，无明显的波峰谷。这带来了优化的好处和坏处，好处是不会产生明显的峰值，所以在做容量评估时会比较便利;坏处是没办法在闲暇时光做数据归并鹤芄播的工作。
• 近期的数据存眷度更高。
• 时光长远的数据，极少被拜访，甚至不再须要。所以时光序列数据一般须要数据回滚功能。
• 数据存在多个维度的标签。
• 展是橐骞用时往往须要对数据做聚合计算。

当传统数据库碰到时光序列数据

　　推荐阅读

　　我是如何从会计转行到数据分析

引言:本文不推荐什么大年夜社群!不推荐课程!只是简明地描述一下我是若何转行到数据分析岗的。先说说自身情况吧： 16年本科卒业，专业财务治理 。在故乡，一个二线城市，做管帐做了一年多>>>详细阅读

本文标题：HiTSDB时序数据库技术架构和产品解析

地址：http://www.17bianji.com/lsqh/37157.html

 1/2    1