这两个问题的谜底,告诉我们三件工作,
- 紧缩算法的选择须要具体情况具体分析,弗成紧缩的字符串老是存在。
- 不要妄图获得最好的紧缩算法,它是弗成计算的。因为总有你想不到的紧缩算法存在。举个例子,[一百万个 0 的字符串,以“foo”作为 key,经由 AES 加密算法的 CBC 模式获得的字符串]。这串字符串看起来美满是随机的,弗成紧缩的。但我却竽暌姑 43 个中文(中括号之间的内容)就表示了出来。
- 紧缩是件很难很有技巧含量的工作,须要赓续的发掘,才能将他做到更好。
时序数据紧缩
针对不合的数据,会有不合的紧缩,大年夜致紧缩的对象可以分为文档、音频、视频等。如不雅直接采取文档的紧缩算法用于时序数据,效不雅并不睬想。下图是一些常用的紧缩算法的 benchmark,可以看到紧缩率那一栏最高也只可以或许达到 3 阁下的紧缩率(紧缩率 = 原始数据大年夜小 / 紧缩后的数据大年夜小)。更多紧缩算法可以查看注 2。
如前文提到的,工业物联网情况监控偏向的客户,一年产生 1P 的数据,如不雅每台办事器 10T 的硬盘,那么总共须要 100 多台。按照每台办事器 3 万来算,一年就须要 300 万的支撑,这还不包含保护人员的成本。
如不雅要获得更好的紧缩率,我们须要采取加倍适应时序数据的紧缩算法。时序数据的紧缩可以分为无损紧缩和有损紧缩。
无损紧缩是说被紧缩的数据和解压后的数据完全一样,不存在精度的损掉。对数据的紧缩说到底是对数据规律性的总结。时序数据的规律可以总结为两点:1、timestamp 稳定递增、2、数值针砭律性,变更稳定。下面来举个例子。
推荐阅读
比来的WannaCry大年夜爆发仍是个谜。我们知道什么是勒索软件,也知道不受支撑/没打补丁的Windows体系是怎么被马脚应用的,但我们不知道是谁在把持WannaCry,又为什么要搞出那么大年夜阵仗>>>详细阅读
本文标题:深入浅出时序数据库之压缩篇
地址:http://www.17bianji.com/lsqh/35600.html
1/2 1

网友点评
精彩导读
科技快报
品牌展示