如何做到单机毫秒完成上亿规模大数据常规统计

【限时免费】岁尾最强一次云计算大年夜会，看传统、社区、互联网企业若何碰撞？

(3)求总数：int getTotal()返回该CoolBitSet的用户总数，bit位是1的总数量

固然如今最火的是AI，然则大年夜数据和计算才能仍然是机械进修/AI算法的重要支撑，我们的营业场景大年夜部分是经由过程手机终端、办事器日记赓续产诞辰记数据，经由过程消息通道发送到大年夜数据平台进行存储、加工和统计，然后在统计数据之上供给算法发掘用户偏好行动和画像，为此，我们的关键义务是须要大年夜海量数据里统计分析每项产品的去重用户、新增用户、pv、uv、dau(日活)、mau(月活)等指标，这个过程存储占用越少，计算时光越快越好。Fourinone(CoolHash)拥有原创数据库引擎设计才能和常识产权，可以或许在引擎层面灵活扩充各类功能支撑，为了供给大年夜数据统计计算的最优解决筹划，4.17在引擎上加强了以下特点：

一、增长了自加和存在新增两个原子操作

1. Object putPlus(String key, T plusValue)

如不雅key对应的value是数字类型(int、long、double、float)，自增长plusValue(数字类型)，如plusValue=http://bigdata.51cto.com/art/201712/1，表示每次自增1，plusValue也可所以小数。如不雅key对应的value是字符串类型，自增长plusValue(字符串)，会累加到原字符串后面，可以用分隔符隔开。putPlus的返回值为该key的上一个值。

如不雅key存在，则不操作，如不存在写入value。putNx返回值为key操作前值，为null表示不存在，不然返回已有值。

应用putPlus和putNx可以完成很多原子操作，如count类计数统计，在开源包指南附带的CountDemo.java里的countTest办法演示了putPlus的应用，在ThreadClient.java的putPlusTest办法和putNxTest办法演示了多线程下的应用。

pvTest办法演示了计算pv，如不雅id不存在则写入，并将pv数自加1，其他线程发明id存在，则无法更新pv数

若何做到单机毫秒完成上亿范围大年夜数据惯例统计

Object nx = chc.putNx("v0_"+i, i);  
if(nx==null)  
chc.putPlus("pv_v0",1);

二、增长了客户端本地和存储引擎端强大年夜的bitmap支撑

膳绫擎经由过程putPlus和putNx原子操作可以计算pv，但并不是最高效的筹划，应用bitmap有两个异常明显的优势：位存储占用空间低，位枷⒚效力高。将须要做统计计算的id转换成数字序号，每个只占1个bit，对于20亿的用户id，只须要20亿bit约238m大年夜小，紧缩后占用空间更小，起码只要200k;经由过程单个bitmap可以完成去重操作，经由过程多个bitmap的且、或、异或、反等位操作可以完成日活、月活、小时分钟活泼、重度用户、新增用户、用户流向等绝大年夜部分的统计计算，并且能在单机毫秒级完成，真正做到及时Ｆ算出结不雅，同比hadoop/hive离线计算履行“select distinct count…from…groupby join…”类似sql的方法统计，往往须要几百台机械，耗用30分钟才能完成，比较异常悬殊，并且轻易形成大年夜量sql义务调剂和大年夜表join给集群带来沉重压力。(图)

若何做到单机毫秒完成上亿范围大年夜数据惯例统计

去重用户：求1的总数
活泼用户：取或bitmap1 | bitmap2
非活泼用户：取反：～bitmap1
重度用户：取且：Bitmap1 & bitmap2
新增用户：取或加异或：(Bitmap1 | bitmap2)^bitmap1
多种指标组合：Bitmap1 & bitmap2 & bitmap3 &…
等等

同时供给bitmap本地和引擎端互通实现，可以或许进行更灵活的架构设计，可以将bitmap紧缩存储到任何数据库上，客户妒攀拉回后完成聚合计算，计算完成的结不雅再写回数据库。也可以多个客户端同时连接到CoolHash存储引擎上，经由过程引擎的bitmap操作支撑完成去重、聚合、解紧缩等支撑。BitMap结合存储引擎如下图：

CoolBitSet(int maxSize)，可指定大年夜小限制，默认1000万大年夜小，本地没有最大年夜限制，可以应用多个分区的bitmap表示整型范围或长整型范围的数据，每个1000万的bitmap紧缩后在2m以内，很合适放入kv存储。

(1)根本操作：CoolBitSet供给根本的get(int n)、set(int n)、put(int n)操作，个中put为存在返回get，不存在set，除外还供给批量操作：int set(CoolBitSet cbs): 将别的一个bitmap对象归并到当前bitmap，并返回新增的数量。

(2)聚合操作：求且、求或、异或、求反、求新增

CoolBitSet and(CoolBitSet cbs)：两个CoolBitSet求且，更新到当前对象，并返回该对象引用
CoolBitSet or(CoolBitSet cbs)：两个CoolBitSet求或，同上
CoolBitSet xor(CoolBitSet cbs)：两个CoolBitSet求异或，同上
CoolBitSet andnot()：将该CoolBitSet对象求反，同上
CoolBitSet setNew(CoolBitSet cbs)：求当前CoolBitSet的新增用户，并返回新增用户结不雅的对象引用
1/2 1 2 下一页尾页

　　推荐阅读

　　2017互联网十大未解之谜，你能回答几个？

编者按：本文来自每日经济消息，编辑：卢祥勇，36氪经授权宣布。时光似箭，还有两周，2017年就要画上句号了。在这一年迈，互联网行业产生很多重大年夜事宜，比如微信小法度榜样上线、顺丰菜鸟互撕、共享>>>详细阅读

本文标题：如何做到单机毫秒完成上亿规模大数据常规统计

地址：http://www.17bianji.com/lsqh/40088.html

1/2 1