在测试情况为8台办事器(每台办事器设备24核 CPU、256 GB内存)，同时计算16个统计指标(涉及4个维度，包含计数、乞降、均衡、最大年夜、最小、标准差、过滤、去重、排序、复杂事宜处理等多种算法)的机能测试中，“流立方”平台达到了单节点写入大年夜于43 000 TPS、8节点攫取大年夜于100万TPS、平均时延为1～2 ms的优良机能，如图2所示。

图2 “流立方”平台机能指标

“流立方”平台在解决批式大年夜数据和流式大年夜数据融合及时处理技巧难题，实现优良机能的同时，还解决了流式大年夜数据处理平台面对的两大年夜工程化难题。一是功课的编排效力问题。大年夜部分开源流处理平台在完成一个流处理编排时，都须要经由拓扑设计、代码编写、功能测试、打包安排等环节，一般须要一周的时光才能完成。“流立方”平台经由过程基于“所见即所得”的在线功课编排治理，将上线义务耗时降低到分钟级，大年夜大年夜晋升了流处理功课的编排效力。二是流处理功课的灵活变革问题。流处理平台善于进行逻辑预先定义的增量计算，尽管其枷⒚效力极高，但计算灵活度受到限制。例如，某营业须要统计以前3个月的数据，现有的流处理平台在该营业上线3个月后才能完全生效，如许的工作方法使流处理技巧在实际应用中受到很大年夜的局限。“流立方”平台立异性地惹人流媒体播放器的录制与重放思路，在原始数据进入流处理平台时，经由过程次序写的方法持久化一份原始数据，在须要上线新的计算功课瓯，即刻重发指准时光窗口内的原始数据，大年夜而实现快速(分钟级甚至秒级)计算功课上线。

“流立方”平台惹人了一系列立异技巧，在机能、可用性、可扩大性等多个层面晋升了流处理平台的处理才能，知足金融范畴在内的浩瀚范畴的营业及运维需求。惹人数据冲突智能规避技巧，解决了流式处理中的热点数据处理问题，大年夜而解决了大年夜颗粒数据维度的处理效力问题;惹人Paxos一致性协定，解决内存存储计算时多副本一致性问题，供给了面向运维人员透明的一致性解决筹划;惹人智能分区技巧，基于一致性散列技巧，进一步将散列值拆解为散列块，经由过程散列块的腻滑迁徙解决存储集群的可伸缩性设计问题，确保对于运维人员的集群变革透明性;惹人计算功课的动态运行时加载技巧，规避了功课手工打包安排的问题，进一步晋升了开辟人员的工作效力。

在国内某大年夜型银行卡收单机构组织的┞沸标测试中，测试环节为两台低设备虚拟机，测试数据为该机构的数切切笔交易流水，计算逻辑包含50多条规矩，涉及30多个统计指标。在该测试环节下，两家国外有名厂商中，一家厂商的计算时光长达24 h，另一家老牌数据库软件供给商则未能在一天内完成计算。相较于这些国外有名厂商的大年夜数据处理平台，“流立方”平台可以或许在3 h内完成所有计算，且精确率为100%。

4、应用处景

“流立方”流式大年夜数据及时处理体系在金融、交通、电信、公安等行业具有广泛的应用处景。以金融风控反讹诈为例，安排“流立方”风控体系仅需在交易前端增长风控探头，将及时交易数据旁路接入体系。“流立方”风控体系根据融合了专家常识和机械进修结不雅的数百条规矩对每笔交易进行风险评估，断定是否许可进行该笔交易，流程如图3所示。该体系平均响应时光在6 ms以下，并发数跨越50 000笔/s。同时，实现这一机能仅须要4台办事器。

图3 基于“流立方”的金融风控反讹诈流程

基于“流立方”的金融风控反讹诈技巧体系包含技巧(如设备指纹、代劳侦测、生物辨认、接洽关系分析、机械进修等技巧)、常识(如盗卡反讹诈、伪卡反讹诈、信用卡套现、营销反讹诈等规矩与模型)、数据(如虚假手机数据、代劳IP数据、P2P掉信数据等标识数据)三大年夜板块。技巧部分中的设备指纹技巧经由过程主被动混淆的情势采集设备中软硬相干要素，结合概率论等算法为每一个设备揭橥一个全球独一的指纹编码，这些指纹编码在反讹诈的┞符个过程中起到异常积极的感化;代劳侦陈技巧经由过程短时光内扫描IP相干端口来辨认那些开启代劳的IP，并在这些IP拜访金融办事时进行辨认;生物辨认技巧经由过程采集设备上用户的鼠标点击、触摸、键盘敲击等行动辨认操作者是人照样机械以及是否操作者本人的问题;接洽关系分析技巧在底层经由过程图数据库存储不合节点以及关系信息，最终在界面上经由过程图的情势进行讹诈者接洽关系分析及复杂收集分析;机械进修技巧经由过程有监督、无监督的机械进修算法晋升讹诈识其余精确率及覆盖率，并结合流立方技巧供给模型的事中猜测才能。

此外，在互联网机械防御体系中，“流立方”同样能发挥巨大年夜感化。如今收集机械人遍布票务、电商、雇用、银行、当局、社交等各类网站，消费了40%～60%的收集流量。收集机械人不仅消费收集资本、影响正常客户拜访、增长网站运营成本，还会爬取产品、价格信息，形成不合法竞争，甚至混淆网站用户生态，影响营销分析。传统的┞菲握策略经由过程采取樊篱频繁拜访、设制揭捉?证码等方法防御收集机械人，无法应对日益智能化的新型收集机械人。基于“流立方”的互联网机械防御体系经由过程在Web办事器上嵌入插件或者自力的嗅探器(sniffer)法度榜样，将全流量的Web拜访请求旁路到自力的机械防御集群，进行及时的流量分析及防御决定计划，并将决定计划后的结不雅及时回馈到Web办事器插件中。Web办事器插件在剖断当前拜访的设备或者IP地址等是机械人时，可以或许主动改写响应内容，根据不合的风险级别主动拒绝交易或将拜访者引导到第三方图形验证码办事商进行机械人验证。拜访者在经由过程验证后可以持续正常拜访Web办事。该体系还立异地将设备指纹以及人机辨认办事应用到机械防御体系中，不仅增长了可分析维度，晋升了控制颗粒度，同时可以或许对基于浏览器内核的高等爬虫进行防护。此外，将机械防御规矩、数据办事、设备指纹、人机辨认以及图形验证码以软件即办事(software as a service，SaaS)的情势供给办事，进一步降低了互联网网站客户的运维门槛，晋升了产品竞争力。该机械防御体系工作过程如图4所示。

　　推荐阅读

　　微软发布UWP社区工具包2.0：Fluent Design加持

微软方才精晓用 Windows 平台的“UWP 社区对象包”推向了 2.0 版本，为开辟者们带来了等待已久的 Fluent Design 体系和用户界面 API 。微软表示：“自一年前推出以来，UWP 社区对象包已经迎来了 7 个>>>详细阅读

本文标题：流式大数据实时处理技术、平台及应用

地址：http://www.17bianji.com/lsqh/37074.html

 1/2    1