摘要：大年夜数据处理体系根据当时效性可分为批式大年夜数据和流式大年夜数据两类。上述两类体系均无法知足“事中”感知萌芽分析处理模式的需求。为此，大年夜分析大年夜数据应用处景入手，提出了“流立方”流式大年夜数据及时处理技巧和平台，在完全大年夜数据集上实现了低迟滞、高及时的即席萌芽分析。今朝基于“流立方”平台开辟的营业体系已应用到金融风控反讹诈、机械防御等范畴，具有广阔的应用前景。

1、引言

大年夜数据技巧的广泛应用使其成为引领浩瀚行业技巧进步、促进效益增长的关键支撑技巧。根据数据处理的时效性，大年夜数据处理体系可分为批式(batch)大年夜数据和流式(streaming)大年夜数据两类。个中，批式大年夜数据又被称为汗青大年夜数据，流式大年夜数据又被称为及时大年夜数据。

今朝主流的大年夜数据处理技巧体系重要包含Hadoop及其衍生体系。Hadoop技巧体系实现并优化了MapReduce框架。Hadoop技巧体系重要由谷歌、推特、脸书等公司支撑。自2006年初次宣布以来， Hadoop技巧体系已经大年夜传统的“三驾马车”(HDFS、MapReduce和HBase)成长成为包含60多个相干组件的宏大年夜生态体系。在这平生态体系中，成长出了Tez、Spark Streaming等用于处理流式数据的组件。个中，Spark Streaming是构建在Spark基本之上的流式大年夜数据处理框架。与Tez比拟，其具有吞吐量高、容错才能强等特点，同时支撑多种数据输入源和输出格局。除了Spark开源流处理框架，今朝应用较为广泛的流式大年夜数据处理体系还有Storm、Flink等。这些开源的流处理框架已经被应用于部分时效性请求较高的范畴，然而在面对各行各业实际而又差别化的需求时，这些开源技巧存在着各自的瓶颈。

在互联网/移动互联网、物联网等应用处景中，个性化办事、用户体验晋升、智能分析、事中决定计划等复杂的营业需求对大年夜数据处理技巧提出了更高的请求。为了知足这些需求，大年夜数据处理体系必须在毫秒级甚至微秒级的时光内返回处理结不雅。以国内最大年夜的银行卡收单机构银联商务为例，其日交易量近亿笔，需对旗下540多万个商户进行及时风险监控，在确保这些商户合规开展收单营业的同时，最大年夜限度地保障小我用户的┞俘当权益。如许的高并发、大年夜数据、高及时应用需求给大年夜数据处理体系提出了严格的挑衅。银联商务以前应用的T+1过后风控体系存在风险侦测迟滞高(次日才能发明风险，伤害已经造成)、处理时光长(十几个小时之后才能完成风险辨认)、无法处理长周期汗青数据(只能分析比来几日的流水数据)以及无法支撑复杂规矩(仅能支撑累积乞降等简单规矩)等重大年夜缺点。为此，亟须研发全新的事中风控体系，以重点实现低迟滞(在1 min内甄别突发风险)、高及时(100 ms内返回处理结不雅)、长周期(可处理长达10年以上的汗青周期数据)以及支撑嘉宾杂度规矩(如方差、标准差、K阶中间矩、最大年夜持续统计等)等目标。这一目标可以抽象为一个大年夜数据处理科学问题：如安在一个完全的大年夜数据集上，实现低迟滞、高及时的即席(Ad-Hoc)萌芽分析处理。

2、技巧解析

实现一个融合批处理和流处理两类体系且对应用透明的体系级筹划，须要霸占以下几个技巧可贵。

(1)复杂指标的增量计算

尽管计数、乞降、平均等指标可以或许依附萌芽结不雅归并实现，然而方差、标准差、熵等大年夜部分复杂指标无法依附简单归并完成萌芽结不雅的融合。再者，当萌芽涉及热点数据维度及长周期时光窗口的复杂指标时，多次从新计算会带来巨大年夜的计算开销。

基于上述技巧体系，研发了银行营业风险及时｀控体系、互联网付出营业风险及时｀控体系、电贸易务风险及时｀控体系等金融风控反讹诈系列解决筹划。这些筹划已应用到银行、第三方付出机构、互联网金融等范畴的上百俭朴业。今朝50%以上的线下交易都在“流立方”的保护下进行，基于“流立方”的金融风控反讹诈解决筹划天天为我国的金融机构抵抗上亿次的进击。该技巧已经成为我国金融安然范畴基本举措措施必弗成少的构成部分。

采取粗放的调剂策略(例履商定在天天的固准时光将流数据导入批处理体系)会造成内存资本的极大年夜浪费，亟须研究实现一种细粒度的基于进度及时感知的融合存储策略，以极大年夜地优化和晋升融合体系的内存应用效力。

(3)多标准时光窗口漂移的动态数据处理

来自营业体系的数据萌芽请求会涉及多种标准的时光窗口，如“比来5笔刷卡交易的金额”“比来10 min内暗码重试次数”“以前10年的月均交易额”等。每次萌芽请求都从新计算结不雅会对体系机能造成极大年夜的影响，亟须研究实现一种支撑多种时光窗口标准(数秒到数十年)、多种窗口漂移方法(数据驱动、体系时钟驱动)的动态数据及时处理办法，以快速响应来自营业体系的即席萌芽请求。

(2)基于分布式内存的并行计算

基于内存介质可以或许大年夜大年夜晋升数据分析及处理才能，然而因为其易挥发的特点，一般须要采取多副本的方法来实现基于内存的高可用筹划，这使得“若何确保不合副本的一致性”成为一个待解决的问题。此外，在集群内存不足或者部分节点掉效时，“若何让集群在不间断供给办事的同时从新均衡”同样是一个待解决的技巧难题。亟须研究分布式多副本一致性协定以及自均衡的智能分区算法，以进一步晋升流处理集群的可用性以及可扩大性。

“流立方”流式大年夜数据及时处理技巧在上述范畴取得了一系列冲破，该技巧供给基于时光窗口漂移的动态数据快速处理，支撑计数、乞降、平均、最大年夜、最小、方差、标准差、K阶中间矩、递增/递减、最大年夜持续递增/递减、独一性判别、采集、过滤等多种分布式统计计算模型，并且实现了复杂事宜、高低文处理等及时分析处理模型集的高效治理技巧。

3、平台纵览

基于“流立方”流式大年夜数据及时处理技巧，研发了“流立方”流式大年夜数据及时处理平台。其应用框架如图1所示，具有优胜的灵活性和适应性。平台的数据装载模块负责大年夜具体营业体系中接入及时流数据，数据采取模块负责批量采取汗青数据，模型装载模块负责将分析处理模型集中的计算模型和脚本加载到平台中。当收到营业体系发出的及时萌芽请求时，“流立方”平台可以或许根据分析处理模型在完全大年夜数据集上及时Ｆ算出响应的指标，并进行断定，将结不雅反馈给营业体系。

　　推荐阅读

　　微软发布UWP社区工具包2.0：Fluent Design加持

微软方才精晓用 Windows 平台的“UWP 社区对象包”推向了 2.0 版本，为开辟者们带来了等待已久的 Fluent Design 体系和用户界面 API 。微软表示：“自一年前推出以来，UWP 社区对象包已经迎来了 7 个>>>详细阅读

本文标题：流式大数据实时处理技术、平台及应用

地址：http://www.17bianji.com/lsqh/37074.html

 1/2    1