(4)高可用、高可扩大的内存计算
图4 机械防御体系架构
图1 “流立方”平台应用框架
基于“流立方”的实机会械防御体系经由过程多办事器拜访流水接洽关系决定计划、长周期数据决定计划、复杂规矩爬虫辨认、设备维度爬虫辨认、人机辨认等技巧，实现了微秒级(400～800μs)的辨认时延，同时具有机械人辨认管控一体化、轻量级接入等长处。根据已经接入机械防御办事的几十家客户的反馈，基于“流立方”平台的防御体系对机械人辨认覆盖率在95%以上，精确率为99.9%。该机械防御体系可以或许拦截这些客户营业体系中占原有拜访总流量80%～90%的来自收集机械人的拜访流量，使得其营业体系办事器的压力降为本来的10%。因为基于“流立方”的机械防御体系的卓越辨认及控制机械人的才能，当前，全国最大年夜的票务平台正在对此办事进行周全的测试，欲望可以或许进一步晋升其票务办事才能。
此外，基于“流立方”的流式大年夜数据及时处理平台在聪明交通范畴也大年夜有作为。经由过程及时分析大年夜预埋在全国各地的摄像头采集的车牌信息，合营地舆地位信息办事以及基于地舆信息体系(geographic information system，GIS)的最短交通距离计算，实现及时套牌车信息抓取，为进一步袭击违犯法罪办事供给赞助;经由过程及时分析交财路口双向的车流量信息，及时控制每个路口的红绿灯、智能变换潮汐车道及可变车道，大年夜而大年夜大年夜晋升城市的通行效力。
“热数据”带来无与伦比的价值，数据大年夜产生开端，其应用价值随时光的流逝出现指数式降低，若何充分应用“热数据”是一个新闹事务，是一个经久义务，也是流式大年夜数据处理技巧大年夜有可为之处。“流立方”流式大年夜数据及时处理技巧和平台在金融、电信、交通、公安、海关、收集安然等须要惹人“事中”感知分析决定计划模式的行业都具有广阔的应用前景。
5、停止语
基于批式大年夜数据，可以赓续进修新的常识，累积新的经验。然而，在应用这些常识和经验时，流式大年夜数据更可以或许极大年夜限度地发掘“热数据”的潜在价值。这使得流式大年夜数据技巧具备更有效的应用推广价值。
流式大年夜数据及时处理是大年夜数据时代信息化的重要抓手。采取“事中”甚至“事前”模式实现感知、分析、断定、决定计划等功能的智能体系须要流式大年夜数据及时处理平台的支撑。此外，流式大年夜数据及时处理可认为大年夜数据驱动的深度进修供给计算框架支撑。“流立方”流式大年夜数据及时处理平台可钪啃制融合逻辑推理、概率统计、众包、神经收集等多种形态的下一代人工智能同一计算框架供给支撑。
作者：陈纯(1955-)，男，博士，浙江大年夜学计算机科学与技巧学院传授，中国工程院院士，计算机应用专家，重要研究偏向为大年夜数据智能计算、计算机图形图像处赖寥。
现有的大年夜数据处理体系可以分为两类：批处理大年夜数据体系与流处理大年夜数据体系。以Hadoop为代表的批处理大年夜数据体系腥先将数据汇聚成批，经批量预处理后加载至分析型数据仓库中，以进行高机能及时萌芽。这类体系固然可对完全大年夜数据集实现高效的即席萌芽，但无法萌芽到最新的及时数据，存在数据迟滞高等问题。相较于批处理大年夜数据体系，以Spark Streaming、Storm、Flink为代表的流处理大年夜数据体系将及时数据经由过程流处理，逐条加载至高机能内存数据库中进行萌芽。词攀类体系可以对最新及时数据实现高效预设分析处理模型的萌芽，数据迟滞低。然而受限于内存容量，体系需丢弃原始汗青数据，无法在完全大年夜数据集上支撑Ad-Hoc萌芽分析处理。是以，研发具有快速、高效、智能且自立可控特点的流式大年夜数据及时处理技巧与平台是当务之急。
【编辑推荐】
- 大年夜数据正在改变客户办事的5种方法
- 面向大年夜数据的分布式调剂
- 汽车制造厂商应用大年夜数据的5个立异思路
- 大年夜数据：算得出数字，算不进出性
- 第三方付出谁更胜一筹？大年夜数据告诉你付出宝和微信到底谁更强？
推荐阅读
微软发布UWP社区工具包2.0：Fluent Design加持
微软方才精晓用 Windows 平台的“UWP 社区对象包”推向了 2.0 版本，为开辟者们带来了等待已久的 Fluent Design 体系和用户界面 API 。微软表示：“自一年前推出以来，UWP 社区对象包已经迎来了 7 个>>>详细阅读
本文标题：流式大数据实时处理技术、平台及应用
地址：http://www.17bianji.com/lsqh/37074.html
1/2 1
网友点评
精彩导读
科技快报
品牌展示