基于大数据技术的全国高速公路通行数据动态监测平台建设

②数据字典。包含以下5项：

一是高速公路收费站字典。包含收集编号、收费站编号、收费站名称、地点线路编号、地点线路名称、是否省界站、开通时光、所属地签名称、是否开放式收费站、收费站状况、收费站经度、收费站纬度、备注等信息。二是高速公路收费车型字典。包含收费车型代码、车种代码、收费车型定义等信息。三是高速公路货车轴型字典。包含单轴组轴型代码、轴型定义等。四是高速公路免费类型代码字典。包含免费类型代码、免费类型定义等。五是高速公路标识站字典。包含标识站编号、标识站名称、所处路段名称。

此外，高速公路电子地图则以GIS地图的情势采集。

根本营业流程

总体营业重要包含数捷报送以及数据分析两部分，数捷报送营业重要实现各省原始数据的采集，审核，清洗，存储。数据分析营业则实现了对于数据的分析，萌芽以及可视化的┞饭示。

大年夜数据及其应悠揭捉?速成长，已经渗入渗出到各个行业和营业本能机能范畴，成为重要的临盆身分，2015年8月国务院印发《促进大年夜数据成长行动纲领》，将大年夜数据晋升为国度计谋。

Tech Neo技巧沙龙 | 11月25号，九州云/ZStack与您一路商量云时代收集界线治理实践

整体架构分为6层，数据源层，数据采集层，数据存储层，数据处理层，数据分析层，数据应用层。

数据源层是指各省高速公路联网收费体系，在数据采集层，应用ETL对象和数据传输中心件大年夜各省的前置机采集数据。体系实施时在每个省都安排了数据采集的前置机，在前置机上，经由过程ETL来对数据进行采集、清洗和标准化，数据传回部里后，应用关系数据库开展惯例的统计工作，应用分布式的大年夜数据平台，来进行数据的分析发掘以及与其他数据之间的接洽关系分析。在数据存储层，采取基于大年夜数据的混淆式数据存储架构，应用基于hadoop的分布式文件体系来治理高速公路明细数据，应用关系型数据库存储来存储ods层、dw层和dm层的数据，形成完美的数据仓库架构，在数据处理层，支撑批处理、流式处理和混淆处理三种方法的数据处理，在数据分析层：应用impala、spark等技巧支撑即席萌芽、信息检索，深度发掘，在数据应用层，以地图、报表的情势展示分析结不雅。

体系总体框架如图所示：

基于大年夜数据技巧的全国高速公路通行数据动态监测平台扶植

下图所示为体系数据采集的流程示意图：

基于大年夜数据技巧的全国高速公路通行数据动态监测平台扶植

平台重要功能包含数据质量监控、数据统计与萌芽、专题分析、体系治理、动态设备4个部分，体系的总体功能框架如下图所示：

体系总体架构

基于大年夜数据技巧的全国高速公路通行数据动态监测平台扶植

数据质量监控

大年夜2016年4月开端，对全国高速公路通行数据进行发掘分析，与高德合作开展数据分析，按季度宣布中国重要城市交通分析申报，至今已合作宣布5期分析申报，每期申报均获灯揭捉?视、人平易近网、头条消息、全球咨询广播、中国消息网等主流媒体报道，央视财经频道对分析内容进行2次专题报道。2017年8月，以该平台为支撑，我院还编制宣布了《2016年度中国高速公路运行大年夜数据分析申报》，申报宣布后，受到了行业表里广泛存眷，央视消息联播对申报内容进行了专题报道。这些系列申报的编写和宣布对于交通运输部开展综合交通大年夜数据的分析与实践分析、宣传交通运输行业大年夜数据分析结不雅发挥了重要感化。

经由过程内置数据审核规矩，对各省上报的高速公路通行数据进行质量审核，包管数据的有效性和完全性，对异常数据进行体系报警，提示数据治理人员进行响应处理。数据质量审核包含数据传输监控、数据异常情况预警、数据文件入库情况监控、数据动态监测等。

数据传输监控

数据传输过程监控功能监督ETL对象大年夜各省前置机采集数据以及数据大年夜各省向部传输的过程中是否存在数据损掉的情况。

基于大年夜数据技巧的全国高速公路通行数据动态监测平台扶植