大数据测试类型&大数据测试步骤

【限时免费】岁尾最强一次云计算大年夜会，看传统、社区、互联网企业若何碰撞？

一、什么是大年夜数据?

大年夜数据是一个大年夜的数据集合，经由过程传统的计算技巧无法进行处理。这些数据集的测试须要应用各类对象、技巧和框架进行处理。大年夜数据涉及数据创建、存储、检索、分析，并且它在数量、多样性、速度办法都很出色。

测试大年夜数据应用法度榜样更多的是验证其数据处理，而不是测试软件产品的个别功能。当涉及到大年夜数据测试时，机能和功能测试是关键。

在大年夜数据测试中，QA工程师应用集群和其他组件来验证对TB级数据的成功处理。因为处理异常快，所以它须要高程度的测试技能。处理可所以三种类型：批量、及时、交互。

与此同时，数据质量也是大年夜数据测试的一个重要身分。在测试应用法度榜样之前，有须要检查数据的质量，并将其视为数据库测试的一部分。它涉及检查各类字段，如一致性，精确性，反复，一致性，有效性，数据完全性等。

三、大年夜数据测试步调

下图给出了测试大年夜数据应用法度榜样阶段的高等概述：

大年夜数据测试实现被分成三个步。

Step 1：数据阶段验证

大年夜数据测试的第一步，也称作pre-hadoop阶段该过程包含如下验证：

1、来自各方面的数据资本竽暌功该被验证，来确保精确的数据被加载进体系

2、将源数据与推送到Hadoop体系中的数据进行比较，以确保它们匹配

3、验证精确的数据被提取并被加载到HDFS精确的地位

该阶段可以应用对象Talend或Datameer，进行数据阶段验证。

Step 2："MapReduce"验证

大年夜数据测试的第二步是MapReduce的验证。在这个阶段，测试者在每个节点长进行营业逻辑验证，然后在运行多个节点后验证它们，确保如下操作的┞俘确性：

1、Map与Reduce过程正常工作

2、在数据上实施数据聚合或隔离规矩

3、生成键值对

4、在履行Map和Reduce过程后验证数据

Step 3：输出阶段验证

大年夜数据测试的最后或第三阶段是输出验证过程。生成输出数据文件，同时把文件移到一个EDW(Enterprise Data Warehouse:企业数据仓库)中或着把文件移动到任何其他基于需求的体系中。在第三阶段的晃荡包含：

1、检查转换(Transformation)规矩被精确应用

2、检查数据完全性和成功的数据加载到目标体系中

3、经由过程将目标数据与HDFS文件体系数据进行比较来检查没稀有据破坏

数据采集和全部过程：在这个阶段，测试人员验证快速体系若何消费来自各类数据源的数据。测试涉及辨认队列在给准时光框架内可以处理的不合消息。它还包含若何快速将数据插入到底层数据存储中，例如插入到Mongo和Cassandra数据库中。

数据处理：它涉及验证履行萌芽或映射缩减功课的速度。它还包含在底层数据存储填充到数据集中时自力测试数据处理。例如，在底层HDFS上运行Map Reduce功课
子组件机能：这些体系由多个组件构成，并且必须零丁测试每个组件。例如，消息的索引和花费速度有多快，mapreduce功课，萌芽机能，搜刮等

Hadoop处理大年夜量的数据，并且是异常消费资本的。是以，架构测试对于确保您的大年夜数据项目标成功至关重要。体系设计欠妥或设计欠妥可能导致机能降低，体系不克不及知足请求。至少，机能和故障转移测试办事应当在Hadoop情况中完成。

机能测试包含测试功课完成时光，内存应用率，数据吞吐量和类似的体系指标。而故障转移测试办事的念头是为了验证在数据节点产生故障的情况下数据处理是否无缝地产生

五、机能测试

大年夜数据机能测试包含两个重要的行动

六、机能测试办法

大年夜数据应用机能测试涉及大年夜量构造豢?浊构造化数据的测试，并且须要特定的测试办法来测试这些海量数据。

四、架构测试

机能测试按此次序履行

1、过程大年夜设置要测试机能的大年夜数据群集开端

2、肯定和设计响应的工作量

3、预备小我客户(自定义脚本创建)

4、履行测试并分析结不雅(如不雅不知足目标，则调剂组件并从新履行)

机能测试须要验证的各类参数

1、数据存储：数据若何存储在不合的节点中

2、提交日记：许可增长的提交日记有多大年夜

3、并发性：有若干个线程可以履行写入和攫取操作

4、缓存：调剂缓存设置“行缓存”和“键缓存”。

5、超时：连接超时价，萌芽超时价等

4、测试情况：数据量大年夜，须要特别的测试情况

6、JVM参数：堆大年夜小，GC收集算法等

7、地图降低机能：排序，归并等

8、消息队列：消息速度，大年夜小等

测试情况需求

测试情况需求取决于您正在测试的应用法度榜样的类型。对于大年夜数据测试，测试情况应当包含

1、它应当有足够的空间来存储和处理大年夜量的数据

3、测试脚本：须要高度的脚本来设计测试场景和测试用例

2、它应当有分布式节点和数据的集群

3、它应当有最低的CPU和内存应用率，以保持高机能

1/2 1 2 下一页尾页

　　推荐阅读

　　数据化，从现实世界向虚拟世界的大迁徙，是一切的归宿

【限时免费】岁尾最强一次云计算大年夜会，看传统、社区、互联网企业若何碰撞？将来不知道是否“已来”，但可以肯定的是，将来已经越来越清楚可见。在人工智能、云计算和大年夜数据的驱动下，>>>详细阅读

本文标题：大数据测试类型&大数据测试步骤

地址：http://www.17bianji.com/lsqh/40281.html

1/2 1