精确制导找到触发新的优化规矩的 query ，验证其萌芽优化是否相符预期

在语义层面对于 query 进行整体数据分析

– 对响应的用户发 warning 推动用户下线过时的语法

– 对 query 整体进行分析来肯定下一步开辟的重点

– 评估新版本在萌芽优化在履行筹划上的进步程度

Flighting 对象

传统方法验证运行器，最经典的是用测试集群来验证，该方法验证的缺点如下：

开辟新功能后做回归，回归后宣布，开端时往往有新功能后，就进行验证，如不雅新功能是针对编译器、优化器，就用 playback 验证，针对 Runtime 就用 flighting 验证，所有测实验证停止后，就到灰度宣布阶段，直到所有义务百分百宣布上线后，我们就认为这一次开辟迭代是成功的，以词攀类推，一向的向前演进，既能包管办事靠得住稳定运行的同时，将我们的机能晋升，以知足用户的各类需求。

– 调剂或者 scalability 等方面的改进往往须要建立一个雷同范围的测试集群

• 没有响应的义务负载，无法构造对应场景
• 数据安然问题，使得我们须要脱敏的方法大年夜临盆集群拖数据

– 轻易工资忽视，造成数据泄漏风险

– 脱敏数据可能造采取户法度榜样 crash ，并且往往不克不及反竽暌钩用户运行场景

– 全部测试过程冗长，不克不及达到测试的目标

所以我们惹人了 flighting 对象来做测试和验证，将 99% 机械资本应用线上版本运行临盆功课，1% 机械资本竽暌姑来为法度榜样员上载的测试版本进行验证。

资本隔离

那么，怎么包管测实验证的功课不却竽暌拱响线上临盆的功课呢?这就须要我们完美资本隔离，具体包含：

• CPU/Memory: 加强 cgroup ，义务优先级
• Disk ：同一的存储治理，存储的优先级
• Network ： Scalable Traffic Control
• Quota 治理

所以我们可以或许在保障线上核心营业需求情况下进行 flighting 的测试。

数据安然

大年夜数据安然角度来说，我们的测试不须要人工干涉进行数据脱敏; Flighting 的义务的结不雅不落盘，而是直接对接分析义务产生测试申报：

– 结不雅精确性： MD5 计算，浮点等不肯定性类型的处理

– 履行机能的分析： straggler ， data-skew ， schedule quality

灰度上线

SQL 的关键模块如编译优化和履行都可以获得有效测试和验证，接下来就可以上线了，上线时也会有很大年夜风险，是以，我们实施灰度上线。按照义务的重要性进行分级，支撑细粒度宣布，并且支撑瞬时回滚，控制风险到最小。

【编辑推荐】

1. 打趣到实际，大年夜数据涉足文学研究–用数据模型分析莎翁著作
2. 大年夜数据在猜测性维修中的应用
3. 大年夜数据道场(HDP SandBox) 初探
4. 企业应用大年夜数据的三重境界：数据·分析·结不雅
5. 助你地点团队走上大年夜数据路途的六大年夜规矩

【义务编辑：枯木 TEL：（010）68476606】

MaxCompute 底层是由阿里自立开辟的盘古分布式存储体系和庖羲分布式调剂体系构成，在此基本上，我们也开辟了 MaxCompute 履行引擎， MaxCompute 是同一的大年夜数据寂?娼台，既能支撑传统经典的批处理，也支撑流计算、图计算、内存计算以及机械进修等，大年夜这个角度来看，MaxCompute 与 spark 定位异常类似;在此之上， MaxCompute 支撑灵活的说话，为了让用户可以或许无缝接入 MaxCompute ，我们也支撑开源体系很多多少的 API ，包含 spark API 和 Hive API 等。

　　推荐阅读

　　理解深度学习的钥匙–参数篇

这是你所有看到的有关神经收集参数的懂得中最通俗易懂的一个了，公式也减到了起码，神经收集的专业人士绕道哦。固然这个例⼦应用了同样的进修速度(η = 0.15)，我们可以看到刚开>>>详细阅读

本文标题：高可用大数据计算服务如何持续发布和演进

地址：http://www.17bianji.com/lsqh/34850.html

 1/2    1