高可用大数据计算服务如何持续发布和演进

MaxCompute

MaxCompute

大年夜数据计算办事 (MaxCompute) 是一种快速、完全托管的 PB/EB 级数据仓库办事。具备万台办事器扩大才能和跨地区容灾才能，是阿里巴巴内部核心大年夜数据寂?娼台，支撑每日百万级功课范围。

MaxCompute 是一种同一的大年夜数据寂?娼台， MaxCompute 向用户供给了完美的数据导入筹划以及多种经典的分布式计算模型，比如 SQL 、图计算、流计算和机械进修等，可以或许更快速的解决用户海量数据计算问题，有效降低企业成本，并保障数据安然。

MaxCompute 不只对阿里集团内部用户开放，也向外部开放。天猫、淘宝、蚂蚁金服等都在应用 MaxCompute ， MaxCompute 是阿里集团内部最关键的大年夜数据平台，今朝， MaxCompute 机械已经有五万多台，数据表是百万级以上，开辟者有 8000 多个，机能上是 hadoop2 倍等，大年夜数据上可以感触感染到 MaxCompute 是名副其实的海量大年夜数据平台，在业内能处理的数据量以及计算才能也是处于领先地位的。

那么，若何可以或许包管进级过程中没有大年夜的 Regression ?

那么，有什么好处呢?它可以：

批处理计算

批处理计算

今朝，对于阿里巴巴甚至业界来说， SQL 类型的批处理是最经典最广泛的应用了， SQL 批处理的流程如下：

用户提交一条类似 SQL 的脚本到 MaxCompute 后， MaxCompute 会对 SQL 脚本进行编译并优化，然后用 Runtime 运行。

大年夜数据计算办事

MaxCompute 要做大年夜数据计算的办事，并不像业界开源的 hadoop 、 spark 供给一套解决筹划，我们须要供给一个 365 (天) x24 (小时)的高靠得住，高可用的共享大年夜数据计算办事。

– 应用门槛大年夜大年夜降低，用户不消关怀运维进级等

– 共享细粒度应用资本，大年夜而做到低成本，高效力

大年夜数据计算办事强调稳定性，与持续成长之存放在天然的抵触。在一个稳定运行的大年夜数据计算办事上改进和宣布新功能就像“空中换车”，在高速飞翔的飞机上调换引擎而同时要保持安稳飞翔，个中的挑衅难度可想而知。

持续改进和宣布中的挑衅

MaxCompute 天天都有百万级功课。若何可以或许安稳安然，用户无感知的宣布新的功能?若何包管新版本的稳定性，没有 bug ，没有机能的回退?出现问题后若何可以或许快速止损等等?
面对外部用户，在测试时若何包管数据安然靠得住呢?

除了编译器和优化器外，别的有一个关键模块就是履行器。那么，若何包管 MaxCompute 运行器是精确履行的?避免在快速迭代中的┞俘确性问题，大年夜而避免重大年夜的变乱?同时，若何包管数据的安然性呢?

针对以上挑衅，我们提出在高可用办事下持续改进和宣布了以下技巧手段来克服：

– MaxCompute Playback 对象

– MaxCompute Flighting 对象

– MaxCompute 灰度上线，细粒度回滚

编译器Playback对象

MaxCompute 今朝主流的仍然是 SQL 类型应用，个中异常关键的模块就是编译优化器，我们须要快速进步我们编译器、优化器的表达才能，以及机能优化程度。

天天有 100 万 + 个 job ，天天都在变更，如不雅人工分析的话，每个 script 仅须要 2 分钟，须要91 人年，这是不实际的，所以，我们开辟了编译器 Playback 对象。

具体道理如下：

基于 MaxCompute 强大年夜而灵活的编沂攀扩大才能，编译器基于 AST 的编译器模型，应用了经典的 Visitor 模式。 SQL 脚本提交到体系后会将 SQL 脚本转化成抽象语法树，正常情况下的语法验证和分析等实现了标准的 visitor ， visitor 对应于 AST 的验证等扩大性是异常好的，除了标准的 visitor 参加后，还可以参加一些有针对性的检考验证抽象语法树的新 visitor ，将这些 visitor 加到语法树上，就可以验证新的编译器和优化器生成出来的各类各样的产出是否 OK ，以词攀来验证新的编译器和优化器的才能。

自我验证

全部验证过程如下：

Playback 对象用来解决编译器和优化器的测实验证功能，应用大年夜数据寂?娼台的运算才能来自我验证新的编译优化器。

1. 当用户提交一条 SQL 脚本发给 MaxCompute ，应用 MaxCompute 本身灵活数据处理说话来构造分析义务;

2. 应用 MaxCompute 本身超大年夜范围计算才能来并行分析海量用户义务，将一段时光用户功课抽出;

3. 应用 MaxCompute 灵活的 UDF 支撑且优胜的隔离筹划，在 UDF 中拉起待测的编译器进行编译，之后再进行具体的结不雅分析。

全部过程都在 MaxCompute 完美的安然体系保护下，保障用户的常识产权。

Playback 对象还有其它很丰富的感化，比如：

进行新版本的验证
1/2 1 2 下一页尾页

　　推荐阅读

　　理解深度学习的钥匙–参数篇

这是你所有看到的有关神经收集参数的懂得中最通俗易懂的一个了，公式也减到了起码，神经收集的专业人士绕道哦。固然这个例⼦应用了同样的进修速度(η = 0.15)，我们可以看到刚开>>>详细阅读

本文标题：高可用大数据计算服务如何持续发布和演进

地址：http://www.17bianji.com/lsqh/34850.html

1/2 1