手把手教你Spark性能调优

(4)经由过程履行日记分析机能瓶颈

最后的义务还须要一个小时，那章一?小时毕竟耗在哪了?按我的经验和懂得，一般单天的数据如不雅不是太大年夜，不涉及复杂迭代计算，不该该跨越半小时才对。

因为集群的 Spark History Server 还没安装调试好，没法经由过程 spark web UI 查看汗青义务的可视化履行细节，所以我写了个小脚本分析了下前后具体的计算耗时信息，可以一目了然的看到是哪个 stage 的问题，有针对性的优化。

可以看到优化后的瓶颈重要在最后写 redis 的阶段，要把 60G 的数据，25亿条结不雅写入 redis，这对 redis 来说是个挑衅，这个就只能大年夜写入数据量和 kv 数据库选型两个角度来竽暌古化了。

手把手教你Spark机能调优

当然，优化和高机能是个很泛、很有挑衅的话题，除了前面提到的代码、参数层面，还有如何防止或削减数据倾斜等，这都须要针对具体的场景和日记来分析，此处也不展开。

2、spark 初学者的一些误区

对于初学者来说 spark 貌似无所不克不及并且高机能，甚至在某些博客、技恋人眼里 spark 代替 mapreduce、hive、storm 分分钟的工作，是大年夜数据批处理、机械进修、及时处理等范畴的银弹。但事实确切如斯吗?

大年夜膳绫擎这个 case 可以看到，会用 spark、会调 API 和能用好 spark，用的适可而止是两码事，这请求咱们不仅懂得其道理，还要懂得营业场景，将合适的技巧筹划、对象和合适的营业场景结合——这世上本就不存在什么银弹。。。

说道 spark 的机能，想要它快，就得充分应用好体系资本，尤其是内存和CPU：核心思惟就是能用内存 cache 就别 spill 落磁盘，CPU 能并行就别串行，数据能 local 就别 shuffle。

别手握屠龙宝刀，却竽暌姑来切水不雅，还嫌晦气索。:)

1、优化思路

【编辑推荐】

【义务编辑：未丽燕 TEL：（010）68476606】

　　推荐阅读

　　如何学习分布式系统？一文全Get！

沙龙晃荡 | 去哪儿、陌陌、ThoughtWorks在主动化运维中的实践！10.28不见不散！文┞仿的大年夜致构造：第一部分，分布式体系的根本概念;第二、三部分分别具体阐述数据存储和数据计算体系;>>>详细阅读

地址：http://www.17bianji.com/lsqh/38089.html