Spark源码分析之分区器的作用

int code = k.hashCode() % 1000;

System.out.println(k+":"+code);

return code < 0?code+1000:code;

}

@Override

public boolean equals(Object obj) {

if(obj instanceof MyPartioner){

if(this.numPartitions()==((MyPartioner) obj).numPartitions()){

return true;

}

return false;

}

return super.equals(obj);

}

应用的时刻，可以直接new一个对象即可。

pairRdd.groupbykey(new MyPartitioner())

如许自定义分区器就完成了。

def nonNegativeMod(x: Int, mod: Int): Int = { 
    val rawMod = x % mod 
    rawMod + (if (rawMod < 0) mod else 0) 
  }

【编辑推荐】

【义务编辑：武晓燕 TEL：（010）68476606】

　　推荐阅读

　　SDN能解决很多问题，但不包括安全

跟着数字化企业尽力寻求最佳安然解决筹划来保护其赓续扩大的收集，很多企颐魅正在寻求供给互操作性功能的下一代对象。软件定义收集(SDN)具有很多的优势，经由过程将多个设备的┞菲握平面整>>>详细阅读

地址：http://www.17bianji.com/lsqh/34919.html