借hbase-rdd二次开发谈如何在Spark Core之上扩建自己的模块

implicit def toHBaseRDDSimpleTS[A](rdd: RDD[(String, Map[String, (A, Long)])])(implicit writer: Writes[A]): HBaseWriteRDDSimple[(A, Long)] =new HBaseWriteRDDSimple(rdd, pa[A])

这两个办法在发明RDD膳绫腔有toHbase办法时会主动测验测验调用，大年夜隐式定义中测验测验找到解决筹划，测验测验之后发明有定义toHBaseRDDSimple隐式办法，于是调用该隐式办法新建HBaseWriteRDDSimple类，返回hBaseWriteRDDSimple，而在hBaseWriteRDDSimple对象中是有toHbase办法的，是以在惹人hbase-rdd之后，可以发明本来没有toHbase办法的RDD上有toHbase办法了。这一切都要归功于Scala强大年夜的隐式转换功能。

那明白了道理，是否我们可以基于RDD写本身的模块，说干就干!

traitHaha{ 
implicitdef gaga[A](rdd: RDD[String]): Hehe= 
newHehe(rdd) 
}

第二步：新建Hehe类

final  class Hehe(rdd:RDD[String]) { 
def wow(tableName:String,family:String): Unit ={ 
println("---------------------------------------------") 
println("tableName:"+tableName+" - family:"+family) 
println("size:"+rdd.count()) 
rdd.collect().foreach(data=http://developer.51cto.com/art/201704/>println(data)) 
println("---------------------------------------------") 
   } 
}

第三步：新建包对象

package object test extends Haha

第四步：新建test类

object Test{ 
def main(args: Array[String]) { 
valsparkConf = new SparkConf().setAppName("Test") 
valsc = new SparkContext(sparkConf) 
sc.makeRDD(Seq("one","two","three","four")).wow("taskDataPre","T") 
  } 
}