Hive、MapReduce、Spark分布式生成唯一数值型ID

}

initID = getInitId(context.getJobConf().get("mapred.task.id"),increment);

if(initID == 0l) {

throw new IllegalArgumentException("mapred.task.id");

}

System.out.println("initID : " + initID + " increment : " + increment);

}

@Override

public ObjectInspector initialize(ObjectInspector[] arguments)

throws UDFArgumentException {

return PrimitiveObjectInspectorFactory.writableLongObjectInspector;

}

@Override

public Object evaluate(DeferredObject[] arguments) throws HiveException {

result.set(getValue());

increment(increment);

return result;

}

@Override

public String getDisplayString(String[] children) {

return "RowSeq-func()";

}

private synchronized void increment(int incr) {

initID += incr;

}

private synchronized long getValue() {

return initID;

}

//attempt_1478926768563_0537_m_000004_0 // return 0+1

private long getInitId (String taskAttemptIDstr,int numTasks)

throws IllegalArgumentException {

try {

String[] parts = taskAttemptIDstr.split(Character

　　推荐阅读

　　软件开发人员的编程障碍，你知道多少？

没有人知足Java开辟人员这种已经“竭尽全力”改变世界的速度，每小我都欲望代码像消防水管里的水一样可以或许源源赓续地流出来，但没有人愿意供给给开辟人员更好地完成工作的前>>>详细阅读

地址：http://www.17bianji.com/lsqh/34744.html