Hive、MapReduce、Spark分布式生成唯一数值型ID

在实际营业场景下，经常会碰到在Hive、MapReduce、Spark中须要生成独一的数值型ID。

一般常用的做法有：

MapReduce中应用1个Reduce来生成;

Hive中应用row_number分析函数来生成，其实也是1个Reduce;

数据量不大年夜的情况下，可以直接应用1和2办法来生成，但如不雅数据量巨大年夜，1个Reduce处理起来就异常慢。

在数据量异常大年夜的情况下，如不雅你仅仅须要独一的数值型ID，留意：不是须要”持续的独一的数值型ID”，那么可以推敲采取本文中介绍的办法，不然，请应用第3种办法来完成。

Spark中生成如许的非持续独一数值型ID，异常简单，直接应用zipWithUniqueId()即可。

参考zipWithUniqueId()的办法，在MapReduce和Hive中，实现如下：

借助HBase或Redis或Zookeeper等其它框架的计数器来生成;

下面的UDF可以在Hive中直接应用：

在Spark中，zipWithUniqueId是经由过程应用分区Index作为每个分区ID的开端值，在每个分区内，ID增长的步长为该RDD的分区数，那么在MapReduce和Hive中，也可以照此思路实现，Spark中的分区数，即为MapReduce中的Map数，Spark分区的Index，即为Map Task的ID。Map数，可以经由过程JobConf的getNumMapTasks()，而Map Task ID，可以经由过程参数mapred.task.id获取，格局如：attempt_1478926768563_0537_m_000004_0，朝长进步m_000004_0中的4，再加1，作为该Map Task的ID肇端值。留意：这两个只均须要在Job运行时才能获取。别的，大年夜图中也可以看出，每个分区/Map Task中的数据量不是绝对一致的，是以，生成的ID不是持续的。

package com.lxw1234.hive.udf; 
  
import org.apache.hadoop.hive.ql.exec.MapredContext; 
import org.apache.hadoop.hive.ql.exec.UDFArgumentException; 
import org.apache.hadoop.hive.ql.metadata.HiveException; 
import org.apache.hadoop.hive.ql.udf.UDFType; 
import org.apache.hadoop.hive.ql.udf.generic.GenericUDF; 
import org.apache.hadoop.hive.serde2.objectinspector.ObjectInspector; 
import org.apache.hadoop.hive.serde2.objectinspector.primitive.PrimitiveObjectInspectorFactory; 
import org.apache.hadoop.io.LongWritable; 
  
@UDFType(deterministic = false, stateful = true) 
public class RowSeq2 extends GenericUDF { 
     
    private static LongWritable result = new LongWritable(); 
    private static final char SEPARATOR = '_'; 
    private static final String ATTEMPT = "attempt"; 
    private long initID = 0l; 
    private int increment = 0; 
     
     
    @Override 
    public void configure(MapredContext context) { 
        increment = context.getJobConf().getNumMapTasks(); 
        if(increment == 0) { 
            throw new IllegalArgumentException("mapred.map.tasks is zero"); 	
			 1/4    1 2 3 4 下一页 尾页	
			

　　推荐阅读
　　软件开发人员的编程障碍，你知道多少？
            
            没有人知足Java开辟人员这种已经“竭尽全力”改变世界的速度，每小我都欲望代码像消防水管里的水一样可以或许源源赓续地流出来，但没有人愿意供给给开辟人员更好地完成工作的前>>>详细阅读


本文标题：Hive、MapReduce、Spark分布式生成唯一数值型ID
地址：http://www.17bianji.com/lsqh/34744.html
 1/2    1