用java写hive的rownumber函数

最新推荐文章于 2024-07-24 17:05:44 发布

原创最新推荐文章于 2024-07-24 17:05:44 发布 · 980 阅读

1 ·

本内容遵循CC 4.0 BY-SA版权协议

收录于

hive

本文介绍了如何在Hive中利用Java编写UDF来实现rownumber功能。通过添加自定义jar包并创建临时函数，可以在查询时为每个sessionid分配行号，从而对数据进行排序和分组。

hive支持java写udf、udaf、udtf，可以用udf实现rownumber。

本文参考了：

http://blog.sina.com.cn/s/blog_6ff05a2c0100tl36.html

http://blog.sina.com.cn/s/blog_6ff05a2c01017myn.html

使用例子：

hive> add jar/data/sysdir/hive-0.7.1/udf/hiveext.jar;

hive> createtemporary function rownumber as 'com.some.hive.RowNumber';

hive> select * from testlog;

1401 session1 url1 s1

1405 session2 url2 s2

1410 session1 url2 s2

1411 session2 url1 s1

1420 session2 url3 s2

hive> select dates,sessionid,url,s,rownumber(sessionid) from (select * from testlog distribute by sessionid sort by sessionid,dates) a;

1401 session1 url1 s1 1

1410 session1 url2 s2 2

1405 session2 url2 s2 1

1411 session2 url1 s1 2

1420 session2 url3 s2 3

package com.some.hive;
import org.apache.hadoop.hive.ql.exec.UDF;
import org.apache.hadoop.hive.ql.udf.UDFType;
@UDFType(deterministic = false)
public class Row_Number extends UDF {
	private static int MAX_VALUE = 50;
	private static String comparedColumn[] = new String[MAX_VALUE];
	private static int rowNum = 1;
	public int evaluate (Object ...args){
		String columnValue[] = new String[args.length];
		for(int i=0;i<args.length;i++)
			columnValue[i] = args[i].toString();
		if (rowNum == 1) {
			for(int i=0;i<columnValue.length;i++)
				comparedColumn[i] = columnValue[i];
		}
		for(int i=0;i<columnValue.length;i++) {
			if ( !comparedColumn[i].equals(columnValue[i]) ) {
				for (int j=0;j<columnValue.length;j++) {
					comparedColumn[j] = columnValue[j];
				}
				rowNum = 1;
				return rowNum++;
			}
		}
		return rowNum++;
	}
}