Hive中正则rlike的用法实战

Python08

Hive中正则rlike的用法实战,第1张

项目需求:判断标签值是否符合某一正则规律,不符合则筛选出来

例如:标签值为:文字类型,需要用文字正则去匹配;手机号类型:正则去匹配;自定义类型:根据实际情况去匹配;

rlike(a.tag_value,a.check_rule)=false

注意:a.check_rule应该是正则表达式,而不是字段名。但想从hive表中字段的值中去获取的正则表达式,则需要注意什么地方呢?从字段值中获取正则表达式,可以更灵活的校验不同的标签值。

java的正则在hive也可使用,只是需要转义,因此,这里有特别需要注意的细节,就是特殊字符转义加单斜线还是双斜线,全网没人说明白这个问题,而且rlike正则写错,hive也不报错,经实践得出如下结论:

1.a.check_rule这里直接用字符串写死,则用双斜线转义;

2.a.check_rule这里的正则如果是从hive表中获取,则用单斜杠转义;hive在翻译sql表达式时,可明确看出:hive表中的单斜杠转义,会被自动转化为双斜杠进行匹配,也就是说hive表中单斜杠转义提取的时候变成双斜杠,大家注意下。

建议使用排序解决这一问题:单击表格中任何一个有数据的单元格,也就是选中数据清单,然后打开“数据”菜单,选择“排序”,在弹出的对话框中,设置“主要关键字”为要查找相同内容的列标题(如“姓名”),确定,之后表格中的数据相同的记录就会排列在一起。