Apache Pig TOKENIZE()函数.pdfVIP

Apache Pig TOKENIZE()函数 Pig Latin的 TOKENIZE() 函数⽤于在单个元组中分割字符串 （其中包含⼀组字），并 返回包含拆分操作输出的包 语法 下⾯给出了 TOKENIZE() 函数的语法 grunt TOKENIZE(expression [, field_delimiter]) 作为 TOKENIZE() 函数的分隔符，我们可以传递空格[] ，双引号[“] ，逗号 [,] ，括号 [()] ，星号[*] 例 假设在HDFS ⽬录 /pig_data/ 中有⼀个名为 student_details.txt 的⽂件，如下所⽰ 此 ⽂件包含学⽣的详细信息，如id ，姓名，年龄和城市 如果我们仔细观察，学⽣的姓 名包括⽤空格[]分隔的名字和姓⽒ student_details.txt 1,Rajiv Reddy,21,Hyderabad 2,siddarth Battacharya,22,Kolkata 3,Rajesh Khanna,22,Delhi 4,Preethi Agarwal,21,Pune 5,Trupthi Mohanthy,23,Bhuwaneshwar 6,Archana Mishra,23 ,Chennai 7,Komal Nayak,24,trivendram 8,Bharathi Nambiayar,24,Chennai 通过关系 student_details 将此⽂件加载到的Pig 中，如下所⽰ grunt student_details = LOAD hdfs://localhost:9 /pig_data/stud as (id:int, name:chararray, age:int, city :chararray); 拆分字符串 我们可以使⽤ TOKENIZE() 函数拆分字符串 作为⽰例，让我们使⽤此函数分割名 称，如下所⽰ grunt student_name_tokenize = foreach student_details Generate T 验证 使⽤ DU P 运算符验证关系 student_name_tokenize ，如下所⽰ grunt Dump student_name_tokenize; 输出 它将产⽣以下输出，显⽰关系 student_name_tokenize 的内容如下 ({(Rajaiv),(Reddy)}) ({(siddarth),(Battacharya)}) ({(Rajesh),(Khanna)}) ({(Preethi),(Agarwal)}) ({(Trupthi),(Mohanthy)}) ({(Archana),(Mishra)}) ({(Komal),(Nayak)}) ({(Bharathi),(Nambiayar)}) 其他分隔符 以同样的⽅式，TOKENIZE （）函数接受空格[] ，双引号[“] ，逗号[,] ，括号[()] ，星 号[*]作为分隔符 例 假设有⼀个名为 details.txt 的⽂件，其中包含学⽣的详细信息，如id ，name ，age和 cit 在名称列下，此⽂件包含由各种分隔符分隔的学⽣的名字和姓⽒，如下所⽰ details.txt 1,siddarthBattacharya,22,Kolkata 2,Rajesh*Khanna,22,Delhi 3,(Preethi)(Agarwal),21,Pune 使⽤关系 details 将此⽂件加载到Pig 中，如下所⽰ grunt details = LOAD hdfs://localhost:9 /pig_data/details.txt as (id:int, name:chararray, age:int, city :chararray); 现在，尝试使⽤TOKENIZE()分隔学⽣的名字和姓⽒如下 grunt tokenize_data = foreach details Generate TOKENIZE(name); 在使⽤dump运算符验证 tokenize_data 关系时，将获得以下结果 grunt Dump tokenize_data; ({(siddarth),(Battacharya)}) ({(Rajesh),(Khanna)}) ({(Preethi),(Agar