問題描述

使用hadoop查找文件中是否含有某些字符串，也就是要查找出set(string)中每個(gè)string對應(yīng)的那一行，每條數(shù)據(jù)都不重復(fù)，請問怎么可以快速的找到呢？我寫了簡單的

# map.shawk -F '03' ’$3==xxx{print $0}’ -

結(jié)果慢的要死，一直動(dòng)不都不懂，請問有快點(diǎn)的辦法嗎？最好是可以一次性找出集合中所有的

問題解答

這個(gè)寫MR吧，如果你想省事就把數(shù)據(jù)導(dǎo)入到hive中，用sql 來解決