文章詳情頁
java - hadoop數據查找
瀏覽：126日期：2024-02-06 11:45:32
問題描述
使用hadoop查找文件中是否含有某些字符串，也就是要查找出set(string)中每個string對應的那一行，每條數據都不重復，請問怎么可以快速的找到呢？我寫了簡單的
# map.shawk -F '03' ’$3==xxx{print $0}’ -
結果慢的要死，一直動不都不懂，請問有快點的辦法嗎？最好是可以一次性找出集合中所有的
問題解答
回答1：這個寫MR吧，如果你想省事就把數據導入到hive中，用sql 來解決
標簽：
java
相關文章：
1. mysql - 請問數據庫字段為年月日，傳進的參數為月，怎么查詢那個月所對應的數據2. node.js - win 下 npm install 遇到了如下錯誤 會導致 無法 run dev么？3. javascript - js判斷一個數組是否重復4. 求救一下，用新版的phpstudy，數據庫過段時間會消失是什么情況？5. [python2]local variable referenced before assignment問題6. Python2中code.co_kwonlyargcount的等效寫法7. html - 移動端radio無法選中8. php - 微信開發驗證服務器有效性9. javascript - vue+iview upload傳參失敗 跨域問題后臺已經解決 仍然報403，這是怎么回事啊？10. mysql - 如何在有自增id的情況下，讓其他某些字段能不重復插入
排行榜
網公網安備