hadoop - 使用python hdfs模塊或者其他類似模塊過濾HDFS上的日志日志內容
問題描述
目前公司使用HDFS存儲各個節點服務器上傳的日志。因為歷史遺留問題,所以日志比較混雜。就是各種數據都會存入日志中。一個日志文件200mb左右。有時候要過濾一些內容,則需要根據時間戳,然后使用hdfs 的cat命令,之后再grep關鍵字。再通過stdin輸入到一個python腳本中,把相關的數據做一些處理?,F在我想把他做成輸入要查詢的時間、節點、關鍵字以及匹配模型,然后一條龍完成這個任務。這樣就可以把這個小工具推向所有需求數據的人,而不是每次讓運維來查詢。于是開始研究python的相關模塊,這個hdfs可以上傳下載,查詢目錄文件內容。但是到讀這塊,就比較麻煩了。with client.read(hdfs_path=.....,其他參數)as reader:
content = reader.read()然后再對content處理
這種方式并不可行,因為一次要匹配的內容實在太多,大概有幾gb的數據,根本不可能全部讀出來然后再做處理??隙ǖ迷谧x的過程就進行篩選和處理
我嘗試了for line in content,也匹配不出內容。應該如何解決這個問題呢?難道用python把符合條件的文件路徑記錄下來,然后再執行HDFS命令,再把匹配的數據傳入python?那樣也顯得太麻煩了,而且穩定性肯定不好
后來我看了一下,hdfs這個模塊,創建客戶端的時候,連的是hadoop 50070這個web管理頁面,想了下是不是這個模塊本身就不是為了做數據分析用的?希望各位能給點幫助
問題解答
回答1:多線程呢,并行計算呢?你這樣一次性讀幾個Gb自然慢。既然是hadoop框架,用好mapreduce應該就行了吧。這玩意應該就不是為了快速而設計的。
相關文章:
1. node.js - mysql如何通過knex查詢今天和七天內的匯總數據2. mysql 插入數值到特定的列一直失敗3. 360瀏覽器與IE瀏覽器有何區別???4. Python從URL中提取域名5. mysql - 百萬行的表中是否盡量避免使用update等sql語句?6. python - 在使用Pycharm時經??吹饺缦碌臉邮?,小括號里紅色的部分是什么意思呢?7. javascript - 新浪微博網頁版的字數限制是怎么做的8. 怎么在網頁中設置圖片進行左右滑動9. javascript - 豆瓣的這個自適應是怎么做的?10. javascript - 用jsonp抓取qq音樂總是說回調函數沒有定義
