国产成人精品久久免费动漫-国产成人精品天堂-国产成人精品区在线观看-国产成人精品日本-a级毛片无码免费真人-a级毛片毛片免费观看久潮喷

您的位置:首頁技術文章
文章詳情頁

hadoop - 使用python hdfs模塊或者其他類似模塊過濾HDFS上的日志日志內容

瀏覽:107日期:2022-06-28 15:26:32

問題描述

目前公司使用HDFS存儲各個節點服務器上傳的日志。因為歷史遺留問題,所以日志比較混雜。就是各種數據都會存入日志中。一個日志文件200mb左右。有時候要過濾一些內容,則需要根據時間戳,然后使用hdfs 的cat命令,之后再grep關鍵字。再通過stdin輸入到一個python腳本中,把相關的數據做一些處理?,F在我想把他做成輸入要查詢的時間、節點、關鍵字以及匹配模型,然后一條龍完成這個任務。這樣就可以把這個小工具推向所有需求數據的人,而不是每次讓運維來查詢。于是開始研究python的相關模塊,這個hdfs可以上傳下載,查詢目錄文件內容。但是到讀這塊,就比較麻煩了。with client.read(hdfs_path=.....,其他參數)as reader:

content = reader.read()然后再對content處理

這種方式并不可行,因為一次要匹配的內容實在太多,大概有幾gb的數據,根本不可能全部讀出來然后再做處理??隙ǖ迷谧x的過程就進行篩選和處理

我嘗試了for line in content,也匹配不出內容。應該如何解決這個問題呢?難道用python把符合條件的文件路徑記錄下來,然后再執行HDFS命令,再把匹配的數據傳入python?那樣也顯得太麻煩了,而且穩定性肯定不好

后來我看了一下,hdfs這個模塊,創建客戶端的時候,連的是hadoop 50070這個web管理頁面,想了下是不是這個模塊本身就不是為了做數據分析用的?希望各位能給點幫助

問題解答

回答1:

多線程呢,并行計算呢?你這樣一次性讀幾個Gb自然慢。既然是hadoop框架,用好mapreduce應該就行了吧。這玩意應該就不是為了快速而設計的。

標簽: Python 編程
相關文章:
主站蜘蛛池模板: 国产成人午夜性a一级毛片 国产成人午夜性视频影院 国产成人香蕉久久久久 | 国产精品99久久久久久小说 | 美女黄频免费观看 | 国产亚洲一欧美一区二区三区 | 国产久草在线 | 99re免费99re在线视频手机版 | 99re66热这里只有精品免费观看 | 天天澡天天碰天天狠伊人五月 | 一级特黄aaa大片在 一级特黄aaa大片在线观看 | 久久99久久精品久久久久久 | 免费五级在线观看日本片 | 国产盗摄视频 | 特黄日韩免费一区二区三区 | 亚洲精品成人一区二区aⅴ 亚洲精品成人一区二区www | 99视频在线看 | 欧美毛片aaa激情 | 国产一区二区fc2ppv在线播放 | 久草在线免费资源 | 久久国产成人精品 | 98国内自拍在线视频 | 国产在视频线在精品 | 国产精品亚洲专一区二区三区 | 久久怡红院 | 韩国一级片视频 | 免费一级 一片一毛片 | 国内偷自第一二三区 | 精品欧美成人bd高清在线观看 | 国产福利精品在线观看 | 韩国美女一区二区 | 黄色三级欧美 | 亚洲欧美日韩中文字幕在线一区 | 不卡午夜视频 | 九九热视频在线播放 | 久热精品男人的天堂在线视频 | 欧美一区二区三区男人的天堂 | 色综合久久一本首久久 | 午夜主播福利视频在线观看 | 欧美一级带 | 国产一区二区三区在线免费观看 | 国产一区二区三区在线免费观看 | 亚洲免费a|