問題描述

我新手寫的代碼，用來處理爬蟲下來的htm文件內(nèi)容,雖然解決問題，但是會(huì)有遺漏文件不處理。爬蟲是爬一些文章的網(wǎng)站下來的，和網(wǎng)頁另存為沒什么區(qū)別。

想大神們幫我看看我的代碼，怎么優(yōu)化不會(huì)有遺漏。比較小白的代碼，麻煩了！！！

# -*- coding: utf-8 -*import reimport globfilename_list = glob.glob(’*.html’)for i in filename_list: txt = '' with open(i, 'r') as htmfile:txt = htmfile.read() scdy = r'<hr[sS]*?<hr' onedotxt = re.findall(scdy, txt) if onedotxt:r = onedotxt[0] twotxt=re.sub(’<[^>]*>’, ’’, r) threetxt=re.sub(’<hr’, ’’, twotxt) fourtxt=re.sub(’&#8217;’, ’’, threetxt) fivetxt=re.sub(’&#8221;’, ’'’, fourtxt) sixtxt=re.sub(’&#8220;’, ’'’, fivetxt)endstr=re.sub(’&#8211;’, ’-’, sixtxt) name = endstr.split(’n’)[1] with open(name+'.txt', 'w') as wf: wf.write(endstr)

問題解答

filename_list = glob.glob(’.html’) + glob.glob(’.htm’)