python把第x列數(shù)據(jù)寫入第x個文件
問題描述
Python爬蟲一共需要爬取65頁數(shù)據(jù),每頁數(shù)據(jù)的列數(shù)不確定。現(xiàn)在我能把每一列的數(shù)據(jù)抓下來,但是因為列數(shù)不確定,寫入的文件名就不能確定。問題在于怎么才能把第x列數(shù)據(jù)寫入第x個文件。也就是如何才能動態(tài)選擇file=的文件名。代碼如下:
f_1 = open(’fitment/1.txt’, ’a’)f_2 = open(’fitment/2.txt’, ’a’)f_3 = open(’fitment/3.txt’, ’a’)for i in range(66): pr = random.choice(proxy) url = ’https://*****’ + str(i) + ’****’ page_url = requests.get(url, headers=head, proxies=pr) page_get = page_url.text page_text = BeautifulSoup(page_get, ’lxml’) fitment_1 = page_text.find_all(’tr’, {’class’: ’fitment listRowEven’}) for each_tag_1 in fitment_1:td_text_1 = each_tag_1.find_all(’td’)for x in range(len(td_text_1)+1): print(td_text_1[x].string, file=)
網(wǎng)頁的結構類如下,每個tr標簽即為一列,具體要抓取的數(shù)據(jù)位于每個td標簽內
<tr> <td>...</td> <td>...</td> <td>...</td> <td>...</td></tr><tr> <td>...</td> <td>...</td> <td>...</td> <td>...</td></tr>
問題解答
回答1:先不要定義好open文件對象,可以根據(jù)列數(shù)打開相應的文件操作
with open(’列數(shù).txt’, ’a’) as f: f.write(’內容’)
相關文章:
1. node.js - mysql如何通過knex查詢今天和七天內的匯總數(shù)據(jù)2. mysql 插入數(shù)值到特定的列一直失敗3. 360瀏覽器與IE瀏覽器有何區(qū)別???4. Python從URL中提取域名5. mysql - 百萬行的表中是否盡量避免使用update等sql語句?6. python - 在使用Pycharm時經(jīng)常看到如下的樣式,小括號里紅色的部分是什么意思呢?7. javascript - 新浪微博網(wǎng)頁版的字數(shù)限制是怎么做的8. 怎么在網(wǎng)頁中設置圖片進行左右滑動9. javascript - 豆瓣的這個自適應是怎么做的?10. javascript - 用jsonp抓取qq音樂總是說回調函數(shù)沒有定義
