国产成人精品久久免费动漫-国产成人精品天堂-国产成人精品区在线观看-国产成人精品日本-a级毛片无码免费真人-a级毛片毛片免费观看久潮喷

您的位置:首頁技術文章
文章詳情頁

Python 使用xlwt模塊將多行多列數據循環寫入excel文檔的操作

瀏覽:54日期:2022-07-05 18:38:14

我就廢話不多說了,大家還是直接看代碼吧~

#!/usr/bin/python# -*- coding: utf-8 -*-import xlwtimport redef host_regex(dataline): host_regex = r'<host>(.*?)</host>' host = re.findall(host_regex, dataline) if host: return host[0]def ip_regex(dataline): ip_regex = r'<ip>(.*?)</ip>' ip = re.findall(ip_regex, dataline) if ip: return ip[0]with open('zbx_export_hosts.xml', 'r', encoding='utf8') as f: lines = f.readlines() alldatas = [] hostlist = [] iplist = [] for line in lines: host = host_regex(line) ip = ip_regex(line) if host is not None: hostlist.append(host) if ip is not None: iplist.append(ip) hosts_ip = [] # 構造數據結構,形如:[[a,b],[c,d],...] multi_list = map(list, zip(hostlist, iplist)) for multi in multi_list: hosts_ip.append(multi) workbook = xlwt.Workbook() worksheet = workbook.add_sheet(’test’) # 關鍵代碼 for hi in enumerate(hosts_ip): for num in range(len(hi[1])): # 行、列、值 worksheet.write(hi[0], num, hi[1][num]) workbook.save(’excelwrite.xls’)

PS:其實有兩行代碼冗余,就不刪了!

補充知識:通過python寫入xlsx大量數據問題簡述

以前批處理生成數據文件都是通過c程序直接按照逗號分隔方式寫文本文件以csv保存的。但是由于有些處理的數據表直接給業務人員看,業務人員習慣使用xls,因此提了些需求改造,對于一些小于100w的數據均要求改為xlsx文件格式的報表。

考慮報表文件數據處理便捷,因此決定用python實現,最初使用了openpyxl庫,這個python庫擁有非常強大的xlsx的讀寫api,能夠很方便的實現讀寫。但是在實際使用中發現在處理較大行數的xlsx時,占用內存非常嚴重,8個字段50w行數據在運行中內存高達10G,這不是我們應用服務器能夠接受的范圍。

因此尋求改善,在網上了解后,發現創建xlsx表時,指定write_only參數是openpyxl提供的大數據寫入解決方案,以下摘自官網范例,在選擇了此參數后,無法通過ws.cell(row=i, column=j).value = ? 的方式復制,只能通過append的方式追加行。關于設置只寫cell設置樣式,可以直接查看官網

>>> from openpyxl import Workbook>>> wb = Workbook(write_only=True)>>> ws = wb.create_sheet()>>>>>> # now we’ll fill it with 100 rows x 200 columns>>>>>> for irow in range(100):... ws.append([’%d’ % i for i in range(200)]) #可以先將一行的數據寫在一個list中,直接ws.append(list)>>> # save the file>>> wb.save(’new_big_file.xlsx’) # doctest: +SKIP

不過僅僅按上述范例修改write_only跑數時發現內存占用并沒有緩解,再仔細閱讀官網說明時才發現這么一句話“When you want to dump large amounts of data make sure you have lxml installed.”原來在openpyxl安裝時,并沒有把lxml作為強依賴,只是一個可選包,然后查實發現確實服務器上并沒有安裝lxml包。

于是與為了解決這個問題先在測試環境上安裝lxml,安裝過程也不是很順利。

首先先要裝libxml2以及libxslt,因為沒有root權限,均為源碼安裝,且只能安裝在用戶目錄。需要注意的是libxml2在安裝時需要--with-python=’python安裝目錄’,libxslt安裝的時候需要指定libxml2安裝目錄。

尤其最后的lxml安裝也是坑挺多的,主要是指定libxml2和libxslt,安裝lxml時先python3 setup.py build_ext -i -I${libxml2includepath} -L${libxml2libpath} -I${libxsltincludepath} -L${libxsltlibpath} ,再python3 setup.py install。

全部安裝完之后,確實openpyxl寫xlsx不再增加內存,先在tmp目錄一個臨時文件中寫,待調用save方法時,保存到正式文件。

此外在這個問題解決中,還了解到writexlsx庫也可以處理大文件xlsx的寫入,并且安裝沒有這么多的依賴,其實還是非常推薦,也很簡介,官網有介紹。

操作大文件時指定{’constant_memory’: True}即可。

filename = ’test.xlsx’wb = xlsxwriter.Workbook(filename, {’constant_memory’: True})ws = wb.add_worksheet(’大文件’)i = 0data= []data.append(’中文’)data.append(1323)data.append(’abc’)ws.write_row(i, 0, data)i = i + 1wb.close() #直接關閉即可,不需要額外save

以上這篇Python 使用xlwt模塊將多行多列數據循環寫入excel文檔的操作就是小編分享給大家的全部內容了,希望能給大家一個參考,也希望大家多多支持好吧啦網。

標簽: python
相關文章:
主站蜘蛛池模板: 成人中文字幕一区二区三区 | 男女无遮掩做爰免费视频软件 | 国产成人毛片亚洲精品不卡 | 欧美精品免费线视频观看视频 | 视频一区二区三区在线 | 久久国产欧美另类久久久 | 抱着cao才爽免费观看 | 国产伦一区二区三区四区久久 | 国内国外精品一区二区 | 免费一级欧美大片视频在线 | 久久久精品在线观看 | 99久久国产综合精品网成人影院 | 国产欧美一区二区久久 | 深夜福利国产福利视频 | aaa一级特黄| 欧美精品另类 | 91精品国产爱久久久久 | av大片| 日韩在线视频线视频免费网站 | 欧美高清正版在线 | 网红毛片| 美女黄视频网站 | 国产美女又黄又爽又色视频免费 | 日本一级毛片视频无遮挡免费 | 亚洲欧美日韩国产综合 | 99爱在线观看精品视频 | 欧美精品免费在线 | 亚洲三级理论 | 美女扒开腿让男人桶 | 99久久精品一区二区三区 | 朝鲜一级毛片 | 日本免费一区二区三区视频 | 亚洲高清国产一区二区三区 | 国产精品久久久久久亚洲伦理 | 日韩精品欧美激情国产一区 | 欧美三级免费网站 | 成人免费视频社区 | 深夜福利视频在线观看免费视频 | 91一区二区视频 | 久久国产精品成人免费 | 一区二区三区精品视频 |