目錄前言1. HLS協(xié)議與m3u8文件3. 合成mp4文件4. 完整代碼5. 結束語前言

  在網(wǎng)上爬取的小視頻(.ts格式)打不開怎么搞？使用IDM下載有時候還會出現(xiàn)數(shù)據(jù)受法律保護，IDM無法下載該內容，如何解決？這篇博客就來聊聊如何正確提取m3u8文件里的.ts視頻，并合成完整的.mp4格式視頻。

1. HLS協(xié)議與m3u8文件

  HLS，即 H T T P L i v e S t r e a m i n g HTTP Live Streaming HTTP Live Streaming的縮寫，是由蘋果公司提出基于HTTP的流媒體網(wǎng)絡傳輸協(xié)議。是蘋果公司QuickTime X和iPhone軟件系統(tǒng)的一部分。它的工作原理是把整個流分成一個個小的基于HTTP的文件來下載，每次只下載一些。當媒體流正在播放時，客戶端可以選擇從許多不同的備用源中以不同的速率下載同樣的資源，允許流媒體會話適應不同的數(shù)據(jù)速率。在開始一個流媒體會話時，客戶端會下載一個包含元數(shù)據(jù)的擴展 M3U (m3u8) 播放列表文件，用于尋找可用的媒體流。  M3U8是 U n i c o d e Unicode Unicode 版本的 M3U，用 UTF-8 編碼。'M3U'和'M3U8'文件都是蘋果公司使用的 H T T P L i v e S t r e a m i n g HTTP Live Streaming HTTP Live Streaming 格式的基礎，這種格式可以在 iPhone 和 Macbook 等設備播放。是一種播放多媒體列表的文件格式，文本內容是一系列媒體片段資源，順序播放該片段資源，即可完整展示多媒體資源。其格式大致如下：

# 未加密#EXTM3U#EXT-X-VERSION:3#EXT-X-TARGETDURATION:8#EXT-X-MEDIA-SEQUENCE:0#EXTINF:4.000000,1af12fece7a000000.ts#EXTINF:4.320000,1af12fece7a000001.ts...#EXTINF:3.800000,1af12fece7a001155.ts#EXT-X-ENDLIST# 加密#EXTM3U#EXT-X-VERSION:3#EXT-X-TARGETDURATION:6#EXT-X-PLAYLIST-TYPE:VOD#EXT-X-MEDIA-SEQUENCE:0#EXT-X-KEY:METHOD=AES-128,URI='https://ts1.yuyuangewh.com:9999/20200808/1XdSSbTb/2000kb/hls/key.key'#EXTINF:3,https://ts1.yuyuangewh.com:9999/20200808/1XdSSbTb/2000kb/hls/EUtRrqJU.ts#EXTINF:4.72,https://ts1.yuyuangewh.com:9999/20200808/1XdSSbTb/2000kb/hls/HF90vrrN.ts...#EXTINF:0.24,https://ts1.yuyuangewh.com:9999/20200808/1XdSSbTb/2000kb/hls/b7ZLcRqT.ts#EXT-X-ENDLIST

  中文維基百科----HTTP Live Streaming  中文維基百科----M3U

  下面介紹幾個m3u8文件中常見的標簽：

標簽 格式 作用 EXTM3U #EXTM3U 表明該文件是一個m3u8文件，每個m3u8文件必須將該標簽放置在第一行 EXT-X-VERSION EXT-X-VERSION:<number> 表明該文件是一個m3u8文件，每個m3u8文件必須將該標簽放置在第一行 EXT-X-TARGETDURATION #EXT-X-TARGETDURATION:<s> 表示每個視頻分段最大的時長（單位秒） EXT-X-PLAYLIST-TYPE #EXT-X-PLAYLIST-TYPE:<type-enum> 表明流媒體類型，VOD 表示該視屏流為點播源，因此服務器不能更改該m3u8文件；EVENT表示該視頻流為直播源，因此服務器不能更改或刪除該文件任意部分內容，但是可以在文件末尾添加新內容 EXT-X-MEDIA-SEQUENCE #EXT-X-MEDIA-SEQUENCE:<number> 表示播放列表第一個URL片段文件的序列號，每個媒體片段URL都擁有一個唯一的整型序列號，每個媒體片段序列號按出現(xiàn)順序依次加 1，如果該標簽未指定，則默認序列號從0開始 EXT-X-KEY #EXT-X-KEY:METHOD=AES-128,URI='http:xxxx',IV='xxxx' 表明視頻流文件的加解密方法，METHOD表示加密方式，URI表示密鑰路徑，該密鑰是一個 16 字節(jié)的數(shù)據(jù)，IV是一個128位的十六進制數(shù)值 EXTINF #EXTINF:<duration>,[<title>] 表示其后 URL 指定的媒體片段時長（單位為秒），duration可以為十進制的整型或者浮點型，其值必須小于或等于EXT-X-TARGETDURATION指定的值 EXT-X-ENDLIST #EXT-X-ENDLIST 表明m3u8文件的結束

  簡書：m3u8 文件格式詳解 作者：Whyn

2. 第三方庫----m3u8

  m3u8是一個專門用于解析m3u8文件的解析器，有關庫的詳細操作請參閱官方示例

# 安裝m3u8pip install m3u8

# 加載m3u8文件import m3u8# 返回一個M3U8對象playlist = m3u8.load(uri=’http://videoserver.com/playlist.m3u8’)# url# playlist = m3u8.load(uri=’playlist.m3u8’)# fileprint(playlist.segments)# 打印EXT-X-KEY標簽和所有的EXTINF標簽:print(playlist.target_duration)# 打印EXT-X-TARGETDURATION標簽的值for key in playlist.keys:if key:# 如果視頻文件加密，可以查看加密參數(shù)print(key.uri, key.method, key.iv)3. 合成mp4文件

 本次就以這個視頻為例，流程如下：  1. 找到視頻對應的.m3u8文件  2. 解析.m3u8文件，從中提取.ts視頻的url  3. 下載.ts格式的視頻  4. 解密.ts格式的視頻（如果視頻流沒有加密，則該步不是必須的）  5. 合成.mp4或其他格式的視頻

# 第1步，我載了m3u8文件，也可以直接使用m3u8文件對應的urlplaylist = m3u8.load(uri=’./data/index.m3u8’)# 第2步，提取URLfor seg in playlist.segments:print(seg.uri)# 第3步，下載ts視頻 with open(’xxxxx.ts’, ’wb’) as f:ts = get_ts(url)f.write(ts) # 第4步，解密cipher_text = pad(data_to_pad=cipher_text, block_size=AES.block_size) aes = AES.new(key=key, mode=AES.MODE_CBC, iv=iv) cipher_text = aes.decrypt(cipher_text) # 第5步，合成files = glob.glob(os.path.join(’./video’, ’*.ts’)) for file in files:with open(file, ’rb’) as fr, open(’./video_de/baitoushan.mp4’, ’ab’) as fw: content = fr.read() fw.write(content )4. 完整代碼

# -*- coding: utf-8 -*-# @Time : 2021/5/10 20:11# @Author : XiaYouRan# @Email : [email protected]# @File : video.py# @Software: PyCharmfrom Crypto.Cipher import AESfrom Crypto.Util.Padding import padfrom concurrent.futures import ThreadPoolExecutorimport requestsimport m3u8import globimport osimport timeimport logginglogging.getLogger('urllib3').setLevel(logging.WARNING)def AESDecrypt(cipher_text, key, iv): cipher_text = pad(data_to_pad=cipher_text, block_size=AES.block_size) aes = AES.new(key=key, mode=AES.MODE_CBC, iv=iv) cipher_text = aes.decrypt(cipher_text) # clear_text = unpad(padded_data=cipher_text, block_size=AES.block_size) return cipher_textheaders = {’User-Agent’: ’Mozilla/5.0 (Windows NT 10.0; Win64; x64) ’ ’AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36’}def get_ts(url): try:response = requests.get(url, verify=False)response.raise_for_status()response.encoding = ’utf-8’return response.content except Exception as err:print(err)return b’’def save_ts(url, index): filename = os.path.join(’./video’, str(index).zfill(5) + ’.ts’) with open(filename, ’wb’) as f:ts = get_ts(url)f.write(ts) print(filename + ’ is ok!’)if __name__ == ’__main__’: playlist = m3u8.load(uri=’./data/index.m3u8’)# 線程池，引入index可以防止合成時視頻發(fā)生亂序 with ThreadPoolExecutor(max_workers=10) as pool:for index, seg in enumerate(playlist.segments): pool.submit(save_ts, seg.uri, index) key = get_ts(playlist.keys[-1].uri) files = glob.glob(os.path.join(’./video’, ’*.ts’)) for file in files:with open(file, ’rb’) as fr, open(’./video_de/baitoushan.mp4’, ’ab’) as fw: content = fr.read() encontent = AESDecrypt(content, key=key, iv=key) fw.write(encontent)print(file + ’ is ok!’)

  下載.ts文件效果如下：

  合成.mp4文件效果如下：

5. 結束語

Musicer開源代碼倉庫

  Musicer音樂爬蟲已經(jīng)開源了哦，持續(xù)更新中，歡迎來踩來Star哦！?(?∇?*)?

以上就是Python爬蟲之m3u8文件里提取小視頻的正確姿勢的詳細內容，更多關于Python提取m3u8文件小視頻的資料請關注好吧啦網(wǎng)其它相關文章！