問題描述

我用Python3的requests庫從一個api請求一個json數(shù)據(jù)，然后試圖去print出來：

res = requests.get('http://aaa.com/bbb.php') res.encoding=’utf-8’ name = res.json(encoding = 'utf8')['name'] print(name)

也試了一下方法：

name.encode(’utf8’).decode('utf8')print(name)

我這個name字符串有可能有中文，數(shù)字，英文，也有可能有阿拉伯文。或者只有他們之中的一個。我每次print的時候有時候能輸出成功，有時候有以下錯誤：

File 'demo.py', line 53, in play_one print(json.loads(result_str)['name'])UnicodeEncodeError: ’gbk’ codec can’t encode character ’u062f’ in position 0: illegal multibyte sequence

我該怎么處理這個字符串，有可能同一個字符串混有不同的編碼？還是我獲取到的字符串每次都是不同編碼的，我應(yīng)該怎么正確輸去這個不確定的字符串？

問題解答

標(biāo)準(zhǔn) JSON 是不需要指定編碼的。

你使用的是 Windows 簡體中文版，系統(tǒng)控制臺需要輸出以 GBK 編碼來輸出字符，但是你的字符「U+062F ? ARABIC LETTER DAL」在 GBK 編碼中沒有對應(yīng)，因此無法輸出。

你可以選擇寫到文件，或者安裝阿拉伯文版的 Windows。或者使用其它對 Unicode 支持更好的操作系統(tǒng) / 終端。

首先你要弄明白requests為什么會出現(xiàn)這個問題

requests會從服務(wù)器返回的響應(yīng)頭的 Content-Type 去獲取字符集編碼，如果content-type有charset字段那么requests才能正確識別編碼，否則就使用默認(rèn)的 ISO-8859-1. 詳情請看這篇博客代碼分析Python requests庫中文編碼問題

文中提到了幾個辦法，不過似乎3.x已經(jīng)修復(fù)了這個問題。

我的建議首先手動去頁面看這個頁面header部分的charset到底是什么編碼，假設(shè)是GBK

resp = requests.get(item_info_url)resp.encoding = ’GBK’html = resp.textname = json.loads(html)[’name’]# or# 我不太用res.json這個方法＝＝res = requests.get('http://aaa.com/bbb.php')res.encoding=’GBK’name = res.json()['name']print(name)