python wsgiref源碼解析
python web開(kāi)發(fā)中http請(qǐng)求的處理流程通常是: web-browser , web-server , wsgi 和 web-application四個(gè)環(huán)節(jié)， 我們學(xué)習(xí)過(guò)基于bottle實(shí)現(xiàn)的web-application，也學(xué)習(xí)了http.server。再完成python3源碼中自帶的wsgiref的庫(kù)，就可以拼接最后一個(gè)環(huán)節(jié)wsgi。本文會(huì)分下面幾個(gè)部分:
wsgi相關(guān)概念 cgi示例 wsgiref源碼 wsgi小結(jié) 小技巧 wsgi 相關(guān)概念CGICGI（Common Gateway Interface）通用網(wǎng)關(guān)接口。1993年由美國(guó)NCSA（National Center for Supercomputing Applications）發(fā)明。它具有簡(jiǎn)單易用、語(yǔ)言無(wú)關(guān)的特點(diǎn)。雖然今天已經(jīng)少有人直接使用CGI進(jìn)行編程，但它仍被主流的Web服務(wù)器，如Apache、IIS、Nginx等廣泛支持。
CGI提供了一種接口規(guī)范，可以讓?xiě)?yīng)用程序, 一般是各種腳本語(yǔ)言，比如perl， php， python等來(lái)擴(kuò)展web服務(wù)，讓服務(wù)動(dòng)態(tài)起來(lái)。
WSGIWSGI（Web Server Gateway Interface）web服務(wù)網(wǎng)關(guān)接口。是web服務(wù)和web應(yīng)用程序之間的接口規(guī)范，在PEP3333中提出。
wsgi讓?xiě)?yīng)用程序和web服務(wù)之間解耦，應(yīng)用程序只需要遵守規(guī)范，就可以在各種不同的web服務(wù)部署運(yùn)行。比如上圖中，基于flask/django實(shí)現(xiàn)的應(yīng)用程序可以使用gunicorn部署，也可以使用nginx+uwsgi部署。
ASGIASGI（Asynchronous Server Gateway Interface） 異步服務(wù)器網(wǎng)關(guān)接口。ASGI繼承自wsgi，旨在在具有異步功能的Python Web服務(wù)器，框架和應(yīng)用程序之間提供標(biāo)準(zhǔn)接口。ASGI具有WSGI向后兼容性實(shí)現(xiàn)以及多個(gè)服務(wù)器和應(yīng)用程序框架。
wsgi中使用請(qǐng)求響應(yīng)模型，每個(gè)請(qǐng)求可以同步獲得一個(gè)響應(yīng)。在ASGI中，請(qǐng)求的響應(yīng)變成異步實(shí)現(xiàn)，一般用于websocket協(xié)議。(asgi的內(nèi)容，涉及異步實(shí)現(xiàn)，本文就不多介紹)
cgi 示例單純的概念理解比較難。下面我們配合示例一起來(lái)學(xué)習(xí)，先從CGI開(kāi)始。
http 模塊提供了一個(gè)簡(jiǎn)單的文件目錄服務(wù):
python3 -m http.serverServing HTTP on :: port 8000 (http://[::]:8000/) ...
這個(gè)服務(wù)只有靜態(tài)的展示功能，我們可以利用cgi擴(kuò)展一個(gè)動(dòng)態(tài)功能。
cgi腳本創(chuàng)建cgi-bin目錄，這是CGI中約定的目錄名稱。然后編寫(xiě) hello.py， 代碼如下:
#!/usr/bin/env pythonimport timeimport sqlite3import osDB_FILE = 'guests.db'def init_db():pass # 詳情請(qǐng)見(jiàn)附件def update_total(ts):pass # 詳情請(qǐng)見(jiàn)附件print(’<html>’)print(’<head>’)print(’<meta charset='utf-8'>’)print(’<title>Hello Word！</title>’)print(’</head>’)print(’<body>’)print(’<h2>Hello Python!</h2>’)if not os.path.exists(DB_FILE):init_db()total = update_total(time.time())print(f’total guest: {total}!’)print(’</body>’)print(’</html>’)
為了代碼簡(jiǎn)潔，省略了db操作部分的具體實(shí)現(xiàn)。還需要給腳本可執(zhí)行權(quán)限:
源碼在這里
chmod 755 hello.py
./hello.py<html><head><meta charset='utf-8'><title>Hello Word！</title></head><body><h2>Hello Python!</h2>total guest: 4!</body></html>
啟動(dòng)http.server中的cgi服務(wù):
python -m http.server --cgi
注意后面的 --cgi 參數(shù)，讓服務(wù)使用cgi-handler。啟動(dòng)后使用 curl 訪問(wèn)：
curl -v http://127.0.0.1:8000/cgi-bin/hello.py* Trying 127.0.0.1...* TCP_NODELAY set* Connected to 127.0.0.1 (127.0.0.1) port 8000 (#0)> GET /cgi-bin/hello.py HTTP/1.1> Host: 127.0.0.1:8000> User-Agent: curl/7.64.1> Accept: */*>* HTTP 1.0, assume close after body< HTTP/1.0 200 Script output follows< Server: SimpleHTTP/0.6 Python/3.8.5< Date: Sun, 31 Jan 2021 13:09:29 GMT< <html>< <head>< <meta charset='utf-8'>< <title>Hello Word！</title>< </head>< <body>< <h2>Hello Python!</h2>< total guest: 5! # 訪客數(shù)< </body>< </html>* Closing connection 0
可以看到 hello.py 正確執(zhí)行，訪客數(shù)+1。因?yàn)閿?shù)據(jù)存儲(chǔ)在db中，重啟服務(wù)仍然有效。
cgi服務(wù)實(shí)現(xiàn)cgi的實(shí)現(xiàn)，主要就是下面的代碼:
# http.serverclass CGIHTTPRequestHandler(SimpleHTTPRequestHandler): def run_cgi(self): import subprocess cmdline = [scriptfile] if self.is_python(scriptfile): interp = sys.executable cmdline = [interp, ’-u’] + cmdline if ’=’ not in query: cmdline.append(query) try: nbytes = int(length) except (TypeError, ValueError): nbytes = 0 p = subprocess.Popen(cmdline,stdin=subprocess.PIPE,stdout=subprocess.PIPE,stderr=subprocess.PIPE,env = env) if self.command.lower() == 'post' and nbytes > 0: data = self.rfile.read(nbytes) # throw away additional data [see bug #427345] while select.select([self.rfile._sock], [], [], 0)[0]: if not self.rfile._sock.recv(1): break stdout, stderr = p.communicate(data) self.wfile.write(stdout) p.stderr.close() p.stdout.close() status = p.returncode
可見(jiàn)cgi的實(shí)現(xiàn)就是:
使用subprocess.Popen新開(kāi)了一個(gè)進(jìn)程去執(zhí)行腳本 重定向腳本的輸出到當(dāng)前socket的wfile，也就是http請(qǐng)求的返回上代碼也驗(yàn)證了為什么需要授予 hello.py 的可執(zhí)行權(quán)限。
從例子可以了解到http.server專注于提供http服務(wù)，app.py專注于業(yè)務(wù)功能，兩者通過(guò)cgi進(jìn)行銜接。
wsgirefwsgiref是python自帶的wsgi的實(shí)現(xiàn)參考(reference), 主要代碼結(jié)構(gòu):
文件 描述 handlers.py wsgi實(shí)現(xiàn) headers.py 管理http-header simple_server.py 支持wsgi的http服務(wù) util.py&&validator.py 工具和驗(yàn)證器
WSGIServer的代碼:
class WSGIServer(HTTPServer): '''BaseHTTPServer that implements the Python WSGI protocol''' application = None def server_bind(self): '''Override server_bind to store the server name.''' HTTPServer.server_bind(self) self.setup_environ() def setup_environ(self): # 初始化環(huán)境變量 # Set up base environment env = self.base_environ = {} env[’SERVER_NAME’] = self.server_name env[’GATEWAY_INTERFACE’] = ’CGI/1.1’ env[’SERVER_PORT’] = str(self.server_port) env[’REMOTE_HOST’]=’’ env[’CONTENT_LENGTH’]=’’ env[’SCRIPT_NAME’] = ’’ def get_app(self): return self.application def set_app(self,application): # 注入application的class，注意是class self.application = application
WSGIServer并不復(fù)雜，繼承自http-server，接受application注入，就把web-server和we-application銜接起來(lái)。銜接后的動(dòng)作，則是老規(guī)矩，交給HTTPRequestHandler去實(shí)現(xiàn)。同時(shí)wsgi服務(wù)多了一個(gè)準(zhǔn)備env的動(dòng)作，約定了一些wsgi的環(huán)境變量。
class WSGIRequestHandler(BaseHTTPRequestHandler): server_version = 'WSGIServer/' + __version__ def get_environ(self): pass def handle(self): '''Handle a single HTTP request''' self.raw_requestline = self.rfile.readline(65537) if len(self.raw_requestline) > 65536: ... self.send_error(414) return if not self.parse_request(): # An error code has been sent, just exit return handler = ServerHandler( self.rfile, self.wfile, self.get_stderr(), self.get_environ(), multithread=False, ) # 創(chuàng)建新的業(yè)務(wù)handler handler.request_handler = self handler.run(self.server.get_app()) # 創(chuàng)建application對(duì)象
WSGIRequestHandler覆蓋了handler，處理完成http協(xié)議(parse_request)后, 又做了四個(gè)動(dòng)作:
創(chuàng)建environ 創(chuàng)建ServerHandler對(duì)象 創(chuàng)建app對(duì)象 運(yùn)行appenviron處理主要是把http請(qǐng)求的header信息附帶在wsgi-server的環(huán)境變量上:
def get_environ(self): env = self.server.base_environ.copy() # wsgi-server的環(huán)境變量 env[’SERVER_PROTOCOL’] = self.request_version env[’SERVER_SOFTWARE’] = self.server_version env[’REQUEST_METHOD’] = self.command ... host = self.address_string() if host != self.client_address[0]: env[’REMOTE_HOST’] = host env[’REMOTE_ADDR’] = self.client_address[0] if self.headers.get(’content-type’) is None: env[’CONTENT_TYPE’] = self.headers.get_content_type() else: env[’CONTENT_TYPE’] = self.headers[’content-type’] length = self.headers.get(’content-length’) if length: env[’CONTENT_LENGTH’] = length for k, v in self.headers.items(): k=k.replace(’-’,’_’).upper(); v=v.strip() if k in env: continue # skip content length, type,etc. if ’HTTP_’+k in env: env[’HTTP_’+k] += ’,’+v # comma-separate multiple headers else: env[’HTTP_’+k] = v return env
ServerHandler對(duì)象的創(chuàng)建，接受輸入/輸出/錯(cuò)誤，以及環(huán)境變量信息：
class ServerHandler(BaseHandler): def __init__(self,stdin,stdout,stderr,environ, multithread=True, multiprocess=False ): self.stdin = stdin self.stdout = stdout self.stderr = stderr self.base_env = environ self.wsgi_multithread = multithread self.wsgi_multiprocess = multiprocess ...
重點(diǎn)在ServerHandler的run函數(shù):
class BaseHandler: def run(self, application): '''Invoke the application''' # Note to self: don’t move the close()! Asynchronous servers shouldn’t # call close() from finish_response(), so if you close() anywhere but # the double-error branch here, you’ll break asynchronous servers by # prematurely closing. Async servers must return from ’run()’ without # closing if there might still be output to iterate over. ... self.setup_environ() self.result = application(self.environ, self.start_response) self.finish_response() ...
關(guān)鍵的3個(gè)步驟:
setup_environ 繼續(xù)構(gòu)建環(huán)境變量 接受application處理http請(qǐng)求的返回 完成http響應(yīng)setup_environ對(duì)env進(jìn)行了進(jìn)一步的包裝，附帶了請(qǐng)求的in/error，這樣讓使用env就可以對(duì)http請(qǐng)求進(jìn)行讀寫(xiě)。
def setup_environ(self): '''Set up the environment for one request''' env = self.environ = self.os_environ.copy() self.add_cgi_vars() # 子類實(shí)現(xiàn) self.environ.update(self.base_env) env[’wsgi.input’] = self.get_stdin() # 注意沒(méi)有stdout env[’wsgi.errors’] = self.get_stderr() env[’wsgi.version’] = self.wsgi_version env[’wsgi.run_once’] = self.wsgi_run_once env[’wsgi.url_scheme’] = self.get_scheme() env[’wsgi.multithread’] = self.wsgi_multithread env[’wsgi.multiprocess’] = self.wsgi_multiprocess if self.wsgi_file_wrapper is not None: env[’wsgi.file_wrapper’] = self.wsgi_file_wrapper if self.origin_server and self.server_software: env.setdefault(’SERVER_SOFTWARE’,self.server_software)
env的處理過(guò)程，可以理解成3步：1）附加server的運(yùn)行信息 2）附加請(qǐng)求的http頭(協(xié)議信息) 3）附加請(qǐng)求的流信息。env，可以換個(gè)說(shuō)法就是http請(qǐng)求的所有上下文環(huán)境。
application還接收一個(gè)回調(diào)函數(shù)start_response，主要是按照http協(xié)議的規(guī)范，生成響應(yīng)狀態(tài)和response_header:
def start_response(self, status, headers,exc_info=None): '''’start_response()’ callable as specified by PEP 3333''' self.status = status self.headers = self.headers_class(headers) status = self._convert_string_type(status, 'Status') assert len(status)>=4,'Status must be at least 4 characters' assert status[:3].isdigit(), 'Status message must begin w/3-digit code' assert status[3]==' ', 'Status message must have a space after code' return self.write
application對(duì)請(qǐng)求的處理:
def demo_app(environ,start_response): from io import StringIO stdout = StringIO() print('Hello world!', file=stdout) print(file=stdout) # http請(qǐng)求及環(huán)境 h = sorted(environ.items()) for k,v in h: print(k,’=’,repr(v), file=stdout) # 回調(diào)寫(xiě)入http_status, response_headers start_response('200 OK', [(’Content-Type’,’text/plain; charset=utf-8’)]) # 返回處理結(jié)果response_body return [stdout.getvalue().encode('utf-8')]
響應(yīng)仍然由ServerHandler寫(xiě)入:
def finish_response(self): if not self.result_is_file() or not self.sendfile(): for data in self.result: self.write(data) self.finish_content()
可以使用下面命令測(cè)試這個(gè)流程:
python -m wsgiref.simple_serverServing HTTP on 0.0.0.0 port 8000 ...127.0.0.1 - - [31/Jan/2021 21:43:05] 'GET /xyz?abc HTTP/1.1' 200 3338wsgi 小結(jié)
簡(jiǎn)單小結(jié)wsgi的實(shí)現(xiàn)。在http請(qǐng)求的處理流程web-browser <-> web-server <-> wsgi <-> web-application中，體現(xiàn)了分層的思想，每層做不同的事情:
web-server處理http/tcp協(xié)議，線程/進(jìn)程的調(diào)度等底層實(shí)現(xiàn) wsgi承上啟下，接受http請(qǐng)求，調(diào)用applicaiton處理請(qǐng)求，完成響應(yīng) application處理上層業(yè)務(wù)邏輯小技巧在wsgiref代碼中一樣有各種小的技巧, 學(xué)習(xí)后可以讓我們的代碼更pythonic。
環(huán)境變量都這樣設(shè)置:
def setup_environ(self): # Set up base environment env = self.base_environ = {} env[’SERVER_NAME’] = self.server_name env[’GATEWAY_INTERFACE’] = ’CGI/1.1’ ...
我之前大概都是這樣寫(xiě):
def setup_environ(self): self.base_environ = {} self.base_environ[’SERVER_NAME’] = self.server_name self.base_environ[’GATEWAY_INTERFACE’] = ’CGI/1.1’
對(duì)比后，可以發(fā)現(xiàn)前面的寫(xiě)法更簡(jiǎn)潔一些。
比如流的持續(xù)寫(xiě)入:
def _write(self,data): result = self.stdout.write(data) if result is None or result == len(data): return from warnings import warn warn('SimpleHandler.stdout.write() should not do partial writes', DeprecationWarning) while True: data = data[result:] # 持續(xù)的寫(xiě)入，直到完成 if not data: break result = self.stdout.write(data)
比如header的處理，實(shí)際上是把數(shù)組當(dāng)作字典使用:
class Headers: '''Manage a collection of HTTP response headers''' def __init__(self, headers=None): headers = headers if headers is not None else [] self._headers = headers # 內(nèi)部存儲(chǔ)使用數(shù)組 def __setitem__(self, name, val): '''Set the value of a header.''' del self[name] self._headers.append( (self._convert_string_type(name), self._convert_string_type(val))) .... def __getitem__(self,name): '''Get the first header value for ’name’ Return None if the header is missing instead of raising an exception. Note that if the header appeared multiple times, the first exactly which occurrence gets returned is undefined. Use getall() to get all the values matching a header field name. ''' return self.get(name) def get(self,name,default=None): '''Get the first header value for ’name’, or return ’default’''' name = self._convert_string_type(name.lower()) for k,v in self._headers: if k.lower()==name: return v return default
這樣對(duì) Content-Type: application/javascript; charset=utf-8 這樣的值，可以使用下面方式使用:
if self.headers.get(’content-type’) is None: env[’CONTENT_TYPE’] = self.headers.get_content_type()else: env[’CONTENT_TYPE’] = self.headers[’content-type’]
為什么用數(shù)組，而不是用字典呢？我猜測(cè)是因?yàn)閔eader的特性是數(shù)據(jù)多為讀操作。
以上就是python wsgiref源碼解析的詳細(xì)內(nèi)容，更多關(guān)于python wsgiref源碼的資料請(qǐng)關(guān)注好吧啦網(wǎng)其它相關(guān)文章！
相關(guān)文章：
網(wǎng)公網(wǎng)安備