国产成人精品久久免费动漫-国产成人精品天堂-国产成人精品区在线观看-国产成人精品日本-a级毛片无码免费真人-a级毛片毛片免费观看久潮喷

您的位置:首頁技術文章
文章詳情頁

python - 爬蟲模擬登錄后,爬取csdn后臺文章列表遇到的問題

瀏覽:116日期:2022-07-17 10:39:13

問題描述

爬蟲確實已經登錄進去了,因為我爬取個人信息是可以抓出來的,但是下圖的這個網址抓不出來:

網址是:http://write.blog.csdn.net/postlist,就是你的csdn后臺。

我貼下代碼吧,py2.7的

#!/usr/bin/env python# -*- coding: utf-8 -*-from bs4 import BeautifulSoupimport requestsclass CSDN(object): def __init__(self, headers):self.session = requests.Session()self.headers = headers def get_webflow(self):url = ’http://passport.csdn.net/account/login’response = self.session.get(url=url, headers=self.headers)soup = BeautifulSoup(response.text, ’html.parser’)lt = soup.find(’input’, {’name’: ’lt’})[’value’]execution = soup.find(’input’, {’name’: ’execution’})[’value’]soup.clear()return (lt, execution) def login(self, account, password):self.username = accountself.password = passwordlt, execution = self.get_webflow()data = { ’username’: account, ’password’: password, ’lt’: lt, ’execution’: execution, ’_eventId’: ’submit’}url = ’http://passport.csdn.net/account/login’response = self.session.post(url=url, headers=self.headers, data=data)if (response.status_code == 200): print(’正常’)else: print(’異常’) def func(self):headers1={ ’Host’:’write.blog.csdn.net’, ’Upgrade-Insecure-Requests’:’1’, ’User-Agent’:’Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.133 Safari/537.36’}response=self.session.get(url=’http://write.blog.csdn.net/postlist’,headers=headers1,allow_redirects=False)print response.textif __name__ == ’__main__’: headers = {’Host’: ’passport.csdn.net’,’Origin’: ’http://passport.csdn.net’,’Referer’:’http://passport.csdn.net/account/login’,’Upgrade-Insecure-Requests’:’1’,’User-Agent’: ’Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.87 Safari/537.36’, } csdn = CSDN(headers=headers) account = ’’ password = ’’ csdn.login(account=account, password=password) csdn.func()

上面的代碼輸出是

正常<html><head><title>Object moved</title></head><body><h2>Object moved to <a >here</a>.</h2></body></html>

問題解答

回答1:

因為這個地址返回的是一個302跳轉,你要根據返回header的Location繼續請求,再分析返回的內容繼續處理,瀏覽器幫你做了這些302跳轉和執行返回的js等內容,手工抓取就需要自己處理.

回答2:

直接用cookie即可

標簽: Python 編程
主站蜘蛛池模板: 成人a毛片在线看免费全部播放 | 日韩18在线观看地址 | 亚洲欧美一区二区三区 | 国产成年视频 | 久久精品视频免费 | 一区二区三区在线 | 欧 | 国外成人在线视频 | 国产成人精品免费视 | 最新久久免费视频 | 成人禁在线观看网站 | 久久er热在这里只有精品85 | 国产精品久久久久久 | 日韩毛片免费线上观看 | 欧美成人看片一区二区三区尤物 | 亚洲视频观看 | 色综合久久88一加勒比 | 欧美毛片aaa激情 | 欧美最爽乱淫视频播放黑人 | 欧美精品一级毛片 | 伊人色在线视频 | 国产一级生活片 | 欧美另类视频videosbest18 | 日韩www视频 | 久久r这里只有精品 | 国产亚洲亚洲精品777 | 91福利国产在线观看香蕉 | 午夜dj视频完整社区 | 亚洲一级特黄特黄的大片 | 福利91 | 久久久国产99久久国产久 | 久久久久久久性高清毛片 | 特级一级毛片视频免费观看 | 九九九精品视频免费 | 欧美一级毛片怡红院 | 精品视自拍视频在线观看 | 综合欧美视频一区二区三区 | 国产乱子伦视频大全 | 美国一级毛片a | 国产午夜亚洲精品理论片不卡 | 久久国产精品久久久久久久久久 | 日韩最新中文字幕 |