<em>Mac</em>Book项目 2009年学校开始实施<em>Mac</em>Book项目,所有师生配备一本<em>Mac</em>Book,并同步更新了校园无线网络。学校每周进行电脑技术更新,每月发送技术支持资料,极大改变了教学及学习方式。因此2011
2021-06-01 09:32:01
爬取的目標網址為:https://www.gushiwen.cn/
在登陸介面需要做的工作有,獲取驗證碼圖片,並識別該驗證碼,才能實現登入。
使用瀏覽器抓包工具可以看到,登陸介面請求頭包括cookie和user-agent,故在傳送請求時需要這兩個資料。其中user-agent可通過手動新增到請求頭中,而cookie值需要自動獲取。
分析完畢,實踐開始!!!
(1)基於線上打碼平臺識別驗證碼
(2)打碼平臺:超級鷹、雲打碼、打碼兔
該專案使用超級鷹打碼平臺完成。網站連結:https://www.chaojiying.com/
將下載好的原始碼進行封裝
import requests headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.163 Safari/537.36", #手動處理cookie # "Cookie": "acw_tc=2760820816186635434807019e3f39e1bf4a8a9b9ad20b50586fb6c8184f56; xq_a_token=520e7bca78673752ed71e19b8820b5eb854123af; xqat=520e7bca78673752ed71e19b8820b5eb854123af; xq_r_token=598dda88240ff69f663261a3bf4ca3d9f9700cc0; xq_id_token=eyJ0eXAiOiJKV1QiLCJhbGciOiJSUzI1NiJ9.eyJ1aWQiOi0xLCJpc3MiOiJ1YyIsImV4cCI6MTYyMTIxOTc0OSwiY3RtIjoxNjE4NjYzNTE1MDI1LCJjaWQiOiJkOWQwbjRBWnVwIn0.BGdEgnctB-rv0Xiu8TxrBEshPF4w0StKOE5jKTxy8OFz_pLwNl5VK9v2e8jyU4jaQt9xZTvgsPiYYbiIgmUUpPkamuT0pITHOFoNoKFYFz0syxQMuuAa93pPvSJxeCutqod4cvdWt6f4iRjtHyjAY0zVrv3xLi2ksc9noSf9sH3eLVu9Yjr3PzbF1QDzbXyQsX7oS5Y5Iwt2p-XartCGMlKWzWz9TPiFc3oZ6o7CMWu7Tvfb5D2XGlIU6L8wlPBMwoz2Zdy_zQif9itUqoBvQjNIa3E6UYag-vlY7nNFSDJh0UCobapBjdNITBVVvwFtYn6C-R16y6O8S5iko4E59g; u=461618663543485; Hm_lvt_1db88642e346389874251b5a1eded6e3=1618663545; device_id=24700f9f1986800ab4fcc880530dd0ed; Hm_lpvt_1db88642e346389874251b5a1eded6e3=1618664825" } session = requests.Session() # 建立session物件 # 第一次使用session,捕獲請求cookie url = 'https://so.gushiwen.cn/user/login.aspx?from=http://so.gushiwen.cn/user/collect.aspx' page_text = session.get(url = url,headers = headers).text # 解析驗證碼圖片地址 tree = etree.HTML(page_text) img_src = 'https://so.gushiwen.cn/' + tree.xpath('//*[@id="imgCode"]/@src')[0] # 將驗證碼圖片儲存到本地 img_data = session.get(img_src,headers = headers).content with open('./code.jpg','wb') as fp: fp.write(img_data)
#!/usr/bin/env python # coding:utf-8 import requests from hashlib import md5 class Chaojiying_Client(object): def __init__(self, username, password, soft_id): self.username = username password = password.encode('utf8') self.password = md5(password).hexdigest() self.soft_id = soft_id self.base_params = { 'user': self.username, 'pass2': self.password, 'softid': self.soft_id, } self.headers = { 'Connection': 'Keep-Alive', 'User-Agent': 'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0)', } def PostPic(self, im, codetype): """ im: 圖片位元組 codetype: 題目型別 參考 http://www.chaojiying.com/price.html """ params = { 'codetype': codetype, } params.update(self.base_params) files = {'userfile': ('ccc.jpg', im)} r = requests.post('http://upload.chaojiying.net/Upload/Processing.php', data=params, files=files, headers=self.headers) return r.json() def ReportError(self, im_id): """ im_id:報錯題目的圖片ID """ params = { 'id': im_id, } params.update(self.base_params) r = requests.post('http://upload.chaojiying.net/Upload/ReportError.php', data=params, headers=self.headers) return r.json() if __name__ == '__main__': chaojiying = Chaojiying_Client('超級鷹使用者名稱', '超級鷹使用者名稱的密碼', '96001') #使用者中心>>軟體ID 生成一個替換 96001 im = open('a.jpg', 'rb').read() #本地圖片檔案路徑 來替換 a.jpg 有時WIN系統須要// print(chaojiying.PostPic(im, 1902)) #1902 驗證碼型別 官方網站>>價格體系 3.4+版 print 後要加()
# 模擬登入 # 流程:1 對點選登入按鈕對應的請求進行傳送(post請求) # 2 處理請求引數: # 使用者名稱 密碼 驗證碼 其他防偽引數 import requests from lxml import etree from chaojiying_Python.chaojiying import Chaojiying_Client headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.163 Safari/537.36", } # 封裝好的驗證碼識別函數 def tranformImgCode(imgPath,imgType): chaojiying = Chaojiying_Client('使用者名稱', '密碼', '軟體ID') # 使用者中心>>軟體ID 生成一個替換 軟體ID im = open(imgPath, 'rb').read() #本地圖片檔案路徑 來替換 a.jpg 有時WIN系統須要// return(chaojiying.PostPic(im, imgType))['pic_str'] # 自動獲取cookie session = requests.Session() # 識別驗證碼 url = 'https://so.gushiwen.cn/user/login.aspx?from=http://so.gushiwen.cn/user/collect.aspx' page_text = session.get(url = url,headers = headers).text # 解析驗證碼圖片地址 tree = etree.HTML(page_text) img_src = 'https://so.gushiwen.cn/' + tree.xpath('//*[@id="imgCode"]/@src')[0] # 將驗證碼圖片儲存到本地 img_data = session.get(img_src,headers = headers).content with open('./code.jpg','wb') as fp: fp.write(img_data) # 識別驗證碼 code_text = tranformImgCode('./code.jpg',1902) print(code_text) login_url = 'https://so.gushiwen.cn/user/login.aspx?from=http%3a%2f%2fso.gushiwen.cn%2fuser%2fcollect.aspx' data = { '__VIEWSTATE': 'frn5Bnnr5HRYCoJJ9fIlFFjsta310405ClDr+hy0/V9dyMGgBf34A2YjI8iCAaXHZarltdz1LPU8hGWIAUP9y5eLjxKeYaJxouGAa4YcCPC+qLQstMsdpWvKGjg=', '__VIEWSTATEGENERATOR': 'C93BE1AE', 'from': 'http://so.gushiwen.cn/user/collect.aspx', 'email': '使用者名稱', # 更換自己的使用者名稱 'pwd': '密碼', # 更換自己的密碼 'code': code_text, 'denglu': '登入' } # 對點選登入按鈕發起請求,獲取登入成功後對應的頁面原始碼資料 page_text_login = session.post(url = login_url,data = data,headers = headers).text with open('./gushiwen.html','w',encoding = 'utf-8') as fp: fp.write(page_text_login)
覺得不錯的話,就點個贊吧!!😀😀
到此這篇關於python網路爬蟲之模擬登入 自動獲取cookie值 驗證碼識別的具體實現的文章就介紹到這了,更多相關python 模擬登入 內容請搜尋it145.com以前的文章或繼續瀏覽下面的相關文章希望大家以後多多支援it145.com!
相關文章
<em>Mac</em>Book项目 2009年学校开始实施<em>Mac</em>Book项目,所有师生配备一本<em>Mac</em>Book,并同步更新了校园无线网络。学校每周进行电脑技术更新,每月发送技术支持资料,极大改变了教学及学习方式。因此2011
2021-06-01 09:32:01
综合看Anker超能充系列的性价比很高,并且与不仅和iPhone12/苹果<em>Mac</em>Book很配,而且适合多设备充电需求的日常使用或差旅场景,不管是安卓还是Switch同样也能用得上它,希望这次分享能给准备购入充电器的小伙伴们有所
2021-06-01 09:31:42
除了L4WUDU与吴亦凡已经多次共事,成为了明面上的厂牌成员,吴亦凡还曾带领20XXCLUB全队参加2020年的一场音乐节,这也是20XXCLUB首次全员合照,王嗣尧Turbo、陈彦希Regi、<em>Mac</em> Ova Seas、林渝植等人全部出场。然而让
2021-06-01 09:31:34
目前应用IPFS的机构:1 谷歌<em>浏览器</em>支持IPFS分布式协议 2 万维网 (历史档案博物馆)数据库 3 火狐<em>浏览器</em>支持 IPFS分布式协议 4 EOS 等数字货币数据存储 5 美国国会图书馆,历史资料永久保存在 IPFS 6 加
2021-06-01 09:31:24
开拓者的车机是兼容苹果和<em>安卓</em>,虽然我不怎么用,但确实兼顾了我家人的很多需求:副驾的门板还配有解锁开关,有的时候老婆开车,下车的时候偶尔会忘记解锁,我在副驾驶可以自己开门:第二排设计很好,不仅配置了一个很大的
2021-06-01 09:30:48
不仅是<em>安卓</em>手机,苹果手机的降价力度也是前所未有了,iPhone12也“跳水价”了,发布价是6799元,如今已经跌至5308元,降价幅度超过1400元,最新定价确认了。iPhone12是苹果首款5G手机,同时也是全球首款5nm芯片的智能机,它
2021-06-01 09:30:45