2021-05-12 14:32:11
scrapy中如何設定應用cookies的方法(3種)
2020-09-22 18:00:23
本人是python3.6
總的來說,scrapy框架中設定cookie有三種方式。
第一種:setting檔案中設定cookie
當COOKIES_ENABLED是註釋的時候scrapy預設沒有開啟cookie
當COOKIES_ENABLED沒有註釋設定為False的時候scrapy預設使用了settings裡面的cookie
當COOKIES_ENABLED設定為True的時候scrapy就會把settings的cookie關掉,使用自定義cookie
所以當我使用settings的cookie的時候,又把COOKIES_ENABLED設定為True,scrapy就會把settings的cookie關閉,
而且我也沒使用自定義cookie,導致整個請求根本沒有cookie,導致獲取頁面失敗。
總結:
如果使用自定義cookie就把COOKIES_ENABLED設定為True
如果使用settings的cookie就把COOKIES_ENABLED設定為False
第二種:middlewares中設定cookie
在middlewares中的downloadermiddleware中的process_request中設定cookie,設定如下:
request.cookies={ '':'', '':'', }
等等。裡面的cookie內容要以鍵值對的形式存在。
第三種:在spider爬蟲主檔案中,重寫start_request方法,在scrapy的Request函數的引數中傳遞cookies
# 過載start_requests方法 def start_requests(self): headers = { "User-Agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:59.0) Gecko/20100101 Firefox/59.0"} # 指定cookies cookies = { 'uuid': '66a0f5e7546b4e068497.1542881406.1.0.0', '_lxsdk_cuid': '1673ae5bfd3c8-0ab24c91d32ccc8-143d7240-144000-1673ae5bfd4c8', '__mta': '222746148.1542881402495.1542881402495.1542881402495.1', 'ci': '20', 'rvct': '20%2C92%2C282%2C281%2C1', '_lx_utm': 'utm_source%3DBaidu%26utm_medium%3Dorganic', '_lxsdk_s': '1674f401e2a-d02-c7d-438%7C%7C35'} # 再次請求到詳情頁,並且宣告回撥函數callback,dont_filter=True 不進行域名過濾,meta給回撥函數傳遞資料 yield Request(detailUrl, headers=headers, cookies=cookies, callback=self.detail_parse, meta={'myItem': item}, dont_filter=True)
同時還要在setting中設定:
ROBOTSTXT_OBEY=False
到此這篇關於scrapy中如何設定應用cookies的方法(3種)的文章就介紹到這了,更多相關scrapy設定cookies內容請搜尋it145.com以前的文章或繼續瀏覽下面的相關文章希望大家以後多多支援it145.com!
相關文章