Python爬取微信讀書實現讀書免費自由

2021-09-27 13:01:05

前情提要

不知道用微信讀書的朋友多不多，這裡順便安利一下哈。

我目前看電子書的話基本都是在用微信讀書，畢竟白嫖的無限卡真香。

在微信讀書上，不僅很多正版的Python書籍電子書可以直接看，還可以在閱讀的同時看別人寫的標註。

但是無限卡對於小說不太友好，只能閱讀開頭的章節，後面的章節就需要變相付費了。

雖然知道番茄小說，七貓小說這種都能免費看，但是實在不願意為了一部小說再多下一個軟體。

幸虧微信讀書出了一個功能——可以自己上傳書籍，支援支援txt、pdf、epub格式。

這就給了我一個想法，只需要將小說下載到本地，再匯入到微信讀書不就成了。

下載小說方法賊簡單，用Python也行，搜搜專門打包好的下載器也成。不過我記得兩年前剛學Python時自己練習寫過筆趣閣的爬蟲，這就翻出來用用。

爬取小說

原來程式碼是找到了，但是很尷尬，我爬取的那個網站404了。

不過目前筆趣閣遍地都是，也分不清到底誰是「正版」的？

還有個比較好的訊息，很多家連網頁模板都是一模一樣，你的爬蟲改改地址就能接著用了，這是妙啊。

於是乎，我又隨便找了一家「筆趣閣」。

今天我們就以我吃西紅柿近期完結的滄元圖為例，可以看到在這個筆趣閣網站裡，小說滄元圖的網址url是

https://*********/html/2292/

同時，《滄元圖》所有的章節也都羅列在本頁面。

我覺得先爬取所有的章節名和對應的url網址，分別儲存到列表中。然後再使用requests爬取，並依次寫入txt檔案中。

網頁結構並不複雜，也沒有反爬措施。大概20行程式碼即可下載

for i, j in zip(urls, names):
    res_text = requests.get(url, headers=header).text
    zj_html = etree.HTML(res_text)
    texts = zj_html.xpath('//*[@id="content"]/text()')
    texts2 = zj_html.xpath('//*[@id="content"]/*/text()')
    text = 'n'.join(texts).strip()+'n'.join(texts2).strip()

    with open('novels_n.txt', 'a', encoding='utf8') as f:
        f.write(f'{j} n {text} n')
        print(f'{novels_n}/{j}，正在下載...')