<em>Mac</em>Book项目 2009年学校开始实施<em>Mac</em>Book项目,所有师生配备一本<em>Mac</em>Book,并同步更新了校园无线网络。学校每周进行电脑技术更新,每月发送技术支持资料,极大改变了教学及学习方式。因此2011
2021-06-01 09:32:01
記得收藏呀!!!
from bs4 import BeautifulSoup # 解析網頁 import re # 正規表示式,進行文字匹配 import urllib.request,urllib.error # 通過瀏覽器請求資料 import sqlite3 # 輕型資料庫 import time # 獲取當前時間
爬取過程主要包括宣告爬取網頁 -> 爬取網頁資料並解析 -> 儲存資料
def main(): #宣告爬取網站 baseurl = "https://www.bilibili.com/v/popular/rank/all" #爬取網頁 datalist = getData(baseurl) # print(datalist) #儲存資料 dbname = time.strftime("%Y-%m-%d", time.localtime()) dbpath = "BiliBiliTop100 " + dbname saveData(datalist,dbpath)
(1)在爬取的過程中採用的技術為:偽裝成瀏覽器對資料進行請求;
(2)解析爬取到的網頁原始碼時:採用Beautifulsoup解析出需要的資料,使用re正規表示式對資料進行匹配;
(3)儲存資料時,考慮到B站排行榜是每日進行重新整理,故可以用當前日期進行儲存資料庫命名。
資料庫中包含的資料有:排名、視訊連結、標題、播放量、評論量、作者、綜合分數這7個資料。
from bs4 import BeautifulSoup #解析網頁 import re # 正規表示式,進行文字匹配 import urllib.request,urllib.error import sqlite3 import time def main(): #宣告爬取網站 baseurl = "https://www.bilibili.com/v/popular/rank/all" #爬取網頁 datalist = getData(baseurl) # print(datalist) #儲存資料 dbname = time.strftime("%Y-%m-%d", time.localtime()) dbpath = "BiliBiliTop100 " + dbname saveData(datalist,dbpath) #re正規表示式 findLink =re.compile(r'<a class="title" href="(.*?)" rel="external nofollow" ') #視訊連結 findOrder = re.compile(r'<div class="num">(.*?)</div>') #榜單次序 findTitle = re.compile(r'<a class="title" href=".*?" rel="external nofollow" rel="external nofollow" target="_blank">(.*?)</a>') #視訊標題 findPlay = re.compile(r'<span class="data-box"><i class="b-icon play"></i>([sS]*)(.*?)</span> <span class="data-box">') #視訊播放量 findView = re.compile(r'<span class="data-box"><i class="b-icon view"></i>([sS]*)(.*?)</span> <a href=".*?" rel="external nofollow" rel="external nofollow" target="_blank"><span class="data-box up-name">') # 視訊評價數 findName = re.compile(r'<i class="b-icon author"></i>(.*?)</span></a>',re.S) #視訊作者 findScore = re.compile(r'<div class="pts"><div>(.*?)</div>綜合得分',re.S) #視訊得分 def getData(baseurl): datalist = [] html = askURL(baseurl) #print(html) soup = BeautifulSoup(html,'html.parser') #直譯器 for item in soup.find_all('li',class_="rank-item"): # print(item) data = [] item = str(item) Order = re.findall(findOrder,item)[0] data.append(Order) # print(Order) Link = re.findall(findLink,item)[0] Link = 'https:' + Link data.append(Link) # print(Link) Title = re.findall(findTitle,item)[0] data.append(Title) # print(Title) Play = re.findall(findPlay,item)[0][0] Play = Play.replace(" ","") Play = Play.replace("n","") Play = Play.replace(".","") Play = Play.replace("萬","0000") data.append(Play) # print(Play) View = re.findall(findView,item)[0][0] View = View.replace(" ","") View = View.replace("n","") View = View.replace(".","") View = View.replace("萬","0000") data.append(View) # print(View) Name = re.findall(findName,item)[0] Name = Name.replace(" ","") Name = Name.replace("n","") data.append(Name) # print(Name) Score = re.findall(findScore,item)[0] data.append(Score) # print(Score) datalist.append(data) return datalist def askURL(url): #設定請求頭 head = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0;Win64;x64) AppleWebKit/537.36(KHTML, likeGecko) Chrome/80.0.3987.163Safari/537.36" } request = urllib.request.Request(url, headers = head) html = "" try: response = urllib.request.urlopen(request) html = response.read().decode("utf-8") #print(html) except urllib.error.URLError as e: if hasattr(e,"code"): print(e.code) if hasattr(e,"reason"): print(e.reason) return html def saveData(datalist,dbpath): init_db(dbpath) conn = sqlite3.connect(dbpath) cur = conn.cursor() for data in datalist: sql = ''' insert into Top100( id,info_link,title,play,view,name,score) values("%s","%s","%s","%s","%s","%s","%s")'''%(data[0],data[1],data[2],data[3],data[4],data[5],data[6]) print(sql) cur.execute(sql) conn.commit() cur.close() conn.close() def init_db(dbpath): sql = ''' create table Top100 ( id integer primary key autoincrement, info_link text, title text, play numeric, view numeric, name text, score numeric ) ''' conn = sqlite3.connect(dbpath) cursor = conn.cursor() cursor.execute(sql) conn.commit() conn.close() if __name__ =="__main__": main()
到此這篇關於如何使用python爬取B站排行榜Top100的視訊資料的文章就介紹到這了,更多相關python B站視訊 內容請搜尋it145.com以前的文章或繼續瀏覽下面的相關文章希望大家以後多多支援it145.com!
相關文章
<em>Mac</em>Book项目 2009年学校开始实施<em>Mac</em>Book项目,所有师生配备一本<em>Mac</em>Book,并同步更新了校园无线网络。学校每周进行电脑技术更新,每月发送技术支持资料,极大改变了教学及学习方式。因此2011
2021-06-01 09:32:01
综合看Anker超能充系列的性价比很高,并且与不仅和iPhone12/苹果<em>Mac</em>Book很配,而且适合多设备充电需求的日常使用或差旅场景,不管是安卓还是Switch同样也能用得上它,希望这次分享能给准备购入充电器的小伙伴们有所
2021-06-01 09:31:42
除了L4WUDU与吴亦凡已经多次共事,成为了明面上的厂牌成员,吴亦凡还曾带领20XXCLUB全队参加2020年的一场音乐节,这也是20XXCLUB首次全员合照,王嗣尧Turbo、陈彦希Regi、<em>Mac</em> Ova Seas、林渝植等人全部出场。然而让
2021-06-01 09:31:34
目前应用IPFS的机构:1 谷歌<em>浏览器</em>支持IPFS分布式协议 2 万维网 (历史档案博物馆)数据库 3 火狐<em>浏览器</em>支持 IPFS分布式协议 4 EOS 等数字货币数据存储 5 美国国会图书馆,历史资料永久保存在 IPFS 6 加
2021-06-01 09:31:24
开拓者的车机是兼容苹果和<em>安卓</em>,虽然我不怎么用,但确实兼顾了我家人的很多需求:副驾的门板还配有解锁开关,有的时候老婆开车,下车的时候偶尔会忘记解锁,我在副驾驶可以自己开门:第二排设计很好,不仅配置了一个很大的
2021-06-01 09:30:48
不仅是<em>安卓</em>手机,苹果手机的降价力度也是前所未有了,iPhone12也“跳水价”了,发布价是6799元,如今已经跌至5308元,降价幅度超过1400元,最新定价确认了。iPhone12是苹果首款5G手机,同时也是全球首款5nm芯片的智能机,它
2021-06-01 09:30:45