《邪不壓正》究竟算不算好電影？通過爬取豆瓣上萬條影評告訴你
暑期是學生放假的時候，也是院線神仙打架的時候，各色電影亮相大熒屏，高潮迭起，好不精彩。
今年的暑期《我不是藥神》一騎絕塵，而姜文的《邪不壓正》卻褒貶不一，雖然上映當天豆瓣評分便由8.2跌到7.1，但單日票房卻依舊過億。
作為掌握技術(shù)Pythoner，我們除了關(guān)注彭于晏的屁股，還應(yīng)該關(guān)注許晴的臀部，啊不是，應(yīng)該透過現(xiàn)象去看清本質(zhì)。
那么咱們來通過爬取豆瓣影評獲取數(shù)據(jù)進行分析。
數(shù)據(jù)的獲取
對于數(shù)據(jù)的獲取，本文采用的是Python爬蟲的方式獲取的數(shù)據(jù)。用到的主要是requests包與正則包re。(注意：該程序并未對驗證碼進行處理。爬取內(nèi)容少不會遇到驗證碼，但上萬評論可能會跳出驗證碼)
爬取的內(nèi)容主要是：用戶名，是否看過，評論的星星點數(shù)，評論時間，認為有用的人數(shù)，評論內(nèi)容。參看下圖(用戶名已隱藏)：
以下是Python爬蟲的代碼:
- import requests
- import re
- import pandas as pd
- url_first='https://movie.douban.com/subject/26366496/comments?start=0'
- head={'User-Agent':'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Ubuntu Chromium/59.0.3071.109 Chrome/59.0.3071.109 Safari/537.36'}
- cookies={'cookie':'你自己的cookie'} #也就是找到你的賬號對應(yīng)的cookie
- html=requests.get(url_first,headers=head,cookies=cookies) reg=re.compile(r'<a href="(.*?)&.*?class="next">') #下一頁
- ren=re.compile(r'<span>(.*?)</span>.*?comment">(.*?)</a>.*?</span>.*?<span.*?class="">(.*?)</a>.*?<span>(.*?)</span>.*?title="(.*?)"></span>.*?title="(.*?)">.*?class=""> (.*?) ',re.S) #評論等內(nèi)容
- while html.status_code==200: url_next='https://movie.douban.com/subject/26366496/comments'+re.findall(reg,html.text)[0]
- zhanlang=re.findall(ren,html.text)
- data=pd.DataFrame(zhanlang)
- data.to_csv('/home/wajuejiprince/文檔/zhanlang/zhanlangpinglun.csv', header=False,index=False,mode='a+') #寫入csv文件,'a+'是追加模式 data=[] zhanlang=[] html=requests.get(url_next,cookies=cookies,headers=head)
△注意設(shè)置你自己的User-Agent，Cookie，CSV保存路徑等
爬取的內(nèi)容保存成CSV格式的文件，如下所示：
數(shù)據(jù)的處理
雖然在爬取的時候已經(jīng)非常注意爬取內(nèi)容的結(jié)構(gòu)了，但是還是不可避免的有一些值不是我們想要的，比如有的評論內(nèi)容會出現(xiàn)在評論者這一項中。比如評論重復(fù)，所以還是首先有必要進行一下數(shù)據(jù)的清洗。
接下來就可以進行數(shù)據(jù)淺析，比如通過星星數(shù)判定評論質(zhì)量：
- plot_ly(my_dt[,.(.N),by=.(五星數(shù))],type = 'bar',x=~五星數(shù),y=~N)
對評論結(jié)果的云圖展示：
♦首先我們應(yīng)該先進行評論的分詞
- wk <- worker()
- sw<-function(x){wk<=x}
- segwords<-lapply(my_dt[,評論內(nèi)容],sw)
- my_segwords<-unlist(segwords) #不要列表
- #去除停止詞
- st<-readLines(file.choose())
- #讀取停止詞stopwords<-c(NULL)
- for(i in 1:length(st))
- { stopwords[i]<-st[i]}
- seg_Words<-filter_segment(my_segwords,stopwords) #去除中文停止詞
♦總體評論云圖展示
- words<-table(seg_Words)%>%data.table()setnames(words,"N","pinshu")
- words[pinshu>1000] #去除較低頻數(shù)的詞匯（小于1000的）wordcloud2(words[pinshu>1000], size = 2, fontFamily = "黑體",color = "random-light", backgroundColor = "grey")
由于數(shù)據(jù)太多，防止卡頓，所以在制作云圖的時候去掉了頻數(shù)低于1000的詞匯。
云圖結(jié)果如下：
可以看出，排名靠前的熱詞分別是姜文、不錯、好看、彭于晏、劇情、看不懂等，評論確實是五花八門，當然這也是姜文電影的特點吧。
最后送大家一張希臘雕塑般美好的肉體福利
