Python分析新浪微博各種表情使用頻率
用新浪微博API積累了微博廣場的1.4萬條數據，我選擇了21個字段輸出為TXT文件，想用Python稍微處理一下，統計一下這1.4萬條微博里面表情使用情況，統計結構在***。
無聊的時候用了下新浪JAVA版的API，對JAVA還不熟悉，但是稍微改一下還是沒問題的，數據保存為TXT文件，再用Python處理，JAVA部分很簡單，Python部分只涉及到表情的正則提取，都不好意思寫出來了。
1、調用新浪JAVA API下載微博廣場數據
步驟思路：
初始化API的Weibo類，設置Token后，設置下載間隔，然后重復調用getPublicTimeline()函數就可以了，下面是主要類的代碼：
這個不是完整的代碼，沒有初始化暫停間隔，可以掠過，很簡單。
- class WriteWeiboData{
- private int n;
- public WriteWeiboData(int count)
- {
- this.n=count;
- }
- public void Start(){
- System.setProperty("weibo4j.oauth.consumerKey", Weibo.CONSUMER_KEY);
- System.setProperty("weibo4j.oauth.consumerSecret", Weibo.CONSUMER_SECRET);
- try {
- //獲取前20條***更新的公共微博消息
- Weibo weibo = new Weibo();
- //weibo.setToken(args[0],args[1]);
- weibo.setToken("keystring", "keyscrect");
- for(int i=0;i<this.n;i++){
- System.out.print("Start to get weibo data num "+(i+1)+"\n");
- List<Status> statuses =weibo.getPublicTimeline();
- for (Status status : statuses) {
- SaveData(status);
- }
- try{
- System.out.print("Success to get weibo data num "+(i+1)+"\n");
- System.out.print("Sleep for 30 seconds");
- Thread.sleep(30000);
- }catch(Exception ee){
- System.out.print("Sleep Error");
- }
- }
- } catch (WeiboException e) {
- e.printStackTrace();
- }
- }
- public void SaveData(Status status){
- //Return data format:
- //created_at,id,text,source,mid
- //user:id,screen_name,name,provience,city,location,description,url,domain,gender,
- //followers_count,friends_count,statuses_count,favourites_count,created_at,verified
- //annotations:server_ip
- try{
- User user=status.getUser();
- FileWriter fw=new FileWriter("F:/Sina.txt",true);
- fw.write(status.getCreatedAt()+"\t"+status.getId()+"\t"+status.getText()+"\t"+
- status.getSource()+"\t"+status.getMid()+"\t"+
- user.getId()+"\t"+user.getScreenName()+"\t"+user.getName()+"\t"+
- user.getProvince()+"\t"+user.getCity()+"\t"+user.getLocation()+"\t"+
- user.getDescription()+"\t"+user.getURL()+"\t"+user.getUserDomain()+"\t"+
- user.getGender()+"\t"+user.getFollowersCount()+"\t"+user.getFriendsCount()+"\t"+
- user.getStatusesCount()+"\t"+user.getFavouritesCount()+"\t"+user.getCreatedAt()+"\t");
- fw.write("\n");
- fw.close();
- }
- catch(Exception e){
- System.out.print("IO Error");
- }
- }
- }
2、數據格式：
要取得數據就是微博內容，先練一下手玩玩。
3、Python處理數據
目標：查看微博用戶表情使用情況，暫時只分性別，如果積累了合適的數據后可以分析各個時間段人們愛用哪種表情。
步驟：
$ 讀取TXT文件，遞歸處理每一行
$ 單獨提取出微博字段，正則提取表情字段，同時把性別提取出來，放到一個dict里面，dict的格式是：表情/女性使用頻率/男性使用頻率，遞歸處理，累積頻率
$ 把結果寫入到文件
注意：Python正則提取中文部分，先解碼成unicode編碼，再正則提取，表情的標志是[]，雖有誤差，但無大礙。
代碼：
__collection函數是處理函數，返回處理結果(dict)
- class EmotionFrequent():
- infoFile='F:/Sina.txt'
- def __init__(self):
- pass
- def __collection(self):
- f=open(self.infoFile)
- d=dict()
- n=1
- for line in f.readlines():
- if line.strip()=='' or line.strip()=='\n':
- pass
- cols=line.split('\t')
- if len(cols)<20:
- continue
- n+=1
- es=[]
- #if cols[2].find('[')!=-1 and cols[2].find(']')!=-1:
- info=cols[2]
- for i in re.findall(r'\[\S+?\]',info.decode('utf-8')):
- data=i[1:-1].encode('utf-8')
- if d.has_key(data):
- if cols[14]=='f':
- d[data][0]+=1
- d[data][2]+=1
- else:
- d[data][1]+=1
- d[data][2]+=1
- else:
- if cols[14]=='f':
- d[data]=[1,0,1]
- else:
- d[data]=[0,1,1]
- print 'Total records num '+str(n)
- return d
- pass
- def WriteDict(self):
- d=self.__collection()
- f=open('F:/keys.txt','w')
- for k in d:
- f.write(k+'\t')
- f.write(str(d[k][0])+'\t')
- f.write(str(d[k][1])+'\t')
- f.write(str(d[k][2])+'\n')
- f.close()
- pass
- def Run(self):
- self.WriteDict()
- pass
腳本運行結果：
把結果放到EXCEL里面重新排序，得到如下結果：
至于怎么解讀這個結果，有沒有意義，各有各的想法。
網友評價：印證了女人是情緒化動物，愛哭愛笑愛愛賣萌愛撒嬌要抱抱。。。。而男人，辛苦易生病易頭暈。
原文：http://www.cnblogs.com/Lannik/archive/2011/10/21/2219776.html
【編輯推薦】
