使用深度學習來預測NBA比賽結果
這篇文章，我們來使用深度學習來預測 NBA 比賽結果。通過本文，我們可以學習到：
- 如何爬取 NBA 技術統計數據;
- 如何預處理數據;
- 如何搭建簡單的深度網絡模型;
- 如何預測比賽結果。
最終我們得到一個預測第二天比賽準確率 100% 的模型。
技術統計數據收集
要用深度學習來預測比賽結果，需要有大量技術統計數據作為學習樣本。
來看下官方的技術統計網站：http://stats.nba.com/schedule
打開瀏覽器的開發者工具，點擊每場比賽右邊的 BOX SCORE，我們就能看到會請求這樣的一個 json 文件：
具體到我們要找的數據統計，是這個 json 里面的 hls (主隊數據) 和 vls (客隊數據)：
url 是這種格式：
https://data.nba.com/data/10s/v2015/json/mobile_teams/nba/2017/scores/gamedetail/0021700228_gamedetail.json
多嘗試幾次就可以發現規律：
- https://data.nba.com/data/10s/v2015/json/mobile_teams/nba/ 這個是固定的;
- 2017 是賽季開始年份，比如上賽季則是 2016;
- /scores/gamedetail/ 和 ***的 _gamedetail.json 也是固定的;
- 0021700228 則是比賽的 id，規律為 002 是規定的，17 則是賽季開始年份的后兩位，如上賽季是 16;00228 則是 5 位的數字，從 1 開始，不足補零，比如該賽季***場是 00001，而 00228 就是第 228 場比賽;
- 抓到的 url 是 https，其實 http 也是支持的，抓取時比 https 快點。
收集腳本比較簡單，就是循環獲取，然后存 redis。
對于我們要用來跑訓練的數據，需要整理成 主隊數據 - 客隊數據的方式，并增加一個 win or lose 的 label (籃球比賽沒有平局)。
- 127.0.0.1:6379> HGET gamedetaildiff 0021700228_gamedetail.json
- "{u'ast': 2, 'win': 1.0, u'fbptsa': 6, u'tf': 1, u'bpts': -4, 'away': u'LAC', u'pip': -2, 'home': u'CHA', u'dreb': 4, u'fga': 4, u'tmtov': 0, u'scp': 14, 'date': u'2017-11-19', u'fbptsm': 5, u'tpa': -3, u'fgm': 1, u'stl': 2, u'fbpts': 10, u'ble': 13, u'tov': -6, u'oreb': 1, u'potov': 16, u'fta': 10, u'pipm': -1, u'pf': -6, u'tmreb': -2, u'blk': 3, u'reb': 5, u'pipa': -4, u'ftm': 10, u'tpm': 3}"
***一共收集了，2015、2016、2017 至 2017-11-19 三個賽季的有效數據共 2699 條。
數據預處理
我們用 Pandas 來做數據處理，非常方便。
先直接從 redis 里讀入數據：
- import pandas as pd
- import redis
- import ast
- cli = redis.Redis()
- data = cli.hgetall("gamedetaildiff")
- df = pd.DataFrame([ast.literal_eval(data[k]) for k in data])
- df = df.fillna(value=0.0) # 用 0 填補空白數據
- df.head()
輸入數據去掉無關項，整理成訓練數據和測試數據：
- dataX = df.drop(["win", "date", "home", "away"], axis=1)
- dataY = df["win"]
- train_x = np.array(dataX)[::2] # train set
- train_y = np.array(dataY)[::2]
- test_x = np.array(dataX)[1::2] # test set
- test_y = np.array(dataY)[1::2]
處理后的數據維度：
搭建深度網絡
這部分其實反而是這篇文章中最簡單的部分，因為我們有 Keras：
- from keras.models import Sequential
- from keras.layers.core import Dense
- model = Sequential()
- model.add(Dense(60, input_dim=train_x.shape[1], activation='relu'))
- model.add(Dense(30, activation='relu'))
- model.add(Dense(1, activation='sigmoid'))
- model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy'])
最簡單的三層全連接層網絡。
因為網絡的輸出維度是 1，所以***一層的激活函數是 sigmoid，損失函數為 binary_crossentropy。
模型訓練以及驗證
可以看到 10 個 epochs 之后，模型對于訓練數據的準確度已經達到了 98.89%
再使用測試數據對該模型進行驗證：
訓練數據的準確度也達到了 95.40%，說明這個模型還是比較靠譜的。雖然訓練花不了幾秒鐘，但我們還是保存下吧：
- model.save("nba-model.hdf5")
新數據的預測
我們有模型可以來預測比賽結果了?，F在我們的問題就在于如何模擬對陣雙方的技術統計了。
我們用主隊上五場主場技術統計均值，和客隊上五場客場技術統計均值，兩者相減作為模型的預測輸入。
先從 redis 獲取下完整的數據：
- game_detail_data = cli.hgetall("gamedetail")
- game_detail_json = []
- for k in game_detail_data:
- di_v = {}
- di_h = {}
- j = json.loads(game_detail_data[k])
- vls = j["g"]["vls"]
- hls = j["g"]["hls"]
- di_v.update(vls["tstsg"])
- di_v.update({"date": j["g"]["gdtutc"], "name": vls["ta"], "home": 0})
- game_detail_json.append(di_v)
- di_h.update(hls["tstsg"])
- di_h.update({"date": j["g"]["gdtutc"], "name": hls["ta"], "home": 1})
- game_detail_json.append(di_h)
- game_detail_df = pd.DataFrame(game_detail_json)
- game_detail_df = game_detail_df.fillna(value=0.0)
用 Pandas 可以一行代碼實現 找到主隊上五場主場數據均值 的功能：
- def predict(home=None, away=None):
- home_data = game_detail_df[(game_detail_df['name']==home) & (game_detail_df['home']==1)].sort_values(by='date', ascending=False)[:5].mean()
- away_data = game_detail_df[(game_detail_df['name']==away) & (game_detail_df['home']==0)].sort_values(by='date', ascending=False)[:5].mean()
- home_data = home_data.drop(['home'])
- away_data = away_data.drop(['home'])
- new_x = np.array(home_data - away_data)
- return model.predict_classes(new_x[np.newaxis,:], verbose=0)[0][0]
預測效果
數據只收集到美國時間 2017-11-19：
我們來看下 2017-11-20 那天的比賽結果：
跑下我們模型的預測結果：
11 場全部正確，amazing !!
