基于PaddlePaddle的點擊率的深度學習方法嘗試
前言
前面在團隊內部分享點擊率相關的一些文章時，輸出了一篇常見計算廣告點擊率預估算法總結,看了一些廣告點擊率的文章，從最經典的Logistic Regression到Factorization Machined，FFM，FNN，PNN到今年的DeepFM，還有文章里面沒有講的gbdt+lr這類，一直想找時間實踐下，正好這次在學習paddle的時候在它的models目錄下看到了DeepFM的實現，因為之前對DeepFM有過比較詳細的描述，這里稍微復習一下：
DeepFM更有意思的地方是WDL和FM結合了，其實就是把PNN和WDL結合了，PNN即將FM用神經網絡的方式構造了一遍，作為wide的補充，原始的Wide and Deep，Wide的部分只是LR，構造線性關系，Deep部分建模更高階的關系，所以在Wide and Deep中還需要做一些特征的東西，如Cross Column的工作，而我們知道FM是可以建模二階關系達到Cross column的效果，DeepFM就是把FM和NN結合，無需再對特征做諸如Cross Column的工作了，這個是我感覺最吸引人的地方，其實FM的部分感覺就是PNN的一次描述，這里只描述下結構圖，PNN的部分前面都描述, FM部分：
Deep部分：
DeepFM相對于FNN、PNN，能夠利用其Deep部分建模更高階信息（二階以上），而相對于Wide and Deep能夠減少特征工程的部分工作，wide部分類似FM建模一、二階特征間關系， 算是NN和FM的一個更***的結合方向，另外不同的是如下圖，DeepFM的wide和deep部分共享embedding向量空間，wide和deep均可以更新embedding部分，雖說wide部分純是PNN的工作，但感覺還是蠻有意思的。
本文相關代碼部分都是來自于paddlepaddle/model, 我這里走一遍流程，學習下，另外想要了解算法原理的可以仔細再看看上面的文章，今天我們來paddlepaddle上做下實驗，來從代碼程度學習下DeepFM怎么實現的：
數據集說明
criteo Display Advertising Challenge，數據主要來criteolab一周的業務數據，用來預測用戶在訪問頁面時，是否會點擊某廣告。
wget --no-check-certificate https://s3-eu-west-1.amazonaws.com/criteo-labs/dac.tar.gz tar zxf dac.tar.gz rm -f dac.tar.gz mkdir raw mv ./*.txt raw/
數據有點大， 大概4.26G，慢慢等吧，數據下載完成之后，解壓出train.csv，test.csv，其中訓練集45840617條樣本數，測試集45840617條樣本，數據量還是蠻大的。 數據主要有三部分組成：
- label: 廣告是否被點擊；
- 連續性特征: 1-13，為各維度下的統計信息，連續性特征；
- 離散型特征：一些被脫敏處理的類目特征
Overview
整個項目主要由幾個部分組成:
數據處理
這里數據處理主要包括兩個部分：
- 連續值特征值處理：
- 濾除統計次數95%以上的數據，這樣可以濾除大部分異值數據，這里的處理方式和以前我在1號店做相關工作時一致，代碼里面已經做了這部分工作，直接給出了這部分的特征閾值；
- 歸一化處理，這里andnew ng的課程有張圖很明顯，表明不同的特征的值域范圍，會使得模型尋優走『之』字形，這樣會增加收斂的計算和時間；
- 離散特征值處理：
- one-hot: 對應特征值映射到指定維度的只有一個值為1的稀疏變量；
- embedding: 對應特征值映射到指定的特征維度上；
具體我們來研究下代碼：
class ContinuousFeatureGenerator:
"""
Normalize the integer features to [0, 1] by min-max normalization
"""
def __init__(self, num_feature):
self.num_feature = num_feature
self.min = [sys.maxint] * num_feature
self.max = [-sys.maxint] * num_feature
def build(self, datafile, continous_features):
with open(datafile, 'r') as f:
for line in f:
features = line.rstrip('\n').split('\t')
for i in range(0, self.num_feature):
val = features[continous_features[i]]
if val != '':
val = int(val)
if val > continous_clip[i]:
val = continous_clip[i]
self.min[i] = min(self.min[i], val)
self.max[i] = max(self.max[i], val)
def gen(self, idx, val):
if val == '':
return 0.0
val = float(val)
return (val - self.min[idx]) / (self.max[idx] - self.min[idx])
連續特征是在1-13的位置，讀取文件，如果值大于對應維度的特征值的95%閾值，則該特征值置為該閾值，并計算特征維度的***、最小值，在gen時歸一化處理。
class CategoryDictGenerator:
"""
Generate dictionary for each of the categorical features
"""
def __init__(self, num_feature):
self.dicts = []
self.num_feature = num_feature
for i in range(0, num_feature):
self.dicts.append(collections.defaultdict(int))
def build(self, datafile, categorial_features, cutoff=0):
with open(datafile, 'r') as f:
for line in f:
features = line.rstrip('\n').split('\t')
for i in range(0, self.num_feature):
if features[categorial_features[i]] != '':
self.dicts[i][features[categorial_features[i]]] += 1
for i in range(0, self.num_feature):
self.dicts[i] = filter(lambda x: x[1] >= cutoff,
self.dicts[i].items())
self.dicts[i] = sorted(self.dicts[i], key=lambda x: (-x[1], x[0]))
vocabs, _ = list(zip(*self.dicts[i]))
self.dicts[i] = dict(zip(vocabs, range(1, len(vocabs) + 1)))
self.dicts[i]['<unk>'] = 0
def gen(self, idx, key):
if key not in self.dicts[idx]:
res = self.dicts[idx]['<unk>']
else:
res = self.dicts[idx][key]
return res
def dicts_sizes(self):
return map(len, self.dicts)
類目特征的處理相對比較麻煩，需要遍歷，然后得到對應維度上所有出現值的所有情況，對打上對應id，為后續類目特征賦予id。這部分耗時好大，慢慢等吧，另外強烈希望paddlepaddle的小伙伴能在輸出處理期間打印下提示信息，算了，我之后有時間看看能不能提提pr。
經過上面的特征處理之后，訓練集的值變為：
reader
paddle里面reader的文件，自由度很高，自己可以寫生成器，然后使用batch的api，完成向網絡傳入batchsize大小的數據：
class Dataset:
def _reader_creator(self, path, is_infer):
def reader():
with open(path, 'r') as f:
for line in f:
features = line.rstrip('\n').split('\t')
dense_feature = map(float, features[0].split(','))
sparse_feature = map(int, features[1].split(','))
if not is_infer:
label = [float(features[2])]
yield [dense_feature, sparse_feature
] + sparse_feature + [label]
else:
yield [dense_feature, sparse_feature] + sparse_feature
return reader
def train(self, path):
return self._reader_creator(path, False)
def test(self, path):
return self._reader_creator(path, False)
def infer(self, path):
return self._reader_creator(path, True)
主要邏輯在兌入文件，然后yield對應的網絡數據的輸入格式
模型構造
模型構造，DeepFM在paddlepaddle里面比較簡單，因為有專門的fm層，這個據我所知在TensorFlow或MXNet里面沒有專門的fm層，但是值得注意的是，在paddlepaddle里面的fm層，只建模二階關系，需要再加入fc才是完整的fm，實現代碼如下：
def fm_layer(input, factor_size, fm_param_attr):
first_order = paddle.layer.fc(
input=input, size=1, act=paddle.activation.Linear())
second_order = paddle.layer.factorization_machine(
input=input,
factor_size=factor_size,
act=paddle.activation.Linear(),
param_attr=fm_param_attr)
out = paddle.layer.addto(
input=[first_order, second_order],
act=paddle.activation.Linear(),
bias_attr=False)
return out
然后就是構造DeepFM，這里根據下面的代碼畫出前面的圖，除去數據處理的部分，就是DeepFM的網絡結構：
def DeepFM(factor_size, infer=False):
dense_input = paddle.layer.data(
name="dense_input",
type=paddle.data_type.dense_vector(dense_feature_dim))
sparse_input = paddle.layer.data(
name="sparse_input",
type=paddle.data_type.sparse_binary_vector(sparse_feature_dim))
sparse_input_ids = [
paddle.layer.data(
name="C" + str(i),
type=s(sparse_feature_dim))
for i in range(1, 27)
]
dense_fm = fm_layer(
dense_input,
factor_size,
fm_param_attr=paddle.attr.Param(name="DenseFeatFactors"))
sparse_fm = fm_layer(
sparse_input,
factor_size,
fm_param_attr=paddle.attr.Param(name="SparseFeatFactors"))
def embedding_layer(input):
return paddle.layer.embedding(
input=input,
size=factor_size,
param_attr=paddle.attr.Param(name="SparseFeatFactors"))
sparse_embed_seq = map(embedding_layer, sparse_input_ids)
sparse_embed = paddle.layer.concat(sparse_embed_seq)
fc1 = paddle.layer.fc(
input=[sparse_embed, dense_input],
size=400,
act=paddle.activation.Relu())
fc2 = paddle.layer.fc(input=fc1, size=400, act=paddle.activation.Relu())
fc3 = paddle.layer.fc(input=fc2, size=400, act=paddle.activation.Relu())
predict = paddle.layer.fc(
input=[dense_fm, sparse_fm, fc3],
size=1,
act=paddle.activation.Sigmoid())
if not infer:
label = paddle.layer.data(
name="label", type=paddle.data_type.dense_vector(1))
cost = paddle.layer.multi_binary_label_cross_entropy_cost(
input=predict, label=label)
paddle.evaluator.classification_error(
name="classification_error", input=predict, label=label)
paddle.evaluator.auc(name="auc", input=predict, label=label)
return cost
else:
return predict
其中，主要包括三個部分，一個是多個fc組成的deep部分，第二個是sparse fm部分，然后是dense fm部分，如圖：
這里蠻簡單的，具體的api去查下文檔就可以了，這里稍微說明一下的是，sparse feature這塊有兩部分一塊是embedding的處理，這里是先生成對應的id，然后用id來做embedding，用作后面fc的輸出，然后sparse_input是onehot表示用來作為fm的輸出，fm來計算一階和二階隱變量關系。
模型訓練
數據量太大，單機上跑是沒有問題，可以正常運行成功，在我內部機器上，可以運行成功，但是有兩個問題：
- fm由于處理的特征為稀疏表示，而paddlepaddle在這塊的FM層的支持只有在cpu上，速度很慢，分析原因其實不是fm的速度的問題，因為deepfm有設計多個fc，應該是這里的速度影響， 在paddlepaddle github上有提一個issue，得知暫時paddlepaddle不能把部分放到gpu上面跑，給了一個解決方案把所有的sparse改成dense，發現在這里gpu顯存hold不住；
- 我的機器太渣，因為有開發任務不能長期占用；
所以綜上，我打算研究下在百度云上怎么通過k8s來布置paddlepaddle的分布式集群。
文檔https://cloud.baidu.com/doc/CCE/GettingStarted.html#.E9.85.8D.E7.BD.AEpaddlecloud
研究來研究去，***步加卡主了，不知道怎么回事，那個頁面就是出不來...出師未捷身先死，提了個issue: https://github.com/PaddlePaddle/cloud/issues/542，等后面解決了再來更新分布式訓練的部分。
單機的訓練沒有什么大的問題，由上面所說，因為fm的sparse不支持gpu，所以很慢，拉的百度云上16核的機器，大概36s/100 batch，總共樣本4000多w，一個epoch預計4個小時，MMP，等吧，分布式的必要性就在這里。
另外有在paddlepaddle里面提一個issue：
https://github.com/PaddlePaddle/Paddle/issues/7010，說把sparse轉成dense的話可以直接在gpu上跑起來，這個看起來不值得去嘗試，sparse整個維度還是挺高的，期待對sparse op 有更好的解決方案，更期待在能夠把單層單層的放在gpu，多設備一起跑，這方面，TensorFlow和MXNet要好太多。
這里我遇到一個問題，我使用paddle的docker鏡像的時候，可以很穩定的占用16個cpu的大部分計算力，但是我在云主機上自己裝的時候，cpu占用率很低，可能是和我環境配置有點問題，這個問題不大，之后為了不污染環境主要用docker來做相關的開發工作，所以這里問題不大。
cpu占有率有比較明顯的跳動，這里從主觀上比TensorFlow穩定性要差一些，不排除是sparse op的影響，印象中，TensorFlow cpu的占用率很穩定。
到發這篇文章位置，跑到17300個batch，基本能達到auc為0.8左右，loss為0.208左右。
預測
預測代碼和前一篇將paddle里面的demo一樣，只需要，重新定義一下網絡，然后綁定好模型訓練得到的參數，然后傳入數據即可完成inference，paddle，有專門的Inference接口，只要傳入output_layer，和訓練學習到的parameters，就可以很容易的新建一個模型的前向inference網絡。
def infer():
args = parse_args()
paddle.init(use_gpu=False, trainer_count=1)
model = DeepFM(args.factor_size, infer=True)
parameters = paddle.parameters.Parameters.from_tar(
gzip.open(args.model_gz_path, 'r'))
inferer = paddle.inference.Inference(
output_layer=model, parameters=parameters)
dataset = reader.Dataset()
infer_reader = paddle.batch(dataset.infer(args.data_path), batch_size=1000)
with open(args.prediction_output_path, 'w') as out:
for id, batch in enumerate(infer_reader()):
res = inferer.infer(input=batch)
predictions = [x for x in itertools.chain.from_iterable(res)]
out.write('\n'.join(map(str, predictions)) + '\n')
總結
照例總結一下，DeemFM是17年深度學習在點擊率預估、推薦這塊的新的方法，有點類似于deep and wide的思想，將傳統的fm來nn化，利用神經網絡強大的建模能力來挖掘數據中的有效信息，paddlepaddle在這塊有現成的deepfm模型，單機部署起來比較容易，分布式，這里我按照百度云上的教程還未成功，后續會持續關注。另外，因為最近在做大規模機器學習框架相關的工作，越發覺得別說成熟的，僅僅能夠work的框架就很不錯了，而比較好用的如現在的TensorFlow\MXNet，開發起來真的難上加難，以前光是做調包俠時沒有體驗，現在深入到這塊的工作時，才知道其中的難度，也從另一個角度開始審視現在的各種大規模機器學習框架，比如TensorFlow、MXNet，在深度學習的支持上，確實很棒，但是也有瓶頸，對于大規模海量的feature，尤其是sparse op的支持上，至少現在還未看到特別好的支持，就比如這里的FM，可能大家都會吐槽為啥這么慢，沒做框架之前，我也會吐槽，但是開始接觸了一些的時候，才知道FM，主要focus在sparse相關的數據對象，而這部分數據很難在gpu上完成比較高性能的計算，所以前面經過paddle的開發者解釋sparse相關的計算不支持gpu的時候，才感同身受，一個好的大規模機器學習框架必須要從不同目標來評價，如果需求是大規律數據，那穩定性、可擴展性是重點，如果是更多算法、模型的支持，可能現在的TensorFlow、MXNet才是標桿，多么希望現在大規模機器學習框架能夠多元化的發展，有深度學習支持力度大的，也有傳統算法上，把數據量、訓練規模、并行化加速并做到***的，這樣的發展才或許稱得上百花齊放，其實我們不需要太多不同長相的TensorFlow、MXNet錘子，有時候我們就需要把鐮刀而已，希望大規模機器學習框架的發展，不應該僅僅像TensorFlow、MXNet一樣，希望有一個專注把做大規模、大數據量、***并行化加速作為roadmap的新標桿，加油。
