在大數(shù)據(jù)的工作中，有很多的挑戰(zhàn)。3V(Volume(體積大)、Velocity(增速快)、Variety(多樣化))是最受人關(guān)注的。谷歌搜索的許多結(jié)果都值得一讀，幾乎都集中在大數(shù)據(jù)的管理和處理的技術(shù)挑戰(zhàn)方面。在這篇文章中，我想強(qiáng)調(diào)的是，即使是底層的3V基礎(chǔ)設(shè)施處理的相當(dāng)完美的情況下，大數(shù)據(jù)的挑戰(zhàn)性仍然存在。

在谷歌，我有機(jī)會在一個(gè)令人羨慕的工程團(tuán)隊(duì)工作。我學(xué)會了大規(guī)模運(yùn)行各種服務(wù)的多個(gè)方面的能力，以及開發(fā)和推出令人信服的數(shù)據(jù)產(chǎn)品。我工作的產(chǎn)品是動態(tài)搜索廣告，可以自動的進(jìn)行廣告語的搜集設(shè)置和優(yōu)化。給定一個(gè)廣告主的網(wǎng)站，我們的目標(biāo)是挖掘相關(guān)的關(guān)鍵詞，并為每一個(gè)關(guān)鍵字自動創(chuàng)建一個(gè)廣告（廣告文本以及廣告頁面）。我的數(shù)據(jù)來自各種數(shù)據(jù)源，經(jīng)常用于改進(jìn)我們的產(chǎn)品，有時(shí)用于調(diào)試。

我們都知道，谷歌處理著網(wǎng)絡(luò)上大量信息，并使用戶能夠快速找到相關(guān)信息。但是，有多少工程師覺得在谷歌是和數(shù)據(jù)工作？

在一方面，他們感到有能力處理谷歌收集的大量個(gè)人特征行為數(shù)據(jù)。谷歌的數(shù)據(jù)基礎(chǔ)設(shè)施建設(shè)是最好的。這是一個(gè)存儲和處理“大數(shù)據(jù)”的現(xiàn)代思維的開創(chuàng)地。聚集了高水平的工程師，一個(gè)自然的結(jié)果就是創(chuàng)建大量的信息豐富的衍生數(shù)據(jù)集。

在另一方面，我想我們能夠更有效和更專注于找尋和理解數(shù)據(jù)。讓我描述一些促成這些低效率的問題。

• 我何如找到我能夠使用的數(shù)據(jù)？在我找到了一些數(shù)據(jù)之后，我如何掌握這個(gè)數(shù)據(jù)集的內(nèi)容？
• 關(guān)于這些數(shù)據(jù)，我能找到誰來咨詢一些信息？是不是有其他人做著與我一樣的內(nèi)容？
• 我如何排除不期望的數(shù)據(jù)問題？上游數(shù)據(jù)的變化能夠解釋這個(gè)問題嗎？
• 我如何設(shè)置定期生成的垃圾數(shù)據(jù)收集策略？

現(xiàn)在，我將根據(jù)我過去的經(jīng)驗(yàn)來深入討論這些問題。

我如何找到和掌握數(shù)據(jù)？

讓我們考慮一個(gè)場景：當(dāng)谷歌內(nèi)的一個(gè)工程師或數(shù)據(jù)分析要找到相關(guān)的數(shù)據(jù)，可以說，在GFS(google file system)中的Dremel表或SSTable。她需要記住表的名稱，并且在谷歌的無數(shù)的數(shù)據(jù)存儲中包含它。此外，不同于這些自描述的文件，它是不容易“理解”什么是一個(gè)數(shù)據(jù)集中，以及如何使用它。用戶需要通過與指導(dǎo)這個(gè)數(shù)據(jù)的人交談，或者通過一些其他的替代方式。對比谷歌內(nèi)的工程師在用于發(fā)現(xiàn)和理解數(shù)據(jù)所花的精力，相對于外部用戶在使用谷歌來查找和了解信息的花費(fèi)。

讓我想起了身邊類似的情況我自己的失望經(jīng)歷之一。我在谷歌的AdWords小組工作。我需要找到在谷歌的產(chǎn)品中導(dǎo)致相似用戶行為的搜索查詢信息，特別是搜索和廣告。我覺得在搜索和廣告團(tuán)隊(duì)一定有幾個(gè)數(shù)據(jù)集存在。我找了兩個(gè)廣告團(tuán)隊(duì)，因?yàn)槲抑涝谶@個(gè)項(xiàng)目中的幾個(gè)人。但是，事實(shí)證明，經(jīng)過進(jìn)一步的調(diào)查，我因?yàn)槟繕?biāo)應(yīng)用的差異而不能使用。不過，我運(yùn)氣不錯(cuò)的從搜索團(tuán)隊(duì)找到了類似的信息。我試著重建自己的工作，花了幾個(gè)月但并沒有成功。最近，在我離開谷歌，一個(gè)前同事告訴我，他偶然發(fā)現(xiàn)一個(gè)指向正確的數(shù)據(jù)，并成功地用它！

當(dāng)然，圍繞著找數(shù)據(jù)和掌握數(shù)據(jù)的問題并不是谷歌特有的問題，而是任何一個(gè)使用數(shù)據(jù)去加強(qiáng)市場決策或者產(chǎn)品改進(jìn)的組織。當(dāng)然，在谷歌中的工程師有一個(gè)比較好的機(jī)會通過令人羨慕的內(nèi)部工具去克服這些問題。(例如代碼搜索)

很多相關(guān)的數(shù)據(jù)技術(shù)的重點(diǎn)是處理大量的數(shù)據(jù)和可視化效果變的更好。但是，有沒有把重點(diǎn)放在授權(quán)用戶發(fā)現(xiàn)和理解這些數(shù)據(jù)庫中的數(shù)據(jù)，以準(zhǔn)備更可靠和高效的查詢和計(jì)算。

我認(rèn)為對這些問題缺乏關(guān)注的主要原因是，在查詢處理效率和可視化能力方面，這是一種更為具體的措施和表現(xiàn)。另一方面，現(xiàn)在很難清楚地闡明幫助數(shù)據(jù)用戶發(fā)現(xiàn)和理解數(shù)據(jù)的好處。通過這種方式，這不是真正的搜索在網(wǎng)絡(luò)上，直到谷歌來了，并說明了經(jīng)濟(jì)和生產(chǎn)力的收益，在廣泛的用戶？我相信我們正處于一場類似的數(shù)據(jù)消費(fèi)革命的時(shí)期。

我該請教誰？

當(dāng)一個(gè)分析師找到一個(gè)數(shù)據(jù)集之后，她需要通過其他分析師和應(yīng)用程序理解它的用法。經(jīng)常，要找到如此知識淵博的人員是非常困難的。有很多次我覺得很難，即使在谷歌，以確定我找到能談這個(gè)問題的人。當(dāng)我找到他們，我感到了那些工程師們的痛苦，他們被打斷很多次，只為回答最簡單的問題。

舉個(gè)例子，我被分派到一個(gè)任務(wù)，遷移一個(gè)應(yīng)用的讀取數(shù)據(jù)，從一個(gè)引擎到一個(gè)新的高效率的引擎。遷移中最大的部分就是重寫查詢結(jié)構(gòu)，從新的圖表中讀取數(shù)據(jù)。我是少數(shù)幾個(gè)在過去做過這個(gè)遷移的人，因此類似的問題必須解決。但是，在維基百科中沒有我需要的信息。所以，我不得不很勉強(qiáng)地把自己變成一個(gè)非常忙碌的首席工程師，我唯一知道的一個(gè)就是得到幫助。我會很感激，如果我能很快找到一個(gè)做過類似的遷移工作的人。

在另一方面，我要反復(fù)地回答相同的對我處理和維護(hù)的數(shù)據(jù)問題，我試圖建立一個(gè)維基頁面，但還是被問了很多問題。我們都知道，保持維基更新和可用在時(shí)間上也是非常具有挑戰(zhàn)性的?；叵肫饋恚绻液屯驴赡苠e(cuò)過了幾次更新，我不會感到驚訝。

花費(fèi)多少時(shí)間？

然而，分析師有多少時(shí)間是花在找數(shù)據(jù)和理解數(shù)據(jù)的活動中的？我還沒試過測算，我們只是沒有方法和工具來測算。但是，這取決于你問的是誰，他們需要使用哪些數(shù)據(jù)，答案會有很大的不同。一個(gè)新人處理一個(gè)特定的數(shù)據(jù)集將花費(fèi)超過80%的時(shí)間在這些任務(wù)上。而專家則少得多。然而，專家們卻花時(shí)間在一遍又一遍的回答其他人的問題。