當企業組織在部署實施其大數據計劃遇到挑戰時，往往會感到灰心。關于大數據，當前對于其相關技術的缺乏、其安全性、數據的不可預測性、不可持續的成本，以及需要特別針對大數據項目制定相關商業案例的需求等等問題，都可能導致企業的大數據項目陷入困頓。

但是，鑒于大數據所具備的改革企業業務的強大能力，當前的企業組織克服這些挑戰，并積極的實現大數據項目的價值是至關重要的。云服務可以幫助企業實現其目標。在本文中，我們將為廣大讀者朋友們分析企業在實施大數據項目時所面臨的最大挑戰，并還將詳細解釋如何在云中有效克服這些挑戰。

現如今，企業管理者們幾乎每天都不可避免的會看到諸如“大數據”或“云服務”這樣的字眼。為了確保在當今的市場上具有競爭力，企業必須做出明智的業務決策，這些業務決策將產生真正的結果，無論這些結果是幫助增加企業的營收，留住客戶還是提高產品的質量。而大數據分析項目則是實現這些目標的關鍵因素。

IDG公司將大數據定義為“企業從各種來源所收集的大量數據信息，包括來自企業應用程序/數據庫的交易數據、社交媒體數據、移動設備數據，非結構化數據/文檔，機器生成的數據等等。”IDG稱：各種各樣的高容量、高傳輸速度的數據信息資產可以為企業提供更好的見解，幫助企業做出業務決策。“

大數據使企業能夠更深入地了解自己的業務，并實時制定戰略決策。事實上，據IDG 的《大數據和分析調研報告》稱：有1/3的受訪者表示，由于他們的所在企業實施了大數據項目，使得其決策質量得到了提高，有助于更好地進行規劃和預測。

但是，就如同任何新興技術一樣，由其所帶來的挑戰也是并存的。第一大挑戰是海量的數據量和傳輸速度。實時變化的海量數據意味著企業現有的工具和方法都將不再奏效。企業還要需要考慮數據的來源：在某些情況下，大數據來自于數百萬個地方——這些來源包括：客戶、傳感器、網站和社交媒體。

企業以前所采用的方法是：通過構建或擴展企業容量的方式來處理大數據所帶來的工作負載。這是一項資源密集型的舉措，其成本代價昂貴、耗時。需要花費大量IT人員的時間和技能，并且無法使您企業的業務足夠快的實現遷移。您企業最終可能需要花費更多的時間和資金成本在基礎設施上，而不是將其用于打造好的產品和服務。

云服務可以幫助解決很多這些問題。毫不奇怪，在未來三到五年內，云服務和預測分析將是最有可能對企業產生顛覆性影響的三大技術之一。(第三個是自助IT服務。)

如果您企業要利用大數據進行預測分析，那么，憑借著其諸多的優勢，云服務可能是一大關鍵的推動因素。

企業部署大數據項目的前5大挑戰

盡管已經有了大量的成功案例，但真正實施一項大數據項目并不是一件易事。事實上，其提出了許多挑戰，其中任何一項挑戰都可能使項目在開始之前就脫軌。在其大數據和分析調查報告中，IDG確定了如下這5大挑戰：

1、對于相關技能的缺乏

大數據系統的發展速度是如此之快，以至于當前一般的企業幾乎不可能跟上其發展的步伐。新的工具、功能和框架在幾個月內就能夠發展和成熟，導致企業在新興大數據技能方面存在著很大的差距，也就很容易阻礙企業大數據項目的發展。

事實上，有48%的企業受訪者認為，在數據分析和數據管理技能方面的人才的短缺是他們所在企業所面臨的第一大挑戰。對大數據技能的需求(尤其是在分析領域)的需求如此之大，以至于70%的受訪者均表示他們計劃在未來的12到18個月內雇用具備大數據分析技能的人才。

企業在如何進行長期的IT投資，利用現有的技能，并獲得新的技能方面正面臨著質疑。還有一個問題是：面臨著諸如Hive、Pig、MapReduce、Spark、NoSQL存儲等等一系列的技術和框架，企業要如何進行抉擇，以最好的適應其特定的大數據項目。同時，企業業務對于高度分析和數據管理技能的強勁需求也在持續不斷的增長。

利用云服務，企業可以利用最新的技術，而無需投入大量的時間和資源來進行持續的設置、維護和升級工作。云服務還允許企業使用他們已有的技能，而托管服務則可以完美的補充他們所缺乏的技能。

2、成本方面的挑戰

47%的受訪者表示，當實施大數據項目時，預算限制是當今企業所面臨的第二大挑戰。成本因素已經連續多年成為絕大多數企業所頭號關注的事實便證明了這一挑戰。

大多數大數據技術需要大量的服務器集群，而這需要很長的配置和設置周期，進而導致了大量的資本支出和維護開銷。更為復雜的是，隨著現有應用程序或新業務需求的多樣化數據量的不斷增長，數據傳輸速度不斷增加，可能導致不可持續的IT成本。企業需要知道如何在盡量壓縮開支的情況下從大數據中獲取盡可能多的價值。

他們必須能夠擴展基礎架構以管理大數據，同時降低IT成本。這正是云服務所能夠幫助企業做到的。云服務消除了企業采購和維護硬件和軟件基礎設施的需要，以及與之相關的大量資本支出。進而使得企業得以能夠將有限的資金重新分配到其核心創新中。

3、數據的不可預測性

大數據來自各種各樣的來源，從企業傳統遺留應用程序和交易系統到由機器、移動設備、網絡日志和社交媒體生成的數據。這使得預測所需容量變得更加困難和低效。單個事件可能會導致數據量和工作量的突然變化。例如，一家金融服務機構在任何一天都可能會經歷10倍的數量波動，而具體的波動則取決于市場狀況，是很難預測的。

四分之一的企業受到大數據對存儲容量/基礎設施日益增長的需求的挑戰。企業不僅需要規劃基礎架構，還必須確定如何輕松擴展，以滿足不斷變化的存儲和計算要求。對于幾乎任何企業來說，將其基礎架構容量規模擴展10倍來支持峰值需求，讓這些額外的容量在90%的時間內均處于閑置狀態，無疑是非常低效且不符合成本效益的。其他問題包括由于數據的增長所導致的基礎設施和維護成本不斷升高，還需通過實驗來確保足夠的帶寬來支持創新，以及數據采集和分析的成本。

借助云服務，企業無需為最大容量調整其基礎架構的規模大小。其彈性屬性使企業可以根據需要實現動態擴展或縮減基礎架構。

4、安全

隨著企業收集、存儲和分析來自新的和現有來源的越來越多的數據信息，數據的安全性變得更受關注。接近35%的受訪者表示不確定或不認為他們所在企業現有的安全解決方案和產品提供了足夠的數據安全性。企業正在努力的控制數據訪問，保護數據資產和保護基礎設施。最終，企業需要決定如何確保符合合規性、數據管理和安全性的要求，而又不會影響到靈活敏捷性和性能。例如，醫療保健行業的企業必須遵守HIPAA的合規性要求，這是一項復雜的任務，不僅要保護存儲數據的本身，還要確保通過計算機、打印機和復印機訪問數據時的安全。

金融服務業的企業也同樣面臨著挑戰。大數據是最近發展得最有前途的新技術之一，其專注于提供改善客戶體驗的，降低風險并滿足合規性要求。而當涉及到我們所討論的大數據挑戰，比如安全性時，金融服務企業需要考慮：

• 其財務信息是否有著嚴格的管理和合規要求。
• 金融服務公司所創造或使用的所有數據基本上都是受監管的，可能是敏感的或私人的數據信息。
• 金融服務機構必須遵守GLBA、SOX / J-SOX、MiFID II、Basel II、甚至“美國愛國者法案”的規定。
• 大數據也意味著您企業的信息并不是閑置狀態：重點是使用這些數據來獲得更好的業務成果。這些數據不斷被多個用戶和系統生成、處理和分析。
• 結合日常的安全需求，如防范內部和外部的安全攻擊，保證數千客戶數據的安全和隱私，使得這方面挑戰的范圍更加明確。

即使是大數據安全方面的挑戰，也可以通過選擇具有強大數據隱私保護和安全控制能力的供應商來解決。事實上，云服務比企業自有數據中心更安全并不罕見。由于云服務提供商正在提供強大的計算基礎架構，因此保持安全的環境符合他們的最大利益。為此，許多云提供商已經積累了來自多家企業的最佳實踐方案和經驗，并具有最嚴格的安全要求。

5、創建一個商業案例

在很多情況下，IT部門需要為大數據創建商業案例。據IDG稱，企業的IT負責人比非IT負責人更有可能負責確定需求和解決方案方面的業務需求。他們需要推薦和選擇供應商，批準和授權采購，并在IT團隊之外銷售解決方案。但企業業務部門的領導也并不能置身事外。IDG表示，45%的受訪者表示其首席執行官參與了大數據項目的制定實施。首席財務官和業務線主管們也越來越多地在大數據項目中發揮關鍵作用。

如果你企業還沒有建立起一個穩定的商業案例，并收集來自強大的盟友，如關鍵業務利益相關者的意見，那么你企業很可能不會獲得大數據項目所需資源的批準。

有四分之一的受訪者表示，展示投資回報率是所有企業的大數據項目所面臨的挑戰。事實是，大數據還相對不成熟，可能涉及一定程度的實驗，其成本可能會非常高。為了針對具體的項目舉措進行實驗，企業必須做出無差別的繁重工作，這需要花費大量的時間和精力。這無疑會放慢創新的步伐，最終降低大數據項目的價值。

在許多情況下，證明投資回報最簡單的方法是降低總體擁有成本。但如前所述，傳統基礎設施管理大數據的成本是不可持續的。使用云服務重新構建現有工作負載可幫助企業顯著的降低成本。另外，利用云服務還可以通過降低實驗成本來加速創新的步伐。成功的實驗將顯示出可衡量的效益，一旦到位，將激發更多的需求。

使用云服務來克服上述挑戰

正確的云計算方法有助于最大限度地減少部署大數據應用程序的障礙，甚至消除部分障礙。像大數據一樣，云服務是具有高度顛覆性的一大力量，其正在改變企業的運作方式和經營方式。

而如果將云和大數據結合起來，其影響就更大了。

但是決定采用云服務也并不能在一夜之間就能夠解決您企業的大數據問題。而且，許多云服務提供商也僅僅只是提供了您企業所需要的所有服務的一部分。而且，他們需要進行大量的整合工作，這往往會讓你企業面臨又一重大問題，并且讓您難以取舍：價格還是可擴展性?性能還是易用性?靈活敏捷性還說安全性?

在評估云提供商時，企業需要尋找可以直接解決這些挑戰的解決方案。

技能短缺：您企業需要廣泛的功能來構建、擴展和安全部署大數據應用程序。這些功能應涵蓋大數據的所有不同方面，從數據收集到存儲、分析和數據可視化。企業應該尋找能夠提供托管服務的云提供商，以盡量減少管理開銷，并能夠與大數據中廣泛的技術充分兼容。這將使您企業能夠充分利用您擁有的技能，并獲得幫助。

成本和商業案例的制定：企業遷移到云服務將無需采購和維護硬件。為了幫助構建商業案例，請選擇一家可以幫助降低TCO的提供商。靈活的定價模式：從預留實例(Reserved Instance)到按需實例(On-demand Instance)，甚至是競價實例(Spot Instance)都可以提供巨大的節省機會，降低管理和處理數據的成本結構。

數據的不可預測性：您企業的云服務提供商應該允許您快速輕松地進行擴展或縮減以響應需求的變化。例如，將存儲從計算容量中分離出來，使企業只選擇他們所需要的資源類型和規模大小，并只支付他們所使用的資源。

計算選項：您企業的提供商應該提供適用于最廣泛的大數據工作負載的多種多樣的計算選項。這包括計算優化的實例;用于高性能計算的GPU實例;為內存密集型應用程序提供內存優化的具有兆字節內存的實例;以及針對大規模并行數據倉庫應用程序，Hadoop或NoSQL數據庫的非常快的SSD存儲的存儲優化實例。

安全性：尋找一款云計算基礎設施，旨在保證安全，并經常審核其是否符合各種行業標準，如HIPAA、PCI DSS或FedRAMP.確保云提供商提供適合審計的服務和合規計劃，以幫助您企業滿足安全和管理要求。并確保提供商提供所有服務的靜態和傳輸數據加密，以及廣泛的數據加密選項。

云服務的本質使其非常適合大數據。由于云計算的可擴展性，彈性和經濟模型，可以讓企業根據需要進行規模化縮放，而無需在高峰容量的環境中構建和投資。云計算使企業能夠降低與繁重工作相關的成本，而將節省的資金再投資于能夠為企業提供價值的項目。可衡量的節省將有助于獲得更多的贊助商，而這些節余可以用來資助其他大數據項目。

結論

展望未來，大數據將在幫助企業做出更明智、更快速的業務決策方面發揮越來越重要的作用。 但是，企業不必因技能短缺，成本有限，數據的不可預測性，安全問題或創建商業案例方面的困難而受到阻礙。云服務，可以解決許多這些要求。其使得使企業能夠迭代大數據分析，專注于業務需求，而無需擔心收集、存儲和處理大數據所需的IT基礎架構。借助由云服務供應商所提供的解決方案，企業可以以更快，更低的成本來分析數據，從而更快地實現業務目標。