數據是系統的核心，在面向服務的架構之外，也可以考慮一下面向數據的架構方式。面向數據的服務架構需要支持多數據源異構，支持動態數據和靜態數據，既支持公有云部署又支持私有云部署，提供多種數據應用和數據產品，如下圖所示：

一般地，為了不影響業務系統的正常運行，會將不同數據源匯集起來，技術的采集與攝取，然后進行數據的存儲及一系列的操作處理， 最終通過各種的解決方案形成數據應用衍生的數據產品。

從開發的角度看，可以分成基礎設施，運營工具，開發工具和解決方案四層，從數據自身來看，也可以分為數據源，動態數據，靜態數據和數據應用4個層次，相互是有交疊的。

數據源

數據源決定了數據的寬度， 數量量決定了數據的厚度。即使是做數據應用，也是和具體的業務領域相關的，數據的價值不是憑空出現的。所以， 業務系統的數據是***位的，也是最容易獲得，直接的價值也較高。

其次是用戶的行為數據，經管用戶經受了產品本身的誘導和局限，但用戶的行為數據還是在一定程度上體現的用戶便好。 過去的可用性測試甚至形成了可用性工程，而今，一般都會通過用戶的行為數據來檢驗用戶體驗。

物聯網(IOT)的到來，凸顯了傳感器數據的重要性。傳感器數據是相對高頻的數據，與時間序列相關，可以考慮與時間相關的數據存儲，以及數據的遷移。位置數據可以看作是一種特殊的傳感器數據，通過位置數據可以得到物理上空間位置的描述，是一種非常有用的數據，尤其對移動互聯網應用而言。

社交幾乎也是無處不在的(anything can be social)，通過社交屬性的功能，可以使應用擁有一定的社會屬性，從而具備更多的價值。電子郵件可能是比較古老的互聯網應用了，可以看作是一種特殊的社交數據，數據采集可以通過標準的POP3/IMAP4協議實現，應用內的社交數據需要自己整理，對于第三方的社交平臺，一般都是提供API 接口服務的，只要注意以來訪問控制即可。

媒體的范圍較大，針對性的獲取數據需要爬蟲的相關技術，數字化媒體的各種限制對爬蟲而言是一個挑戰。相對而言，社交媒體和自媒體通用訪問接口的獲取想對容易一些。

不論是客戶的網站還是競品的網站，同樣需要爬蟲技術的幫助,這些數據將對業務系統的數據形成有益的補充。

文檔數據大多是非結構化數據，一般是文件系統和NoSQL 的勝場。對于很多企業而言，往往紙質文檔數據化的過程，隨著AI技術的發展，尤其是OCR 相關技術的逐漸成熟，所有文檔都是數據資源。

動態數據

動態數據的采集過程與靜態數據是類似的，關鍵在于分析流程，對于動態數據而言，分析是實事發生的。例如游樂園采用手環來采集用戶的信息，這些手環中記錄了用戶的相關行為，游樂園可以使用這些數據為用戶個性化推薦一些服務，這使得在用戶游覽期間的定制化服務成為可能。基于動態數據，在這些場景中使企業和用戶之間產生更多的商機成為可能。

對于動態數據，需要采用實時處理方法。時延是需要考量的一個關鍵因素，時間就是金錢在這里體現的***。 通過減少多租戶的資源約束和云服務的使用可以降低時延，提高性能水平，能夠實時處理大流量數據.

數據流程相似于傳統的ETL流程，在數據提取時同時完成數據的初步轉換和清洗，具體流程還是與目標息息相關的。數據流處理是動態數據處理的核心部分，既可以對動態數據進行進一步的清洗然后存儲，又可以直接引入分析方法，與后面的流式應用連接起來。

數據治理是指從使用零散數據變為使用統一主數據、從具有很少或沒有組織和流程治理到業務范圍內的綜合數據治理、從嘗試處理主數據混亂狀況到主數據井井有條的一個過程。數據治理對于確保數據的準確、分享和保護是至關重要的。有效的數據治理通過改進分析 算法、縮減存儲和計算成本、降低災備風險和提高安全合規等方式，最終體現數據的價值。

數據安全一是數據本身的安全，主要是指采用加密方法對數據進行主動保護，如數據保密、數據完整性、雙向身份認證等，同時也是數據防護的安全，主要是對數據存儲進行主動防護，如通過磁盤陣列、數據備份、異地容災等手段保證數據的安全。數據處理的安全是指如何有效的防止數據在錄入、處理、統計中由于硬件故障、人為誤操作、程序缺陷、病毒或黑客等造成的數據庫損壞或數據丟失現象，某些敏感或保密的數據可能不具備資格的人員閱讀，而造成數據泄密等后果。而數據存儲的安全是指數據在系統運行之外的可讀性。

數據運營是指通過對動態數據的分析挖掘，把隱藏在海量數據中的信息以合規化的形式發布出去，供數據的消費者使用。動態數據的數據運營是一個非常具有挑戰性的課題。

靜態數據

對于靜態數據的操作，更像是一種批處理形式，是一種離線分析，更像是傳統的OLAP，這樣可以擁有較高性能的處理能力。這意味著先從各種數據源獲取數據，然后再進行分析處理。靜態數據處理分為了兩個階段，例如一個零售終端分析上個月的數據來決定本月的商業活動, 是否能夠根據用戶的購買行為來發放定制化的優惠卷等等。

具體的分析計算既可以再私有云上執行，也可以在公有云上執行。對于一定規模數據，尤其是探索性數據分析，一般都可以在私有云進行計算，甚至直接在私有云上提供數據應用和數據產品。當數據規模和計算資源的需求達到一定程度的時候，可以考慮遷移的公有云。這是面向數據的一種混合云結構，為了使遷移簡單方便，需要保障環境的一致性，YARN 是資源調度的***選擇。當然，mesos 同樣值得關注。

靜態數據的存儲一般是海量存儲，基于面向讀性能提供的迫切需要，NoSQL是必然的選擇。當然，面向大量的結構化數據，數據倉庫仍然是不錯的選擇。

數據應用

數據應用包含了計算框架，算法，數據的可視化以及具體的應用呈現。不論是企業應用還是移動應用以及交互式Web應用，都可以使用數據計算得到的結果。流式應用和搜索應用都是與計算框架緊密相關的，可以通過Storm 和ElasticSearch 實現，也可以通過Spark框架實現。

商業智能(BI)，傳統上是基于數據倉庫的數據挖掘，發現數據中潛在的價值。而在面向數據的架構中，BI的分析方法可以不變，只改變計算的方式，也可以對分析方法進行演講。

報表系統可以認為是可視化的核心之一。面向靜態數據形成傳統的報表，動態數據與靜態數據相結合形成實時報表。

隨機分析是一種探索性數據分析，是一種對數據摸索和嘗試，可以使用Hive，pig，sparkSQL等工具執行，明確進一步探索的方向。統計分析是更加具體的一種離線分析，基于統計模型的數據分析處理。

機器學習(Machine Learning, ML)是一門多領域交叉學科，模擬或實現人類的學習行為，以獲取新的知識或技能，是的核心，框架有很多，例如Mahout以及SparkML等。

深度學習是機器學習研究中的一個新領域，源于人工神經網絡，含多隱層的多層感知器就是一種深度學習結構。深度學習通過組合低層特征形成更加抽象的高層表示屬性類別或特征，以發現數據的分布式特征。同機器學習方法一樣，深度機器學習方法也有監督學習與無監督學習之分.不同的學習框架下建立的學習模型很是不同.個人推薦tensorflow。

【本文來自51CTO專欄作者老曹的原創文章，作者微信公眾號：喔家ArchiSelf,id:wrieless-com】