大數據之“大”

“大”是相對而言的概念。例如，對于像SAP HANA那樣的 “內存數據庫”來說，2TB可能就已經是大容量了;而對于像谷歌這樣的搜索引擎，EB的數據量才能稱得上是大數據。

“大”也是一個迅速變化的概念。HDS 在 2004 年發布的 USP 存儲虛擬化平臺具 備管理 32PB 內外部附加存儲的能力。當時，大多數人認為，USP 的存儲容量大得有 些離譜。但是現在，大多數企業都已經擁有 PB 級的數據量，一些搜索引擎公司的數據 存儲量甚至達到了 EB 級。由于許多家庭都 保存了 TB 級的數據量，一些云計算公司正在推廣其文件共享或家庭數據備份服務。

有容乃“大”

由此看來，大數據存儲的首要需求存儲容量可擴展。大數據對存儲容量的需求已經超出目前用戶現有的存儲能力。我們現在正處于 PB 級時代，而EB級時代即將到來。過去，許多企業通常以五年作為 IT系統規劃的一個周期。在這五年中，企業的存儲容量可能會增加一倍。現在，企業則需要制定存儲數據量級(比如從PB級到EB級)的增長計劃，只有這樣才能確保業務不受干擾地持續增長。這就要求實現存儲虛擬化。存儲虛擬化是目前為止提高存儲效率最重要、最有效的技術手段。它為現有存儲系統提供了自動分層和精簡配置等提高存儲效率的工具。擁有了虛擬化存儲，用戶可以將來自內部和外部存儲系統中的結構化和非結構化數據全部整合到一個單一的存儲平臺上。當所有存儲資產變成一個單一的存儲資源池時，自動分層和精簡配置功能就可以擴展到整個存儲基礎設施層面。在這種情況下，用戶可以輕松實現容量回收和容量利用率的最大化，并延長現有存儲系統的壽命，顯著提高IT系統的靈活性和效率，以滿足非結構化數據增長的需求。中型企業可以在不影響性能的情況下將HUS的容量擴展到近3PB，并可通過動態虛擬控制器實現系統的快速預配置。此外，通過HDS VSP 的虛擬化功能，大型企業可以創建0.25EB容量的存儲池。隨著非結構化數據的快速增長，未來，文件與內容數據又該如何進行擴展呢?

不斷“生長”的大數據

與結構化數據不同，很多非結構化數據需要通過互聯網協議來訪問，并且存儲在文件或內容平臺之中。大多數文件與內容平臺的存儲容量過去只能達到TB級，現在則需要擴展到PB級，而未來將擴展到EB級。這些非結構化的數據必須以文件或對象的形式來訪問。基于Unix 和Linux的傳統文件系統通常將文件、目錄或與其他文件系統對象有關的信息存儲在一個索引節點中。索引節點不是數據本身，而是描述數據所有權、訪問模式、文件大小、時間戳、文件指針和文件類型等信息的元數據。傳統文件系統中的索引節點數量有限，導致文件系統可以容納的文件、目錄或對象的數量受到限制。HNAS 和HCP 使用基于對象的文件系統，使得其容量能夠擴展到PB級，可以容納數十億個文件或對象。位于VSP 或HUS 之上的HNAS 和HCP 網關不僅可以充分利用模塊存儲的可擴展性，而且可以享受到通用管理平臺HitachiCommand Suite 帶來的好處。HNAS 和HCP 為大數據的存儲提供了一個優良的架構。大數據存儲平臺必須能夠不受干擾地持續擴展，并具有跨越不同時代技術的能力。數據遷移必須在最小范圍內進行，而且要在后臺完成。大數據只要復制一次，就能具有很好的可恢復性。大數據存儲平臺可以通過版本控制來跟蹤數據的變更，而不會因為大數據發生一次變更，就重新備份一次所有的數據。HDS 的所有產品均可以實現后臺的數據移動和分層，并可以增加VSP、HUS 數據池、HNAS 文件系統、HCP 的容量，還能自動調整數據的布局。傳統文件系統與塊數據存儲設備不支持動態擴展。大數據存儲平臺還必須具有彈性，不允許出現任何可能需要重建大數據的單點故障。HDS可以實現VSP 和HUS的冗余配置，并能為HNAS 和HCP節點提供相同的彈性。大數據存儲平臺需要將文件、塊數據和內容集成到一個統一的HitachiCommand Suite管理平臺之上，以滿足大數據處理和應用的需求。