人工智能的進(jìn)步可能是2024年的主要推動力，也凸顯出大數(shù)據(jù)的挑戰(zhàn)——如何存儲、管理、管理和使用大數(shù)據(jù)——從未如此緊迫。，因?yàn)槿绻鳛榛臄?shù)據(jù)失控，人工智能就沒有意義了。當(dāng)然反之亦然。

在新的一年里，大數(shù)據(jù)會給我們帶來什么?盡管科技發(fā)展很難預(yù)測，行業(yè)專家仍然試圖通過對大數(shù)據(jù)領(lǐng)域的預(yù)測，為我們揭示未來。

數(shù)據(jù)庫提供商Percona的技術(shù)傳道者Dave Stokes表示，人們對矢量數(shù)據(jù)庫的興趣將會激增。然而，它無法“獨(dú)當(dāng)一面”。

Stokes預(yù)測:“矢量數(shù)據(jù)庫將成為許多人討論的熱門新領(lǐng)域，但幾年后最終將被關(guān)系數(shù)據(jù)庫所吸收。”“每隔10年左右，就會有一種‘新’數(shù)據(jù)庫技術(shù)被宣布為關(guān)系數(shù)據(jù)庫，開發(fā)人員也會加入這一潮流，結(jié)果卻發(fā)現(xiàn)關(guān)系模型非常靈活，關(guān)系數(shù)據(jù)庫供應(yīng)商可以輕松地將新技術(shù)應(yīng)用到他們的產(chǎn)品中。

不同數(shù)據(jù)孤島的存在一直是數(shù)據(jù)工程師的眼中釘。但據(jù)Hammerspace的營銷高級副總裁Molly Presley稱，2024年將帶來一線希望，因?yàn)橐环N集中式的數(shù)據(jù)編排形式將占據(jù)中心位置。

“組織將開始從‘存儲和復(fù)制’轉(zhuǎn)向數(shù)據(jù)編排的世界。”Presley說，“在人工智能進(jìn)步的推動下，現(xiàn)在存在強(qiáng)大的工具來分析數(shù)據(jù)并梳理出可操作的見解。然而，文件存儲基礎(chǔ)設(shè)施并沒有跟上這些進(jìn)步的步伐。與試圖通過將文件副本從一個地方移動到另一個地方來管理存儲筒倉和分布式環(huán)境的解決方案不同，數(shù)據(jù)編排幫助組織將來自不同筒倉和位置的數(shù)據(jù)集成到單個命名空間中，并在最有價值的時間和地點(diǎn)自動放置數(shù)據(jù)，從而更容易分析和獲得見解。”

我們存儲的大多數(shù)數(shù)據(jù)都是非結(jié)構(gòu)化的。MinIO的聯(lián)合創(chuàng)始人兼首席執(zhí)行官Periasamy表示，隨著數(shù)據(jù)的堆積，管理起來真的是一個挑戰(zhàn)，但2024年將帶來新的管理方法。

“到2024年，隨著人工智能應(yīng)用的飛速發(fā)展，我們將看到企業(yè)真正的非結(jié)構(gòu)化數(shù)據(jù)(音頻、視頻、會議記錄、演講、演示)出現(xiàn)爆炸式增長。從人工智能的角度來看，這是高度‘可學(xué)習(xí)’的內(nèi)容，將其收集到人工智能數(shù)據(jù)湖中將大大提高整個企業(yè)的智能能力，但它也帶來了獨(dú)特的挑戰(zhàn)。” Periasamy說，“保持?jǐn)?shù)十PB數(shù)據(jù)的性能存在明顯的挑戰(zhàn)。這些問題通常不能用傳統(tǒng)的SAN/NAS解決方案解決——它們需要現(xiàn)代的、高性能的對象存儲的屬性。這就是為什么大多數(shù)AI/ML技術(shù)(如OpenAI、Anthropic、Kubeflow)都利用對象存儲，以及為什么大多數(shù)數(shù)據(jù)庫都轉(zhuǎn)向以對象存儲為中心。”

根據(jù)Forrester的研究，企業(yè)管理的非結(jié)構(gòu)化數(shù)據(jù)將在2024年翻一番，為人工智能開辟了潛在的有利可圖的新選擇。

該分析集團(tuán)表示:“全球數(shù)據(jù)和分析決策者表示，他們組織管理的數(shù)據(jù)中只有27%是非結(jié)構(gòu)化的。”隨著公司為客戶和員工推出更多的對話體驗(yàn)，生成式人工智能將使這一數(shù)字翻一番。企業(yè)將爭相存儲、分析和理解這些大量的非結(jié)構(gòu)化數(shù)據(jù)。這一趨勢將出現(xiàn)在數(shù)據(jù)管道領(lǐng)域，到2024年，80%的新數(shù)據(jù)管道將用于獲取、處理和存儲非結(jié)構(gòu)化數(shù)據(jù)。

Faction技術(shù)和運(yùn)營副總裁Jeff Heller表示，到2024年，全球許多企業(yè)將實(shí)施數(shù)據(jù)優(yōu)先架構(gòu)，以簡化其數(shù)據(jù)管理策略。

“公司正在經(jīng)歷范式轉(zhuǎn)變：他們要么選擇一種云，要么選擇另一種架構(gòu)來滿足他們的需求。” Heller說，“到2024年，企業(yè)將需要考慮哪種云計(jì)算最適合他們，以充分利用他們的數(shù)據(jù)。基于短期目標(biāo)而非長期增長的決策將導(dǎo)致數(shù)據(jù)鎖定。為了及時做出決策，數(shù)據(jù)需要準(zhǔn)確和可訪問。對于組織來說，管理數(shù)據(jù)正變得越來越復(fù)雜。對高效數(shù)據(jù)管理策略的需求是至關(guān)重要的。企業(yè)將轉(zhuǎn)向提供從所有云的首選位置訪問單個數(shù)據(jù)集的解決方案，以確保數(shù)據(jù)準(zhǔn)確性和提高效率。”

數(shù)據(jù)管道公司Matillion的首席產(chǎn)品官Ciaran Dynes表示，人工智能革命正在觸及生活的方方面面，包括大數(shù)據(jù)管理。

“在過去的十年里，數(shù)據(jù)工程師的角色已經(jīng)從根本上擴(kuò)展了。” Dynes說，“未來12個月將是科技公司讓數(shù)據(jù)工程師的工作變得更簡單的一年。新工具將進(jìn)入市場，集成到現(xiàn)有的平臺中，從而能夠?qū)⑸墒饺斯ぶ悄芴砑拥浆F(xiàn)有的數(shù)據(jù)管道中，并能夠在內(nèi)部部署這些模型，這樣用戶就可以像使用ChatGPT一樣與這些模型進(jìn)行實(shí)時交互。不管市場上的工具是什么，明年對數(shù)據(jù)工程師的重新培訓(xùn)也將是巨大的需求，以掌握提示工程，如何微調(diào)這些模型，如何大規(guī)模提高他們的生產(chǎn)力。明年，數(shù)據(jù)工程師的生活將變得更加有趣。”

你有多看重?cái)?shù)據(jù)工程師?據(jù)Snowflake公司產(chǎn)品管理總監(jiān)Jeff Hollan說，到2024年，它們的價值將會更高。

Hollan說:“有很多人認(rèn)為，人工智能革命將取代數(shù)據(jù)工程師的角色。事實(shí)并非如此，事實(shí)上，他們的數(shù)據(jù)專業(yè)知識將比以往任何時候都更加重要，只是以一種新的、不同的方式。為了跟上不斷變化的形勢，數(shù)據(jù)工程師需要了解生成式人工智能如何增加價值。由數(shù)據(jù)工程師構(gòu)建和管理的數(shù)據(jù)管道可能是連接大型語言模型的第一個地方，以便組織釋放價值。數(shù)據(jù)工程師將是那些了解如何使用模型并將其插入數(shù)據(jù)管道以自動提取價值的人。他們還需要監(jiān)督和理解人工智能的工作。”

當(dāng)數(shù)據(jù)由云中的第三方管理時，您可能會覺得數(shù)據(jù)失去了控制。Ngrok的首席技術(shù)官 Peter Shafton預(yù)測，2024年將是你開始重新掌控自己數(shù)據(jù)的一年。

Shafton說:“2024年的數(shù)據(jù)管理將顯著轉(zhuǎn)向更易于訪問和控制。”“雖然過去十年見證了基于云計(jì)算的數(shù)據(jù)解決方案的熱潮，但鐘擺又回到了更多的自我管理。這種轉(zhuǎn)變背后的原因有兩個:隱私和成本效益。數(shù)據(jù)泄露的持續(xù)威脅以及對更嚴(yán)格的訪問控制的需求使企業(yè)對僅依賴外部云平臺持謹(jǐn)慎態(tài)度。此外，云數(shù)據(jù)存儲和處理成本的不可預(yù)測性促使組織尋求更具可預(yù)測性和成本效益的解決方案。可訪問且用戶友好的數(shù)據(jù)管理工具的激增也促進(jìn)了這一趨勢，這些工具通常源于Uber、Netflix和Airbnb等科技巨頭開創(chuàng)的開源解決方案。

“數(shù)據(jù)智能”這個術(shù)語已經(jīng)發(fā)展了幾年，指的是組織對其數(shù)據(jù)使用的各種數(shù)據(jù)管理工具。Nasuni的首席創(chuàng)新官Jim Liddle表示，未來12個月將是這個概念成敗的關(guān)鍵。

Liddle說:“數(shù)量驚人的公司存儲大量數(shù)據(jù)，僅僅是因?yàn)樗麄儾恢罃?shù)據(jù)中有什么，也不知道他們是否需要這些數(shù)據(jù)。”“數(shù)據(jù)是準(zhǔn)確的和最新的嗎?是否正確分類和“可搜索”?它是否兼容?它是否包含個人身份信息(PII)、受保護(hù)的健康信息(PHI)或其他敏感信息?它是按需提供還是存檔?在未來的一年里，所有公司都將被迫接受人工智能的數(shù)據(jù)質(zhì)量、治理、訪問和存儲要求，然后才能推進(jìn)數(shù)字化轉(zhuǎn)型或改進(jìn)計(jì)劃，以獲得所需的競爭優(yōu)勢。”

Coalesce的首席執(zhí)行官兼聯(lián)合創(chuàng)始人Armon Petrossian表示，如果不能保持?jǐn)?shù)據(jù)的質(zhì)量和完整性，那么你就可以和2024年的GenAI計(jì)劃說再見了。

他說:“到2024年，隨著數(shù)據(jù)從有價值的資產(chǎn)演變?yōu)榕畈l(fā)展的企業(yè)的命脈，技術(shù)領(lǐng)域?qū)⒁娮C一場變革。”“忽視數(shù)據(jù)質(zhì)量、完整性和血統(tǒng)的組織將面臨挑戰(zhàn)，不僅要做出明智的決策，還要實(shí)現(xiàn)生成式人工智能、法學(xué)碩士和機(jī)器學(xué)習(xí)應(yīng)用程序和用例的全部潛力。隨著今年的發(fā)展，我預(yù)測，那些忽視建立強(qiáng)大的數(shù)據(jù)基礎(chǔ)和戰(zhàn)略的組織將發(fā)現(xiàn)，在快速發(fā)展的科技行業(yè)中保持生存越來越具有挑戰(zhàn)性。那些不能適應(yīng)和優(yōu)先考慮數(shù)據(jù)基礎(chǔ)的公司將難以超越競爭對手，甚至可能面臨在這個競爭激烈的環(huán)境中生存的風(fēng)險。”

數(shù)據(jù)沿襲構(gòu)成了一個持續(xù)的挑戰(zhàn)。altair云計(jì)算總工程師Yeshwant Mummaneni預(yù)測，2024年，區(qū)塊鏈將伸出援手。

Mummaneni說:“由于人工智能/機(jī)器學(xué)習(xí)模型在關(guān)鍵決策中發(fā)揮著關(guān)鍵作用，無論是由人類監(jiān)督還是以完全自主的方式，模型的來源/血統(tǒng)變得至關(guān)重要。”“為區(qū)塊鏈提供記錄、數(shù)字身份、簽名和利用密碼學(xué)驗(yàn)證的不變性的基礎(chǔ)技術(shù)，將成為企業(yè)人工智能提供防篡改模型來源的關(guān)鍵方面。”

另一個大數(shù)據(jù)趨勢將像2024年寒冷冬夜的冰晶一樣增長：合成數(shù)據(jù)。這是SAS公司高級分析產(chǎn)品經(jīng)理斯Potamitis說的。

Potamitis表示:“隨著組織面臨更嚴(yán)格的監(jiān)管，以及跨境共享敏感數(shù)據(jù)變得更具挑戰(zhàn)性，合成數(shù)據(jù)將獲得很大的吸引力。”“合成數(shù)據(jù)可以高精度地捕獲原始數(shù)據(jù)源的統(tǒng)計(jì)屬性，從而克服監(jiān)管障礙，為組織開啟創(chuàng)新之門。”

ALTR首席執(zhí)行官Beecham表示，雖然你的大數(shù)據(jù)存儲庫感覺不錯，但2024年將是數(shù)據(jù)治理“向左移動”的一年。

Beecham說:“組織將在數(shù)據(jù)傳輸?shù)脑缙趯?shí)施數(shù)據(jù)治理和安全措施，在云數(shù)據(jù)倉庫的左側(cè)，這不僅可以保護(hù)敏感信息，還可以提高所收集數(shù)據(jù)的整體質(zhì)量。”“隨著有關(guān)數(shù)據(jù)隱私和安全的法規(guī)越來越多，早期優(yōu)先考慮數(shù)據(jù)治理和安全的公司將更好地遵守這些法規(guī)。到2024年，預(yù)計(jì)將有大量公司優(yōu)先考慮數(shù)據(jù)治理和安全的轉(zhuǎn)移，使他們能夠在云數(shù)據(jù)倉庫和湖屋上啟動強(qiáng)大的數(shù)據(jù)訪問治理和數(shù)據(jù)安全功能，并在數(shù)據(jù)離開源系統(tǒng)時將其擴(kuò)展到數(shù)據(jù)。”

在2023年，數(shù)據(jù)網(wǎng)格在其他技術(shù)趨勢中退居次要地位(主要風(fēng)頭在于GenAI)，但在2024年，數(shù)據(jù)網(wǎng)格的好處將變得非常明顯，不容忽視，Denodo的首席執(zhí)行官Angel Vi?a說。

Vi?a表示:“2024年將是數(shù)據(jù)網(wǎng)格崛起的關(guān)鍵一年，它包含了數(shù)據(jù)固有的分布式特性。”“在數(shù)據(jù)網(wǎng)格中，IT的角色轉(zhuǎn)變?yōu)闉閿?shù)據(jù)域提供基礎(chǔ)以完成其工作，即在整個企業(yè)中創(chuàng)建和分發(fā)數(shù)據(jù)產(chǎn)品。轉(zhuǎn)折點(diǎn)將是認(rèn)識到數(shù)據(jù)產(chǎn)品應(yīng)與任何其他產(chǎn)品同等重要。在這個以數(shù)據(jù)為中心的時代，僅僅包裝數(shù)據(jù)是不夠的，企業(yè)需要提升終端用戶的整體體驗(yàn)。”