最近想到了數(shù)據(jù)治理，所以我決定通過輸入提示來查詢ChatGPT：“什么是數(shù)據(jù)治理？” AI 回應(yīng)道：“數(shù)據(jù)治理是一組流程、政策、標(biāo)準(zhǔn)和指南，可確保數(shù)據(jù)在組織內(nèi)得到正確管理、保護和利用。”這是一個好的開始，目前關(guān)于數(shù)據(jù)治理及其意義還有很多話要說。
生成人工智能時代的數(shù)據(jù)治理
數(shù)據(jù)治理涵蓋一系列學(xué)科，包括數(shù)據(jù)安全、管理、質(zhì)量和編目。該實踐需要定義使用策略、創(chuàng)建主數(shù)據(jù)源、分析數(shù)據(jù)集、記錄字典以及監(jiān)督數(shù)據(jù)生命周期。組織模型通常定義促進戰(zhàn)略的首席數(shù)據(jù)官、制定數(shù)據(jù)集策略的數(shù)據(jù)所有者以及負責(zé)提高數(shù)據(jù)質(zhì)量的數(shù)據(jù)管理員的角色。
Precisely首席技術(shù)官 Tendü Yogurt?u 博士表示：“數(shù)據(jù)治理是數(shù)據(jù)完整性的關(guān)鍵要素，它使組織能夠輕松查找、理解和利用關(guān)鍵數(shù)據(jù)，從而實現(xiàn)準(zhǔn)確的報告和明智的決策?！?“它提供了對數(shù)據(jù)含義、沿襲和影響的理解，因此企業(yè)可以保持合規(guī)性，并確保人工智能模型由值得信賴的數(shù)據(jù)提供支持，以獲得可靠的結(jié)果?！?/span>
Yogurt?u 表示，數(shù)據(jù)治理曾經(jīng)是一項專注于合規(guī)性的技術(shù)事業(yè)。 “隨著人工智能使用得越來越多，數(shù)據(jù)已成為最重要的企業(yè)資產(chǎn)，數(shù)據(jù)治理應(yīng)該成為企業(yè)范圍內(nèi)的優(yōu)先事項，”她說。
對于許多嘗試 genAI 或使用大型語言模型(LLM) 構(gòu)建應(yīng)用程序的組織來說，存在更大的數(shù)據(jù)治理責(zé)任，并且員工使用人工智能工具的方式帶來了更多風(fēng)險以及非結(jié)構(gòu)化數(shù)據(jù)的新范圍。我咨詢了幾位專家，了解數(shù)據(jù)治理必須如何發(fā)展才能滿足生成人工智能工具和功能固有的機遇和風(fēng)險。
發(fā)展 genAI 數(shù)據(jù)治理的 4 種方法
1.審查 genAI 工具和LLM中使用的數(shù)據(jù)政策
數(shù)據(jù)治理部門負責(zé)監(jiān)督數(shù)據(jù)目錄并傳達數(shù)據(jù)使用政策，以幫助員工利用集中式數(shù)據(jù)集并將其用于構(gòu)建機器學(xué)習(xí)模型、儀表板和其他分析工具。這些部門現(xiàn)在正在更新政策，包括是否以及如何在法學(xué)碩士和開放 genAI 工具中使用企業(yè)數(shù)據(jù)源。開發(fā)人員和數(shù)據(jù)科學(xué)家必須審查這些政策，并就有關(guān)使用數(shù)據(jù)集支持 genAI 實驗的任何問題咨詢數(shù)據(jù)所有者。
Egnyte聯(lián)合創(chuàng)始人兼首席安全官 Kris Lahiri 表示：“隨著生成式 AI 帶來更多數(shù)據(jù)復(fù)雜性，組織必須制定良好的數(shù)據(jù)治理和隱私政策，以管理和保護用于訓(xùn)練這些模型的內(nèi)容。” “組織必須特別注意這些人工智能工具使用了哪些數(shù)據(jù)，無論是 OpenAI、PaLM 等第三方，還是公司可能在內(nèi)部使用的內(nèi)部法學(xué)碩士?！?/span>
審查有關(guān)隱私、數(shù)據(jù)保護和可接受使用的 genAI 政策。許多組織要求在將數(shù)據(jù)集用于 genAI 用例之前提交數(shù)據(jù)所有者的請求和批準(zhǔn)。在使用必須符合 GDPR、CCPA、PCI、HIPAA 或其他數(shù)據(jù)合規(guī)標(biāo)準(zhǔn)的數(shù)據(jù)集之前，請咨詢風(fēng)險、合規(guī)和法律部門。
數(shù)據(jù)政策還必須考慮使用第三方數(shù)據(jù)源時的數(shù)據(jù)供應(yīng)鏈和責(zé)任。 “如果發(fā)生涉及某個區(qū)域內(nèi)受保護數(shù)據(jù)的安全事件，供應(yīng)商需要明確自己及其客戶的責(zé)任，以適當(dāng)緩解事件，特別是如果這些數(shù)據(jù)打算用于 AI/ML 平臺的話。” Jozef de Vries， EDB首席產(chǎn)品工程官。
對于那些對 genAI 機會感到興奮的人來說，了解其組織的數(shù)據(jù)隱私、安全性和合規(guī)性政策非常重要。
2.加速數(shù)據(jù)質(zhì)量舉措
許多公司提供數(shù)據(jù)質(zhì)量解決方案，包括 Attacama、Collibra、Experian、IBM、Informatica、Precisely、SAP、SAS 和 Talend。 2022年，全球數(shù)據(jù)質(zhì)量工具市場規(guī)模將超過40億美元，預(yù)計每年增長17.7%。由于許多公司正在嘗試人工智能工具和法學(xué)碩士，我預(yù)計會有更高的增長。
Piwik Pro首席運營官 Mateusz Krempa 表示：“人工智能的好壞取決于為其提供動力的數(shù)據(jù)，因此使用人工智能面臨的許多挑戰(zhàn)都與數(shù)據(jù)質(zhì)量有關(guān)?！?“數(shù)據(jù)質(zhì)量差可能會導(dǎo)致誤導(dǎo)或錯誤的見解，嚴重影響結(jié)果?！?/span>
Krempa 表示，數(shù)據(jù)質(zhì)量挑戰(zhàn)源于大數(shù)據(jù)的數(shù)量、速度和種類，特別是因為LLM現(xiàn)在利用了組織的非結(jié)構(gòu)化數(shù)據(jù)源。希望開發(fā)內(nèi)部LLM的公司將需要擴展數(shù)據(jù)質(zhì)量計劃，以包括從文檔、協(xié)作工具、代碼存儲庫以及其他存儲企業(yè)知識和知識產(chǎn)權(quán)的工具中提取的信息。
Hakkoda數(shù)據(jù)治理主管 Karen Meppen 表示：“數(shù)據(jù)治理正在轉(zhuǎn)變，不僅是為了向 LLM 系統(tǒng)提供大量數(shù)據(jù)，而且是為了明智、安全地提供數(shù)據(jù)。 ” “重點是確保數(shù)據(jù)不僅大，而且智能——準(zhǔn)確、易于理解、隱私意識強、安全，并尊重知識產(chǎn)權(quán)和公平的風(fēng)險和影響?！?/span>
根據(jù)業(yè)務(wù)目標(biāo)和數(shù)據(jù)類型，可以使用不同的工具來提高數(shù)據(jù)質(zhì)量。
- 傳統(tǒng)的數(shù)據(jù)質(zhì)量工具可以刪除重復(fù)數(shù)據(jù)、規(guī)范數(shù)據(jù)字段、根據(jù)業(yè)務(wù)規(guī)則驗證數(shù)據(jù)、檢測異常并計算質(zhì)量指標(biāo)。
- 主數(shù)據(jù)管理工具 (MDM) 可幫助組織連接多個數(shù)據(jù)源并圍繞客戶和產(chǎn)品等業(yè)務(wù)實體創(chuàng)建真實來源。
- 客戶數(shù)據(jù)平臺(CDP) 是用于集中客戶信息并支持營銷、銷售、客戶服務(wù)和其他客戶交互的專用工具。
預(yù)計升級和新的數(shù)據(jù)質(zhì)量工具將改善對非結(jié)構(gòu)化數(shù)據(jù)源的支持，并提高 genAI 用例的數(shù)據(jù)質(zhì)量能力。
Matillion首席信息安全官 Graeme Cantu-Park 的另一項建議重點關(guān)注數(shù)據(jù)沿襲的重要性。 “人工智能將需要一種完全不同的方式來看待治理優(yōu)先事項和實踐，以便更好地了解為人工智能應(yīng)用程序和模型提供數(shù)據(jù)的數(shù)據(jù)管道和數(shù)據(jù)沿襲?！?/span>
數(shù)據(jù)沿襲有助于揭示數(shù)據(jù)的生命周期，并回答有關(guān)數(shù)據(jù)更改的人員、時間、地點、原因和方式的問題。由于人工智能擴展了數(shù)據(jù)及其用例的范圍，因此了解數(shù)據(jù)沿襲對于組織中的更多人員（包括安全人員和其他風(fēng)險管理職能人員）變得更加重要。
3.審查數(shù)據(jù)管理和管道架構(gòu)
除了政策和數(shù)據(jù)質(zhì)量之外，數(shù)據(jù)治理領(lǐng)導(dǎo)者還必須將其影響力擴展到數(shù)據(jù)管理和架構(gòu)功能。主動數(shù)據(jù)治理可實現(xiàn)一系列功能，以便更多員工可以利用數(shù)據(jù)、分析（以及現(xiàn)在的人工智能）來完成工作并做出更明智的決策。數(shù)據(jù)的存儲、訪問、產(chǎn)品化、編目和記錄方式都是組織能夠如何快速、輕松和安全地將其數(shù)據(jù)擴展到 genAI 用例的因素。
Teradata首席產(chǎn)品官 Hillary Ashton建議采用以下方法來實現(xiàn)最令人興奮的 AI 用例：
- 創(chuàng)建可重復(fù)使用的數(shù)據(jù)產(chǎn)品或精心策劃的已知良好數(shù)據(jù)集，以幫助組織更好地控制數(shù)據(jù)并灌輸對其數(shù)據(jù)的信任。
- 尊重數(shù)據(jù)引力，讓更多員工能夠訪問信息，而無需在不同環(huán)境之間移動數(shù)據(jù)。
- 試點人工智能計劃時要考慮到可擴展性，包括具有強大治理能力的人工智能/機器學(xué)習(xí)數(shù)據(jù)管道，同時也支持開放和互聯(lián)的生態(tài)系統(tǒng)。
數(shù)據(jù)團隊的關(guān)鍵是確定易于使用并支持多種用例的框架和平臺。Ensono總經(jīng)理兼副總裁 Sean Mahoney表示：“治理框架開始變得更加敏捷，使團隊能夠更快地響應(yīng)技術(shù)進步的步伐?！彼ㄗh數(shù)據(jù)治理領(lǐng)導(dǎo)者也審查并參與這些工具：
- 數(shù)據(jù)網(wǎng)格用于將數(shù)據(jù)的管理委托給創(chuàng)建數(shù)據(jù)的人。
- 用于處理生成式人工智能和法學(xué)碩士固有的可擴展性和復(fù)雜性的矢量數(shù)據(jù)庫。
- 實時監(jiān)控工具可將數(shù)據(jù)治理擴展到更多系統(tǒng)。
另一個考慮因素是數(shù)據(jù)治理、管理和架構(gòu)如何需要了解數(shù)據(jù)存儲的全球法規(guī)。 EDB 的 de Vries 建議：“企業(yè)應(yīng)實施全球分布式數(shù)據(jù)庫，通過將高度監(jiān)管的數(shù)據(jù)保留在其區(qū)域內(nèi)，同時在全球范圍內(nèi)分發(fā)限制較少的數(shù)據(jù)，以提高其數(shù)據(jù)治理實踐，以便在輸入人工智能平臺時實現(xiàn)敏捷性?！?/span>
4.將數(shù)據(jù)治理擴展到 genAI 工作流程
數(shù)據(jù)治理職能還必須考慮使用 genAI 工具和法學(xué)碩士如何需要政策和最佳實踐。例如，在本文開頭，我明確引用了 ChatGPT，以便讀者知道該響應(yīng)來自 genAI 來源。良好的數(shù)據(jù)治理要求對員工進行有關(guān)提高透明度的程序、允許他們使用的工具以及最大限度地減少數(shù)據(jù)隱私問題的實踐方面的教育。
Forethought首席執(zhí)行官 Deon Nicholas 表示：“我看到的最重要的事情是，在保持隱私和真實性的同時，準(zhǔn)確利用、共享和學(xué)習(xí)數(shù)據(jù)的方法正在興起。 ” “例如，像 Perplexity 這樣基于 LLM 的搜索引擎總是引用它們的來源，或者像 Private AI 這樣的數(shù)據(jù)編輯技術(shù)，使您能夠在提取或發(fā)送數(shù)據(jù)到 LLMS 之前清理和編輯 PIl。”
數(shù)據(jù)治理領(lǐng)導(dǎo)者應(yīng)該考慮的一項新的主動措施是創(chuàng)建提示庫，員工可以在其中記錄他們的提示用例并在整個組織中共享。該學(xué)科擴展了許多數(shù)據(jù)治理團隊已經(jīng)圍繞維護數(shù)據(jù)目錄和數(shù)據(jù)字典所做的知識管理實踐。
RelationalAI機器學(xué)習(xí)研究副總裁 Nikolaos Vasiloglou表示：“法學(xué)碩士的動力包括通常存儲在知識圖中的干凈且精心策劃的內(nèi)容以及通常以提示庫形式存在的專家知識。雖然我們對知識圖有良好的治理實踐，但如何治理后者并不明顯?！?/span>
我喜歡《蜘蛛俠》電影中流行的一句話：“能力越大，責(zé)任越大?！蔽覀兛吹?genAI 功能正在快速發(fā)展，但問題是數(shù)據(jù)治理團隊是否會采取行動。
作者 ｜ Isaac Sacolick
