借助實際解決方案

 

[[381613]]

事實證明，將數據集成到戰略中是各種規模企業的差異化因素。俗稱“數據驅動”不僅僅指價值十億美元的科技公司。

DiscoverOrg和MVF等公司正在使用數據來幫助制定決策和創建更好的產品。

借助數據，甚至更小的公司也在左右尋找節省和新收入的機會。

但是，這說起來容易做起來難。

僅從您所有不同數據源中提取數據并不總是足夠的。開發數據策略和產品可能會遇到很多問題。

在本文中，我將概述您可能會在使用數據時遇到的一些問題，包括增加數據大小，具有一致的數據和定義以及減少將數據從第三方系統獲取到數據倉庫所需的時間。

我還將提供一些解決方案。

太多數據導致性能不佳

 

 

大數據。它解決了您所有糟糕的算法問題，對嗎?好吧，有點。

實際上，大數據可能會導致許多新問題。特別是具有性能。

大數據意味著如果您沒有可以處理這些數據的系統，那么您很快就會遇到問題。

甚至最大的公司都遇到了這個問題。數據不斷增長，反過來又減慢了儀表盤，模型和報告的速度。等待兩分鐘以使用Tableau儀表板是不可行的。沒有高管，董事或經理想要等待那么長時間。

因此，盡管大數據可以提供盡可能多的見識，但它很快就會成為負擔(而且我甚至沒有提到修剪不必要的數據的問題)。

那么，我們如何改善大數據系統的性能呢?

解決方案1：支付更多計算費用

解決問題的一種方法就是花更多的錢-在集群上購買更多的計算機或購買更大的計算機。但是總會有一個限制。

我與許多客戶合作，他們迅速計算出，通過更多的計算途徑來提高性能會花費太多。這看起來似乎很容易，但是可以說這并不是最好的解決方案。

有時，與計算無關，而與設計以及底層系統有關。

解決方案2：遷移到專為速度而設計的云數據倉庫

通過技術債務和時間的結合，系統開始變慢。有幾種改善方法，而不僅僅是購買更大的機器。

例如，如果您的團隊為數據倉庫使用Postgres或標準SQL Server之類的數據庫，那么可能是時候遷移到專為分析查詢設計的云數據倉庫了。

您可以研究諸如Azure Synapse，Redshift或BigQuery之類的云數據倉庫。這些可以幫助提高性能，具體取決于您設計數據倉庫的方式。

解決方案3：改進數據倉庫設計

如果您已經在云數據倉庫中，則可以研究其他可能的解決方案，例如更好的設計，匯總表或索引。

這些都是需要查看您的設計，查看瓶頸并評估最佳解決方案的解決方案。

改善整體設計是一個更加困難的話題。我很樂意通過免費咨詢電話或在我每周開放的辦公時間內討論此問題。

您還可以查看其中一些有關擴展的文章，因為有很多方法可以解決該問題。

• 如何在應用變慢之前提高其性能
• 改善數據倉庫性能

在Excel中管理復雜的業務決策

 

Excel和電子表格繼續在全球公司中推動數十億美元的決策。對Excel的依賴也導致了即使是最聰明的公司也犯了數百萬甚至數十億美元的錯誤。

例如，2008年，巴克萊銀行同意購買雷曼兄弟，但由于電子表格的錯誤，他們蒙受了他們不打算購買的合同的損失。雷曼兄弟資產的詳細電子表格包含大約1,000行，需要轉換為PDF。但是，原始的Excel版本具有巴克萊不想要的包含179個項目的隱藏行。他們不希望這些合同的注釋沒有轉移到PDF，但是隱藏的行卻轉移了。結果，他們不得不購買179份他們不想要的合同。

而在2012年，JP Morgan損失了近60億美元，這主要歸因于Excel錯誤。

Excel是一種非常通用的數據工具，可以幫助團隊管理很多工作流程。但是，由于設計復雜，人為錯誤以及Excel通常的操作方式，它們也很容易出錯。

為了避免這些錯誤，您的團隊可以采取一些策略。

解決方案1：像對待工程師一樣對待Excel

如果使用Excel來做出較大的決定，則應像對待工程師一樣對待它。

這意味著應該有Excel復審和測試用例。可能看起來有些矯枉過正，但是Excel非常類似于代碼。甚至有人認為它是第四代編碼語言。這意味著它很容易因邏輯，流程和提供的輸入而引起錯誤。

因此，Excel應該被視為代碼。

不要僅僅相信分析師，無論他們多么聰明，都可以制作出完美的Excel工作表。出色的程序員和出色的分析師也會犯錯誤。

應當進行邏輯審查，測試用例和健全性檢查，以減少這些錯誤。在貴公司由于不良信息而損失大量資金之前，這一切似乎都是不必要的。

解決方案2：使用Python和SQL自動化Excel

為定義明確的業務流程自動化并開發干凈的數據工作流，這些業務流程可以轉換為SQL和代碼。

許多報告需要從報告或數據庫表中復制粘貼數據。除了復制粘貼外，還有一些方法可以自動提供數據輸出。

可以通過有限的操作將SQL，代碼和電子表格結合使用。代碼仍然容易出錯，但是，通常可以通過限制錯誤和輸入數量的方式來編寫代碼。Excel并非如此。Excel的靈活性使它易于出錯。

哪種解決方案最佳取決于流程的復雜性，其重復性以及基于數據解決方案做出的決策有多大。

將數據快速放入數據倉庫

我現在已經與美國多家公司的數據科學家和分析師進行了交談，他們都有一個主要的抱怨：他們無法足夠快地獲取數據。

這通常是因為沒有足夠的數據工程師空閑時間來提取每個新數據集。這極大地減慢了數據科學家和分析師回答問題的能力，這些問題可能為企業節省成千上萬(甚至數百萬美元)的費用。

在創建管理完善的數據系統與快速提供數據之間可以找到一個恒定的平衡，以便業務主管可以做出決定。

但是到添加數據時，可能為時已晚。

解決方案1：使用ELT代替ETL進行臨時工作

事實是，在某種程度上，考慮到現代公司需要快速發展，有時使用足夠好的數據比等待使用完美的數據要好。

需要澄清的是-我確實相信進入中央數據倉庫的數據應盡可能準確和可靠。但是，由于有了備用的中央數據存儲系統，數據科學家和分析人員可以開始更快地訪問新數據集，而不必等待數據被100%設置-告誡您數據可能很時髦。

這是ELT出現的地方。

對于那些不熟悉ELT和ETL的人。這些是提取，轉換數據并將數據加載到數據倉庫的方法。請注意，該過程的首字母組成ETL。

過去，我已經討論過ETL。問題在于，由于轉換通常會占用大量代碼，因此ETL的開發速度很慢。這樣做有優點也有缺點，但我現在不再討論。

ELT將轉換移到過程的最后，這使數據分析人員和科學家可以在數據完全處理之前開始處理數據。就數據治理而言，這確實帶來了一些風險。

但是，我認為ELT在臨時分析以及試圖找出要為核心數據層建模的數據集方面發揮了作用。

ELT有很多解決方案和工具-其中一些是：

• Airbyte
• Fivetran
• Talend

解決方案2：僅導入您需要的數據

人們遇到的主要問題之一是要提取太多的數據源。

您的團隊應該專注于僅提取符合業務目標的數據，而不是提取所有數據。

例如，Salesforce和Workday可以具有數百個表，具體取決于團隊流程的自定義方式。因此，不要為每個可能的表創建管道，而只能提取所需的數據。

這有助于分配資源并確保您快速獲取數據。

一致的數據值和定義

 

各個團隊的數據定義和值不一致可能會導致重大問題。

在許多方面，此問題與我上面提供的解決方案相沖突。但是我僅將重點更多地放在業務的核心數據模型上，因此我相信這個問題會稍有不同。

對于那些不熟悉此問題的人，讓我提供一個簡單的示例。

假設您要創建一個衡量多日活動與單日活動的指標。

什么定義了多日活動?它是持續超過24小時的事件，還是跨越2天或更長時間的事件?

定義企業日常使用的關鍵概念很重要-每個業務團隊都有可能使用該術語，KPI和定義。如果各個團隊之間的定義不一致，那么您可能會看到不一致的報告：一個團隊會說有100天的多日游，而另一個團隊會說有90天的多日游。

我已經在會議上看到這引起混亂。突然，而不是專注于某種形式的戰略變革的實際背景和影響。經理和董事正試圖找出造成十次差價的原因。完全破壞會議的任何形式的實際戰略目的，并將其浪費在時間上，因為邏輯和人們試圖匹配數字。

同樣，發生的另一個問題是所有各種集成系統，例如Workday和Salesforce。各個字段可能變得不同步。例如，公司的Salesforce實例可能每周從Workday為員工拉出職位。這是為了減少人工干預，但存在報告和獲取準確信息的風險。如果數據分析師從Salesforce撤出并認為數據始終是最新的，則可能是錯誤的。

缺乏明確的定義和明確的真理來源有很多風險。

解決方案1：實施數據治理策略

一個很好的解決方案是建立數據治理流程。

數據治理是基于內部數據標準和策略(還控制數據使用)來管理企業系統中數據的可用性，可用性，完整性和安全性的過程。

數據治理并非絕無僅有：它不是數據科學或機器學習。但是有效的數據治理可確保數據一致且可信賴，并且不會被濫用。

讓我們特別看一下最后一部分-確保數據一致且可信賴。

顧名思義，數據治理不可避免地會為數據移動增加更多的流程和官僚作風。公司設立了數據治理委員會，以確保存在和報告的數據是一致的。

現代公司中的數據通常高度集成，并自動填充各種第三方資源。我在上面給出了Workday和Salesforce集成的示例。

數據治理有助于定義哪些字段應來自哪些來源，因此您不會從不同的來源提取相同的數據，從而導致數據不匹配的風險。

換句話說，數據治理是一個人為的過程。

解決方案2：選擇數據沿襲工具

其他更自動化的流程可以幫助您的團隊跟蹤數據源以及數據如何從點a到達點b。

例如，TreeSchema，Octopai和Kylo之類的工具會自動抓取您團隊的數據源以幫助跟蹤元數據-元數據的所有者，表，數據的模式以及數據的來源。

這些工具不僅有助于跟蹤數據的來源，還有助于跟蹤數據的更改和不良的數據做法。

例如，TreeSchema提供了一些功能，例如添加新數據源或字段時發出警報。在普通公司中，將創建一個新的數據對象，但是可能沒有任何文檔可以告訴用戶該數據是什么。如果它具有文檔，則可能在某些共享文件夾或SharePoint網站中。相反，使用TreeSchema，您可以集中化數據文檔并在其中有漏洞時獲取更新。

擁有一種跟蹤所有元數據的方法可以簡化事情并消除對數據的混淆。它還創建了更可靠的核心數據層。

缺乏清晰的數據策略

大多數公司面臨的最大挑戰之一是缺乏明確的方向。要使用，分析，構建和集成數據產品的數據太多，因此很難知道從哪里開始。

建立清晰的數據策略通常是第一步。

這意味著要查看您的總體業務目標，然后查看可以將其與數據目標保持一致的方法，而不是相反。

我曾與旨在將AI集成到其服務中的客戶合作，但他們并沒有真正想到AI在其整體業務戰略中將扮演的角色。

解決方案1：首先確定您的業務目標

在您花數千美元(如果不是數十萬美元)購買某種新的機器學習模型或數據倉庫之前，請確保對您的業務有所幫助。需要對齊。

首先，計劃您的業務目標，然后查看您擁有哪些可以幫助實現這些業務目標的數據。

第一步是通過基本數據分析策略清單。

您今天將如何改善數據分析流程?

利用數據做出更好的決策可以為公司帶來競爭優勢。但是，這取決于數據的質量和設置的數據過程的健壯性。

僅創建儀表板，數據倉庫和機器學習模型不足以做出由數據驅動的決策。在開發未來的數據產品時，有很多障礙可以吸引您的團隊。

希望這份包含五個挑戰和解決方案的清單可以幫助您的團隊就如何改善數據分析策略做出明智的決定。