隨著云平臺技術對于運行關鍵業務流程的重要性愈加突顯，各種規模的科技巨頭和廠商今年都經歷了多次云故障。

事實上，服務故障已經變得如此普遍，準備工作也如此重要，以至于11月份在AWS re:Invent會議上，云巨頭AWS公布了Fault Injection Service (FIS)服務的更多場景，讓客戶可以用來測試當AWS可用區域發生全面斷電或者與另一個AWS區域斷開連接時應用的運行情況。

Parametrix Insurance今年發布了一份報告得出結論稱，作為有最多財富500強企業所依賴的云區域，AWS us-east-1的關鍵任務服務中斷24小時可能會造成34億美元的直接收入損失，中斷48小時可能造成78億美元的直接損失。

該報告稱，east-1和west-2 AWS服務中斷24小時可能造成82億美元的損失，如果中斷48小時可能造成175億美元的損失。

Aviatrix將于明年1月份發布的一份報告發現，對于那些擔心威脅行為者造成服務中斷的IT專業人員來說，“過去一年中，由防火墻造成的云網絡故障的數量，是受訪者組織內網絡攻擊所造成故障的兩倍多”。

下面就讓我們詳細了解一下2023年規模最大的云故障事件。

2023年1月微軟服務中斷

1月17日，北美地區的Microsoft Teams和Microsoft 365用戶在美國東部時間上午9:17至下午2:18左右遭遇服務中斷。

中斷跟蹤網站DownDetector顯示有數千個Teams報告問題，其中包括上午10點左右的504份問題報告，以及上午11點的另外503份問題報告。

其中，大約66%是服務器連接問題，20%是應用問題，14%是登錄問題。

1月25日，據路透社報道稱，網絡問題導致美洲、歐洲、亞太、中東和非洲的Azure、Teams、Outlook及其他服務中斷。上午晚些時候，系統完全恢復之后服務也恢復了。

據路透社報道，微軟將此歸咎于微軟廣域網（WAN）設備的網絡連接問題。

據Quest Software的Practical 365稱，該事件持續了大約5個小時，問題涉及命令一個WAN路由器發送消息到其他路由器，導致相鄰關系重新計算和表轉發，從而阻止數據包轉發。

2023年1月Glue故障

IT Glue于太平洋標準時間1月18日上午8點左右報告稱，必須進行“緊急數據庫維護……以解決一些客戶遇到的問題”。

根據事件報告，Kaseya旗下的IT文檔軟件廠商IT Glue在太平洋標準時間上午9:33之前一直處于只讀模式。IT Glue在1月20日之前恢復了所有密碼和文檔。

盡管IT Glue沒有后續日期的事件報告，但Reddit用戶在1月9日和1月11日發布了有關該平臺的問題。

IT Glue的用戶群包括全球13000多個組織和超過350000人。

2023年2月Oracle、NetSuite故障

盡管Oracle公司聯合創始人、首席技術官Larry Ellison公開表示Oracle Cloud Infrastructure (OCI)“不會宕機”，但還是在今年2月遇到了一些問題。

據Network World報道，2月OCI發生了多天的中斷故障。

這次中斷從太平洋標準時間2月13日星期一上午10:30左右開始，一直持續到2月15日星期三下午3:30左右，覆蓋了美洲、澳大利亞、亞太地區、中東、歐洲和亞洲的用戶。

這次故障涉及支持OCI公共域名系統API后端基礎設施的性能問題，導致無法處理某些傳入服務請求。Oracle使用實時后端優化和DNS負載管理微調來緩解該問題。

據Network World報道，OCI Vault、API Gateway、Oracle Digital Assistant和OCI Search with OpenSearch在故障期間都遇到了問題。

據Data Center Dynamics稱，由于馬薩諸塞州沃爾瑟姆市的Cyxtera數據中心起火，Oracle子公司NetSuite在美國東部時間2月14日中午左右開始停電。

據The Register報道，馬薩諸塞州的這個數據中心切斷了服務器電源，并于美國東部時間晚上10點26分左右開始恢復帳戶。

至少一名Reddit用戶報告稱，因為這次事件他們的帳戶收到了積分。

2023年3月Datadog故障

Datadog花了近兩天的時間才解決從3月8日開始的服務中斷故障。

據MarketWatch報道，總部位于紐約的云監控和安全工具廠商Datadog于美國東部時間凌晨1:31向用戶通報了Web應用發生的問題。富國銀行的分析師甚至發表了一份報告，表達了對此次中斷對Datadog收入影響的擔憂。

根據一份文字記錄顯示，Datadog公司首席執行官Olivier Pomel在5月財季電話會議上透露，該事件給Datadog造成了約500萬美元的損失，而且需要約500至600名工程師進行三班輪換才解決。

根據文字記錄，Pomel表示，他“不太擔心這種情況再次發生”，并且Datadog學會了如何“更快地恢復”以及“在這種情況發生時為我們的客戶提供更好的辦法以緩解問題”。

科技專欄作家Gergely Orosz寫道，Datadog“很可能不會在系統停機時向客戶收取數據傳輸費用”，并且“損失相當于公司一天的收入”。

Orosz表示，操作系統更新是造成此次中斷的一個因素，并表示Datadog可以更好地與用戶就該事件進行溝通。

2023年4月微軟服務中斷

4月20日，微軟用戶在使用Microsoft 365在線應用和Teams協作應用時遇到了近6個小時的問題。

微軟在太平洋夏令時間上午6:56發推文表示，正在“調查Microsoft 365 Online應用和Teams管理中心的訪問問題”。

微軟在下午1點10分發布推文表示，“通過我們的內部遙測收到了積極的確認，并向受影響的用戶表明服務已恢復”。

Ookla的DownDetector網站注意到當天有數千起M365停機報告，太平洋夏令時間上午7點左右報告超過3000起，并在太平洋夏令時間上午9點左右達到峰值。

據The Register報道，Teams、SharePoint Online和Outlook在4月24日再次遭遇中斷。微軟于太平洋夏令時間凌晨4:17發布了有關該問題的推文，并于上午7:17再次發布推文稱“大部分影響”已得到修復。

據Bleeping Computer報告，4月25日Exchange Online再次出現故障。微軟于下午1:21在推特上發布了有關該問題的信息，并表示問題大約一個小時后得到解決。

2023年4月份谷歌服務中斷

據The New Stack報道，太平洋夏季時間4月25日下午5點20分左右，法國巴黎的一座數據中心發生火災，導致Google Cloud和歐洲地區的用于遇到90多種云服務的癱瘓。

IT Pro表示，受影響的服務包括Google Cloud Storage (GCS)、Cloud Key Management Service (KMS)、Cloud Identity and Access Management (IAM)和Google Kubernetes Engine (GKE)。

5月10日，谷歌報告稱“數據中心受影響部分的某些實例仍然不可用。”

2023年4月Oracle-Cerner中斷

據Federal News Network報道，4月17日，美國退伍軍人事務部遭遇了Oracle-Cerner電子健康記錄(EHR)系統持續5個小時的中斷故障。

據FNN稱，此次中斷是由于數據庫功能升級和故障轉移造成的。

然后在4月25日，Oracle-Cerner系統再次發生近4個小時的中斷，給退伍軍人管理局、美國國防部和美國海岸警衛隊帶來了影響。

據EHR Intelligence稱，退伍軍人事務部停止了該系統的其他實施，直到使用該系統的5個站點恢復了對該系統功能的信心。

2023年5月Cisco SD-WAN故障

思科vEdge平臺的公共根證書過期導致思科在X（以前的Twitter）上公開道歉，思科發帖稱：“我們對由此帶來的挑戰表示歉意。”

根據思科網站上的一篇帖子，思科“發布了軟件升級版本以永久解決此問題”。

思科表示，vEdge路由器提供“思科SD-WAN解決方案的廣域網、安全性和多云功能”。“思科SD-WAN vEdge路由器以硬件、軟件、云或虛擬化組件的形式提供，位于遠程辦公室、分支機構、園區或數據中心等站點周邊。”

2023年6月微軟服務中斷

Teams和Outlook等Microsoft 365服務在6月初連續幾天出現大范圍中斷故障，幾天后又發生了嚴重的OneDrive中斷。

然后在第二天，數千名用戶遭遇了微軟Azure云平臺門戶網站的癱瘓。

微軟在當月晚些時候證實，分布式拒絕服務(DDoS)攻擊是造成此次事件的原因。

詳細來說，6月5日早上，一次服務中斷影響了數萬名Microsoft 365用戶。微軟表示，停止了一項未具體說明的“更新”。

“我們已經確定對Microsoft Teams、SharePoint Online和OneDrive for Business的下游影響，”微軟在美國東部時間上午11:45左右發布的一條推文中這樣表示。

微軟稱，已經阻止了“潛在問題的更新”在整個服務中進一步傳播，并正在對微軟已部署更新的部分基礎設施進行審查，以快速恢復更改操作。

第二天，微軟發現服務問題“再次出現”。美國東部時間中午12:03，微軟表示，已經“發現再次造成影響”，并且正在采取進一步的緩解措施。

微軟表示：“探測表明，由于之前采取了緩解措施，相對于早期迭代的影響有所減少。”

截至美國東部時間上午11:22，3118位Down detector用戶報告了Microsoft 365出現的問題。

6月8日，一個名為“Anonymous Sudan”的黑客組織聲稱對造成Microsoft OneDrive的中斷故障負責。美國東部時間下午3點，微軟表示“正在繼續分析監控并執行負載平衡流程以提供緩解措施”。

當天狀態頁面的后續更新表明，中斷僅對那些通過網絡瀏覽器訪問OneDrive的操作造成了影響，微軟在更新中表示：“使用桌面客戶端、同步客戶端或Office客戶端訪問OneDrive服務不受影響。”

第二天也就是6月9日，微軟用戶經歷了一次嚴重的中斷，Azure云平臺門戶關閉。

到那天下午，微軟似乎已經解決了這個問題。美國東部時間上午11點剛過，DownDetector上有關Azure可用性問題的用戶報告開始增多，在接下來的兩個小時內記錄了數千份有關Azure中斷的用戶報告。

“Anonymous Sudan”聲稱對Azure門戶進行了DDoS攻擊。

6月12日星期一，微軟表示，“網絡流量激增”已經被確定為導致此次中斷的可能原因。

微軟表示：“我們發現網絡流量激增，影響了這些網站的流量管理能力，并導致客戶訪問這些網站出現問題。”

2023年6月AWS故障

根據AWS網站上的一份事件報告，AWS在6月經歷了長達幾個小時的中斷事件。

報告稱：“自太平洋夏季時間2023年6月13日上午11:49開始，北弗吉尼亞 (US-EAST-1)區域的客戶遇到了Lambda函數調用錯誤率和延遲增加的問題。由于Lambda函數調用降級，其他一些AWS服務包括Amazon STS、AWS Management Console、Amazon EKS、Amazon Connect和Amazon EventBridge也出現了錯誤率和延遲增加的問題。Lambda函數調用于太平洋夏令時間下午1:45開始恢復到正常水平，所有受影響的服務也已經在太平洋夏令時間下午3:37完全恢復。”

報告稱，為了防止此事件再次發生，AWS“立即禁用了觸發該事件的Lambda前端隊列活動的擴展活動，同時我們致力于解決導致該問題的潛在錯誤；錯誤已經得到解決并部署到所有區域”。

報告稱：“這一事件還發現了我們Lambda蜂窩架構中用于Lambda前端擴展的漏洞，這使得潛在錯誤在受影響單元擴展時產生影響。Lambda已經完成了多項行動項目，以解決蜂窩架構擴展的緊迫問題，并有望在今年晚些時候完成更大的工作，以確保所有蜂窩都限制在經過充分測試的尺寸，以避免未來出現意外的擴展問題。”

據DownDetector報道，太平洋夏季時間6月13日中午左右，數萬名用戶報告總部位于西雅圖的AWS出現中斷，佛蒙特州機動車輛管理局、波士頓環球報和紐約大都會交通局等組織在X（以前的Twitter）上報告了AWS造成的服務中斷。

2023年7月的Slack故障

Salesforce旗下協作平臺Slack在太平洋夏季時間7月27日遇到了系統級的問題，持續了大約1個小時，到凌晨3點解決了。

Slack在一篇在線帖子中表示，在中斷期間“用戶無法跨多個平臺發送或接收消息”。

帖子稱：“我們的工程團隊在對管理內部系統通信的服務進行更改之后發現問題，這個問題導致Slack功能退化，直到恢復更改，解決了所有用戶的問題。”

2023年7月IT Glue故障

7月份，持續約1個小時的IT Glue問題導致出現“502 Bad Gateway”錯誤，IT Glue于太平洋夏季時間7月18日上午11:54發布消息稱，這個性能問題“可能會使我們的一些合作伙伴無法訪問IT Glue”，該事件于中午12點46分得到解決。

2023年9月Microsoft Teams故障

Microsoft Teams在9月中旬遇到了持續2個多小時的故障。

太平洋夏季時間9月13日上午7點10分，微軟在X（以前的Twitter）上發帖稱，微軟正在“調查影響Microsoft Teams的事件”，并且“用戶可能會遇到發送和接收消息出現延遲或失敗的問題”。

微軟“確定該問題集中于通過北美受影響的基礎設施提供服務的某些用戶”，并將“受影響的服務流量路由到情況良好的基礎設施以減輕影響”。

微軟于太平洋夏季時間上午9:43發布消息稱：“我們已經確認與此問題相關的影響已得到解決。”

思科旗下的ThousandEyes情報公司發布文章稱，“應用前端是可以訪問的，但嘗試登錄系統和/或與其交互會導致500個錯誤和超時。”

該公司表示，這說明“存在某種形式的后端系統或分發層問題”。

2023年9月Salesforce中斷故障

根據Salesforce的一份報告，9月20日Salesforce產品和服務出現了中斷，持續了大約2個小時，但MuleSoft和Tableau這兩家公司的服務中斷了大約4個小時。

根據公司審查結果顯示，Salesforce意外地因一項政策變更而導致了中斷，這次政策變更“是我們對安全控制進行持續審查和更新的標準操作程序的一部分”。

報告稱：“雖然此次變更的目的是增加深度防御，但無意中阻止了對超出其預期范圍的其他合法和必要資源的訪問。最終結果是由于缺乏訪問權限，導致服務之間的通信出現故障，以至系統出現故障，限制了一些客戶登錄和使用這些服務。”

Salesforce更改了變更審核和批準流程，并修復了Tableau中的啟動競爭條件錯誤，以防止同一問題再次發生，還承諾：

• “有專門的自動化部署管道來執行交錯的策略部署”，
• “額外的監控和警報功能可以更快地診斷與政策相關的問題”，
• 以及“重新構建MuleSoft CloudHub的后端組件……以提高彈性”。

2023年11月Cloudflare中斷，Workday歸咎于位于俄勒岡州的數據中心

Workday和Cloudflare把從11月2日開始發生的中斷故障歸因于俄勒岡州的一個設施內問題，導致思科HundredEyes推測兩者受到同一數據中心的影響。

根據Cloudflare網站上的一篇帖子，Cloudflare首席執行官Matthew Prince表示，他對11月初發生的持續多天的事件感到“抱歉和尷尬”，并將部分責任歸咎于位于俄勒岡州由Flexential運營的數據中心。

11月2日，Cloudflare面向客戶的控制平面界面和分析服務發生中斷，事件一直持續到11月4日。

Prince表示：“截至世界標準時間11月2日17:57，我們能夠在災難恢復設施中恢復大部分控制平面，災難恢復設施上線之后，許多客戶不會遇到大多數產品問題。然而，其他服務需要更長的時間才能恢復，并且在我們完全解決事件之前，使用這些服務的客戶可能會遇到問題。在事件發生期間，大多數客戶都無法使用我們的原始日志服務。”

Prince對此表示歉意，因為Cloudflare“相信我們擁有高可用性系統，即使我們的某個核心數據中心提供商發生災難性故障，也能夠阻止這樣的中斷。”

“許多系統確實按照設計保持在線，但一些關鍵系統具有不明顯的、導致其不可用的依賴性。”

Cloudflare承諾做出的改變包括：

• “消除對我們核心數據中心的所有服務控制平面配置的依賴，并將其轉移到盡可能首先由我們分布式網絡供電的地方，”
• “要求所有指定為普遍可用的產品和功能都具有經過測試的可靠災難恢復計劃，”
• “對所有核心數據中心進行徹底審核，并制定重新審核計劃，以確保其符合我們的標準。”

來自Workday的一份報告稱，事件持續了3個小時，但在報告中沒有提及Cloudflare或Flexential，而是將其歸咎于“俄勒岡州波特蘭數據中心的停電，導致部分客戶的服務中斷”。

Workday表示：“由于備用電源故障的問題，以及不穩定的電力環境帶來了額外的挑戰，服務恢復所需的時間比通常情況要長。”

據KRON4稱，DownDetector曾一度記錄了1200多份與Workday中斷相關的報告。