流利說統一可觀察性平臺實踐
在線教育行業(yè)現狀
隨著 90 年代互聯網的引入，在線教育產品也依托于互聯網誕生。隨著互聯網技術的發(fā)展，在線教育產品也開 始了出現新的模式。在線教育從最初單純的文字形式，開始往圖片、音頻方面開始發(fā)展。 教育在線化也進一步促進了數據化的發(fā)展，內容作為教育企業(yè)的核心資產，無論是數據化程度還是數據化規(guī)模都在不斷提升。同時用戶使用時長的提升，又為教育 AI 提供了大量源數據。據統計今年 3 月份在線教育用戶日均在線 時長，超過 200 萬天。如此海量的數據為行業(yè)的智能化發(fā)展提供了良好的土壤，推動了教學內容、課程營銷、師資 管理、質量評估等智能分析的發(fā)展。
流利說公司介紹
流利說是世界領先的科技驅動的教育公司，作為智能教育的倡行者，流利說擁有一支業(yè)內領先的人工智能團隊，經過多年積累，流利說已擁有巨型的“中國人英語語音數據庫”，累積實現記錄大約 37 億分鐘的對話和 504 億句錄音。
2013年流利說推出了第一款產品“英語流利說”，集成了語音識別、打分和自適應學習等多種核心技術。具有上下文情景對話、發(fā)音指導課程等豐富內容，并提供人工智能英語老師和游戲化的學習體驗，為用戶在英語學習中獲得更多樂趣。這款有趣又有效的產品很快就占領了當時的市場并獲得了用戶的高度認可。
但業(yè)務快速發(fā)展，用戶數大幅度增長，平臺的用戶數量已從當初的百萬級，增長至過億，因此業(yè)務的高低峰期數據流量變化、業(yè)務復雜度和分析難度都給給 IT 架構帶來了巨大的挑戰(zhàn)。
流利說統一監(jiān)控平臺的相關挑戰(zhàn)
作為一個沒有單獨運維部門的公司，基礎平臺的統一監(jiān)控平臺主要由cloud-infra團隊的研發(fā)來完成，而團隊的核心訴求也不僅僅是SLA、性能的監(jiān)控、告警和提供問題定位的相關數據，還包括cloud-infra的技術價值運營，例如利用率、成本節(jié)約、業(yè)務關系網絡等。在這些核心訴求下，對于統一監(jiān)控平臺會具高的要求：
1.采集、監(jiān)控各種異構數據源，包括K8s、ECS上的機器指標、利用率、Istio相關的調用日志、自建中間件相關指標、云服務提供的指標、業(yè)務的Trace數據等，此外還要包括各類成本數據的實時采集。
2.各類資源的動態(tài)發(fā)現與動態(tài)采集，包括組織關系等部門相關的數據也需要實時更新，以便能夠實時反饋出最準確的相關指標和歸屬關系。
3.大規(guī)模的數據存儲與分析，由于流利說的業(yè)務規(guī)模大，使用的各類云資源以及業(yè)務產生的數據量非常巨大，每天在數十TB，方案需要滿足在此規(guī)模上的實時分析和展現的能力。
4.監(jiān)控平臺負責的是穩(wěn)定性問題，本身的穩(wěn)定性也需要做好，因此需要消除各個部分的單點問題，并且具備異常快速恢復的能力。
技術選型
統一監(jiān)控平臺不僅僅是時序相關的數據，其中非常核心的業(yè)務可用性數據需要通過各類日志進行計算和分析，因此整體上需要選擇Logs和Metrics兩種數據方案。對于這兩類數據都分別有不同的社區(qū)方案或商業(yè)方案，例如ES、Loki、SLS、Prometheus、OpenTSDB、InfluxDB等。最終日志方案選擇了阿里云SLS，時序方案選擇了Prometheus+SLS，主要的原因如下：
1.SLS具備各類數據統一存儲、分析的能力，能夠在SLS上去關聯到Metrics、Logs數據，這是其他平臺所不具備的
2.SLS平臺能夠適應非常大的數據規(guī)模，相比ES來說性能要好很多，也是免運維的服務，省去了自己維護ES高可靠的問題
3.時序方案以Prometheus為主，Prometheus的生態(tài)非常完善，而且PromQL使用起來也簡介。SLS的時序庫可以作為Prometheus的遠端高可靠存儲，能夠解決Prometheus的可靠性問題
4.SLS的方案中有數據加工的功能，可以和外部的數據源去做Join分析和加工，能夠更好的來處理各種復雜的日志，把日志加上catalog相關的信息
整體架構
當前流利說統一監(jiān)控平臺的架構如上圖所示：
1.為了能夠實現自動化，我們開發(fā)了一套適用于云上場景的IaaS、PaaS資源動態(tài)發(fā)現的機制，能夠實時將新購買、創(chuàng)建的資源加入到監(jiān)控、采集中，避免大部分的人工操作
2.日志相關：
不同業(yè)務的日志直接通過SLS的Logtail采集到不同的日志庫中
并不是所有的日志都需要長時間存儲和索引，因此我們對于日志進行歸類，對于其中需要有審計需求的，會投遞到OSS上做長期存儲；業(yè)務排查問題的日志只保存2周，并開啟全文索引；AccessLog只開啟部分字段的索引，可以節(jié)省很多的索引費用。
對于需要計算SLA、PXX指標的NGINX訪問日志，會使用數據加工，配合已經在RDS中存儲的一些映射規(guī)則、部門、應用等Catalog信息，將NGINX訪問日志中的URL映射成對應的部門、應用、方法等。
3.監(jiān)控相關
監(jiān)控方案選擇了Prometheus，針對于流利說的場景，我們開發(fā)了一些Exporter用于從各類云上產品、自建組件中獲取Metrics
同時為了更好的使用Prometheus，和內部的CICD系統集成，我們在Prometheus上增加了一個Sidecar，監(jiān)聽Git倉庫的變更，并根據變更動態(tài)的Reload Prometheus配置
Prometheus上為了提高查詢速度，配置了各類Recording Rule，這些都統一使用Git管理
AlertManager的告警直接對接內部的告警中心，可以做排版、升級等高級功能
為了解決Prometheus單點的問題以及后面和Catalog進行關聯分析的問題，我們使用SLS的時序庫，直接讓Prometheus Remote Write到SLS的時序庫中
4.指標計算
核心指標的計算一部分來源于NGINX的AccessLog，從入口就可以拿到各個業(yè)務的QPS、錯誤率、Latency（平均、PXX等），對于業(yè)務沒有任何的侵入性
資源利用率、中間件、基礎設施等指標來源于Prometheus寫入的時序庫，基于Catalog可以聚合計算出每個部門、業(yè)務的相關指標
計算完成后的指標信息，由于數據量非常小，可以很容易的存儲在MySQL、ES中，并且投遞一份到OSS上備份
相關成果
目前這套監(jiān)控平臺幾乎承載了公司所有的核心監(jiān)控，在上線后一直穩(wěn)定運行，并且在各類活動期間也能夠非常輕松的應對數據量的突增。整體的業(yè)務價值主要體現在：
1.監(jiān)控：監(jiān)控的第一價值是做各類的監(jiān)控和告警，尤其是SLA相關，由于將數據已經關聯到了具體的部門和業(yè)務應用，可以很容易的得到每個部門、應用的SLA，并進行公司范圍內統一的推進和改進
2.問題排查與故障隔離：基于Istio的訪問日志，配合Catalog信息，可以計算出每個應用的調用關系，因此可以實時的生成業(yè)務關系網格，并能夠知道每個關系（邊）的質量情況。了解到業(yè)務的關系后，在出現問題的時候也可以快速的定位根源和故障隔離
3.FinOps：在Cloud Infra部門，被挑戰(zhàn)最多的就是開銷問題。因此成本優(yōu)化也是我們的一個核心工作，主要的做法是：計算每個部門、團隊的資源利用率，包括平均利用率以及各類PXX的利用率（入下表格所示），以此能夠判斷每個部門的資源使用情況，推進各部門優(yōu)化成本。
流利說統一監(jiān)控背后的技術
流利說統一監(jiān)控基于阿里云SLS進行構建，SLS定位為云原生觀測分析平臺，為Log/Metric/Trace等數據提供大規(guī)模、低成本、實時平臺化服務。一站式提供數據采集、加工、分析、告警可視化與投遞功能，全面提升研發(fā)、運維、運營和安全等場景數字化能力。其中統一監(jiān)控使用到了多種SLS的核心功能，主要包括：
全方位日志采集
SLS支持Log/Metric/Trace統一采集，支持服務器/Kubernetes/應用/移動設備/網頁/IoT等數據源接入，支持阿里云產品/開源系統/云間/云下日志數據接入，核心特點有：
1.便捷：40+成熟接入方案，多客戶端統一采集，支持內網、公網、全球加速傳輸等多種傳輸方式
2.可靠：阿里經濟體自用基礎設施，歷經多次雙十一，春晚活動考驗。支持斷點續(xù)傳，可根據業(yè)務流量實現彈性伸縮
3.開放：多協議（HTTP/Syslog/Prometheus/OpenTelemetry）無縫接入，完整對接開源生態(tài)
Prometheus時序方案
SLS時序存儲從設計之初就是為了解決阿里內部與眾多頭部企業(yè)客戶的時序存儲需求，并借助于阿里內部多年的技術積累，使之可以適應絕大部分企業(yè)級時序監(jiān)控/分析訴求。SLS時序存儲的特點主要有：
1.豐富上下游：數據接入上SLS支持眾多采集方式，包括各類開源Agent以及阿里云內部的監(jiān)控數據通道；同時存儲的時序數據支持對接各類的流計算、離線計算引擎，數據完全開放
2.高性能：SLS存儲計算分離架構充分發(fā)揮集群能力，尤其在大量數據下端對端的速度提升顯著
3.免運維：SLS的時序存儲完全是服務化，無需用戶自己去運維實例，而且所有數據都是3副本高可靠存儲，不用擔心數據的可靠性問題
4.開源友好：SLS的時序存儲原生支持Prometheus的寫入和查詢，并支持SQL92的分析方法，可以原生對接Grafana等可視化方案
5.智能：SLS提供了各種AIOps算法，例如多周期估算、預測、異常檢測、時序分類等各類時序算法，可以基于這些算法快速構建適應于公司業(yè)務的智能報警、診斷平臺
實時數據分析
查詢分析提供關鍵詞、SQL92、AIOps函數等多種方式，支持面向文本+結構化數據實時查詢分析，異常巡檢與智能分析。主要特點如下：
1.高性能：秒級分析十億級數據，且完整支持SQL、PromQL等分析接口，HTTP、Kafka、JDBC、Prometheus等協議
2.穩(wěn)定可靠：企業(yè)級設計，多租戶隔離，PB級容量設計，數萬企業(yè)用戶選擇
3.智能：經過阿里經濟體實踐的AIOps能力，支持智能異常巡檢與根因分析數據加工
數據加工通過靈活語法，在不編寫代碼情況下支持各種復雜數據提取、解析、富化、分發(fā)等需求，支持結構化分析。數據加工的主要特點如下：
1.靈活：提供豐富算子、開箱即用的場景化UDF（Syslog、非標準json、AccessLog UA/URI/IP解析等）。可擴展語法應對各種復雜格式
2.免運維：全托管云上服務，無須投入額外運維資源。支持自動根據流量彈性伸縮
3.可擴展：支持多層嵌套、分流等邏輯，支持復雜的數據分派與編排需求
在云原生時代，數字化正在各行業(yè)推動業(yè)務創(chuàng)新。只有提升用戶體驗、加速創(chuàng)新、更新基礎設施與架構、利用好多樣化的數據，才能在整體大環(huán)境中脫穎而出。阿里云推出的智能運維平臺，不僅僅是要幫助工程師減少工作量，更多的是希望讓運維工程師們從各種機械化的工作中解脫。我們將會包攬所有的“臟活累活”，讓故障的時間大幅縮小，讓運維人將更多創(chuàng)造力，放在數字創(chuàng)新以及企業(yè)業(yè)務創(chuàng)新上，為企業(yè)提供提供更優(yōu)的競爭力。
