阿里云云監控實時數據對接自建Prometheus
原創作者：吳守陽
云監控推出了監控數據實時導出工具。該工具可以在客戶的線下運行，根據配置實時獲取云監控的監控數據，并持續寫入本地Prometheus。
部分客戶在云下已有完善的企業IT管理系統，希望能夠將云上數據實時導出到線下進行統一監控。基于該場景，云監控推出了監控數據實時導出工具。該工具可以在客戶的線下運行，根據配置實時獲取云監控的監控數據，并持續寫入本地Prometheus。
方案優勢
- 支持云監控里的所有云服務。
- 更快更實時的基于企業云監控的實時數據導出功能流式導出監控數據，無需擔心數據丟失的異常情況，更不用擔心API調用次數限制和流控問題。
- 本地化部署，操作簡單。
- 導出的監控數據維度更豐富，自動補全實例IP地址、實例名稱、地域、資源組、標簽等信息，使數據可以更方便的通過PromQL進行多維度的統計分析。
背景信息
開通企業云監控不會產生任何費用，后續將按照實際使用量進行計費。關于實時數據導出的計費標準，請參見實時數據導出。
前提條件
請確保您已開通企業云監控。具體操作，請參見開通企業云監控。 Prometheus必須與云監控網絡互通。
1.服務解壓
[root@prometheus opt]# unzip exporter_local-2023_04_23_18-24-53.zip
[root@prometheus opt]# mv exporter_local-2023_04_23_18-24-53 alyun_exporter2.修改配置文件
[root@prometheus opt]# vim /opt/alyun_exporter/configs/product.yml
# 服務端接入點，配置文件位置、日志等級等
serverconf:
service_endpoint: cms-export.cn-shanghai.aliyuncs.com # export服務地址（公網地址）
page_size: 300 # 查詢數據的分頁大小
log_dest: 1 # 1 stdout; 2 file
log_dir: # 日志文件位置
log_level: Warning # 日志等級
http_proxy: # http代理
https_proxy: # https代理
no_proxy: # noproxy代理
no_meta: true # 是否補充meta信息的功能
no_savepoint: true # 是否記錄進度
no_tag_prefix: true # 是否為標簽增加'tag_'前綴
# 遠端 Prometheus 的寫入地址和鑒權
remote_prom:
endpoint: http://172.30.71.5:9090/api/v1/write # Prometheus服務地址（本地自建,需開啟遠程寫入）
basic_auth:
username: name # basic auth 的 username
password: bb # basic auth 的 password
# 用戶賬號的信息，tag，desc等信息的查詢
credential:
user_id: 14554***** # 用戶的 userid
access_key: L*****o9 # 用戶的 ak
access_secret: O*****S # 用戶的 sk
# 配置用戶想要寫入數據的label，如果不需要可以直接刪除這一項配置
#datatag:
# - {key: customKey1, val: val1}
# - {key: customKey2, val: val2}
# 配置需要導出的產品類型和指標
products:
- namespace: acs_rds_dashboard ##名字是固定死的
metric_info:
- metric_list: [ConnectionUsage,CpuUsage,DataDelay,DiskUsage,IOPSUsage,MemoryUsage,MySQL_ActiveSessions,MySQL_ComDelete,MySQL_ComInsert,MySQL_ComInsertSelect,MySQL_ComReplace,MySQL_ComReplaceSelect,MySQL_ComSelect,MySQL_ComUpdate,MySQL_DataDiskSize,MySQL_IbufDirtyRatio,MySQL_IbufReadHit,MySQL_IbufRequestR,MySQL_IbufRequestW,MySQL_IbufUseRatio,MySQL_InnoDBDataRead,MySQL_InnoDBDataWritten,MySQL_InnoDBLogFsync,MySQL_InnoDBLogWriteRequests,MySQL_InnoDBLogWrites,MySQL_InnoDBRowDelete,MySQL_InnoDBRowInsert,MySQL_InnoDBRowRead,MySQL_InnoDBRowUpdate,MySQL_InstanceDiskSize,MySQL_LogDiskSize,MySQL_NetworkInNew,MySQL_NetworkOutNew,MySQL_OtherDiskSize,MySQL_ProxyCpuUsage,MySQL_QPS,MySQL_SlaveIORunning,MySQL_SlaveSQLRunning,MySQL_SlowQueries,MySQL_TPS,MySQL_TempDiskTableCreates,MySQL_ThreadsConnected,MySQL_TmpDiskSize,MySQL_ibufPoolReads]
period: 60
- namespace: acs_mongodb ##名字是固定死的
metric_info:
- metric_list: [ShardingCPUUtilization,ShardingConnectionAmount,ShardingConnectionUtilization,ShardingDataDiskAmount,ShardingDataDiskAmountOriginal,ShardingDiskUtilization,ShardingIOPSUtilization,ShardingInstanceDiskAmount,ShardingIntranetIn,ShardingIntranetOut,ShardingLogDiskAmount,ShardingMemoryUtilization,ShardingNumberRequests,ShardingOpCommand,ShardingOpDelete,ShardingOpGetmore,ShardingOpInsert,ShardingOpQuery,ShardingOpUpdate,ShardingQPS,ShardingReplicationLag]
period: 603.啟動
[root@prometheus-20230428 alyun_exporter]# ./exporter_local &4.在prometheus獲取指標
AliyunMongodb_ShardingConnectionAmount
AliyunRds_MySQL_IbufDirtyRatio
注意指標前綴：
企業云監控服務，在設計之初就帶上了 Aliyun+{產品名稱} + "_" 這樣的前綴，比如：
- ecs的指標會增加前綴 AliyunEcs_
- slb的指標會增加前綴 AliyunSlb_
- eip的指標會增加前綴 AliyunVpceip_
- fc的指標會增加前綴 AliyunFc_
#配置需要導出的產品類型和指標
5.Prometheus頁面展現
由于該組件是將云監控數據寫入到Prometheus，Prometheus是無需做任何配置，只需開啟遠程寫入即可，Prometheus里面不會主動顯示監控的相關實例，可以被動進行實例查詢。
如下：
6.Grafana 頁面展現
有組件安裝包以及Grafana阿里云模版需求的可以關注我公眾號，私聊我。
作者簡介
吳守陽，51CTO社區編輯，擁有8年DBA工作經驗，熟練管理MySQL、Redis、MongoDB等開源數據庫。精通性能優化、備份恢復和高可用性架構設計。善于故障排除和自動化運維，保障系統穩定可靠。具備良好的團隊合作和溝通能力，致力于為企業提供高效可靠的數據庫解決方案。
責任編輯：姜華
來源：
DBA實戰
