微服務架構統一異常監控Sentry
作者：Marionxue
sentry主要用于實時監控的應用服務，收集相關應用服務在運行狀態時出現的異?；蛘咤e誤日志信息，并且sentry會通過自身集成的通知渠道將錯誤信息推送給維護人員。
1、sentry[1]
sentry是一個跨平臺的錯誤監控和搜集的異常上報監控系統。sentry主要用于實時監控的應用服務，收集相關應用服務在運行狀態時出現的異?；蛘咤e誤日志信息，并且sentry會通過自身集成的通知渠道將錯誤信息推送給維護人員。
sentry收集到的異常或者錯誤日志，會在告警規則的匹配下，第一時間讓維護人員接收到服務運行的異常信息，便于快速定位問題以及解決問題。
sentry支持絕大多數的語言以及框架，使用相對便捷。
2、sentry特點
優點：
- 產品體驗好，功能完善。
- 接入工作量少。
- Sentry專注于 Error、Exception、Crash?？梢圆榭吹骄唧w的錯誤信息和調用棧，能快速定位問題代碼。
- 提供豐富的上下文信息。SDK 會自動上報基礎信息，也支持上報自定義的信息，便于排查問題。
- 自動合并重復問題。重復的報錯被自動合并且累計次數，避免開發者在大量重復冗余的信息尋找 bug 的蛛絲馬跡。
- 主動郵件告警。不用再等客戶反饋后才開始排查問題。
- 能通過主動上報的事件，準確定位是自身的服務的問題還是第三方平臺的問題(大多數在使用三方平臺的時候，很難會在服務出現問題的時候，去想到是三方平臺的問題。)
- 幫助前端項目更快的發現問題。
缺點：
- 部署依賴繁多，30左右個容器依賴。
- 維護成本較高，待日均接口請求量規模較大的時候，sentry單實例部署會引發雪崩的問題(大量請求發到sentry,造成sentry響應延遲、Redis隊列內存占滿、NGINX出現504等等)，會拖垮服務本身。
規避sentry雪崩的優化
保障Sentry服務端高可用。
- 使用sentry SaaS服務。
- 自建的sentry實例高可用(成功高)。
在SDK上設置請求sentry的超時時間
合理設置SDK的采樣率。
- 0.00: 拒絕發送任何事件。
- 1.00: 發送全部事件。
sentry在高負載下，應及時熔斷處理，比如優化采樣率為0.00。
SDK使用異步發送請求，避免同步阻塞。
sentry實例采用環境隔離的方式使用。
通過隊列來緩沖請求至 Sentry 的并發壓力。
3、組件架構
sentry組件架構。
sentry組件架構
4、安裝
準備sentry的工作目錄：
mkdir sentry && cd $_
touch sentry.env docker-compose.yml # 分別填充以下內容
DotEnv
sentry.env：
SENTRY_SECRET_KEY=0x4r6f^0ak5w_3)w1ybh2qbr4@-0tr33ey)lf*e5_cq55xae&5-)r*=9
DB_PASSWORD="bw1knjWnUA"
DB_USER=sentry
docker-compose安裝sentry
將以下內容填充到docker-compose.yml中：
version: '2'
volumes:
pgdb:
services:
redis:
image: redis:alpine
restart: always
#command: /bin/sh -c "redis-server --requirepass $$REDIS_HOST_PASSWORD"
postgres:
image: postgres
environment:
POSTGRES_USER: $$DB_USER
POSTGRES_PASSWORD: $$DB_PASSWORD
POSTGRES_DB: sentry
volumes:
- pgdb:/var/lib/postgresql/data
env_file:
- sentry.env
sentry:
image: sentry
links:
- redis
- postgres
ports:
- 9000:9000
environment:
SENTRY_SECRET_KEY: $$SENTRY_SECRET_KEY
SENTRY_POSTGRES_HOST: postgres
SENTRY_DB_USER: $$DB_USER
SENTRY_DB_PASSWORD: $$DB_PASSWORD
SENTRY_REDIS_HOST: redis
env_file:
- sentry.env
cron:
image: sentry
links:
- redis
- postgres
command: "sentry run cron"
environment:
SENTRY_SECRET_KEY: $$SENTRY_SECRET_KEY
SENTRY_POSTGRES_HOST: postgres
SENTRY_DB_USER: $$DB_USER
SENTRY_DB_PASSWORD: $$DB_PASSWORD
SENTRY_REDIS_HOST: redis
env_file:
- sentry.env
worker:
image: sentry
links:
- redis
- postgres
command: "sentry run worker"
environment:
SENTRY_SECRET_KEY: $$SENTRY_SECRET_KEY
SENTRY_POSTGRES_HOST: postgres
SENTRY_DB_USER: $$DB_USER
SENTRY_DB_PASSWORD: $$DB_PASSWORD
SENTRY_REDIS_HOST: redis
env_file:
- sentry.env
生成sentry secret key填充到sentry.env中的SENTRY_SECRET_KEY。
docker run --rm sentry config generate-secret-key
初始化數據庫以及創建登錄用戶。
docker-compose up -d # 部署sentry以及相關依賴的服務
docker-compose exec sentry sentry upgrade ## create user and password.
5、sentry dashboard使用
使用前面創建的用戶以及密碼登錄：
sentry dashboard login
創建項目：
創建項目
一個配置demo：
配置demo
大概就是這些，具體的各語言的SDK還要看對應的文檔以及源碼。
6、go sentry測試
本實例，將通過創建一個go語言編寫的demo服務，測試錯誤上報到sentry的效果
創建go項目：
mkdir go-sentry-gin
cd $_
初始化模塊:
go mod init go-gin-sentry
go get github.com/getsentry/sentry-go
go get github.com/getsentry/sentry-go/gin
source code:
package main
import (
"github.com/getsentry/sentry-go"
sentrygin "github.com/getsentry/sentry-go/gin"
"github.com/gin-gonic/gin"
"net/http"
)
func main() {
err := sentry.Init(sentry.ClientOptions{
Dsn: "http://c0056580f26c469c8cc31d780d1995a8@localhost:9000/6",
Environment: "dev",
Release: "go-sentry-gin@0.0.1",
Debug: true,
})
if err != nil {
sentry.CaptureMessage("Sentry initialization failed." + err.Error())
}
r := gin.Default()
r.Use(sentrygin.New(sentrygin.Options{}))
r.Use(func(ctx *gin.Context) {
if hub := sentrygin.GetHubFromContext(ctx); hub != nil {
hub.Scope().SetTag("someRandomTag", "maybeYouNeedIt")
ctx.Next()
}
})
r.GET("/demo", func(c *gin.Context) {
if hub := sentrygin.GetHubFromContext(c); hub != nil {
hub.WithScope(func(scope *sentry.Scope) {
scope.SetExtra("unwantedQuery", "someQueryDataMaybe")
hub.CaptureMessage("User provided unwanted query string, but we recovered just fine")
})
c.Status(http.StatusOK)
}
panic("error occured")
})
r.Run()
}
運行后，訪問服務路由，錯誤日志信息即上報到sentry上。
打開項目詳情頁，即可看到整個項目的狀態信息。
go-gin-sentry相關信息
7、參考
- Introducing Snuba: Sentry's New Search Infrastructure。
- 轉轉商業前端錯誤監控系統(Sentry)策略升級。
- Sentry(v20)云原生架構探索，前/后端監控與事件日志大數據分析，高性能高可用可擴展可伸縮集群。
- 事件存儲過程。
- sentry系列的文章。
參考資料
[1]sentry官網: https://sentry.io/welcome/。
責任編輯：姜華
來源：
云原生生態圈
