精品欧美一区二区三区在线观看 _久久久久国色av免费观看性色_国产精品久久在线观看_亚洲第一综合网站_91精品又粗又猛又爽_小泽玛利亚一区二区免费_91亚洲精品国偷拍自产在线观看 _久久精品视频在线播放_美女精品久久久_欧美日韩国产成人在线

Sentry 監(jiān)控之 Alerts 告警

安全 應(yīng)用安全
警報(bào)提供對(duì)代碼問(wèn)題和對(duì)用戶的影響的實(shí)時(shí)可見(jiàn)性。有多種類型的警報(bào)可用于自定義閾值和集成。

[[426186]]

本文轉(zhuǎn)載自微信公眾號(hào)「黑客下午茶」,作者為少 。轉(zhuǎn)載本文請(qǐng)聯(lián)系黑客下午茶公眾號(hào)。

警報(bào)簡(jiǎn)介

警報(bào)提供對(duì)代碼問(wèn)題和對(duì)用戶的影響的實(shí)時(shí)可見(jiàn)性。有多種類型的警報(bào)可用于自定義閾值和集成。

從 sentry.io 的 Alerts 頁(yè)面,您可以創(chuàng)建新的警報(bào)規(guī)則并管理現(xiàn)有規(guī)則。“警報(bào)規(guī)則(Alert Rules)”選項(xiàng)卡顯示您現(xiàn)有的警報(bào)規(guī)則,以及它們的當(dāng)前狀態(tài)、項(xiàng)目、團(tuán)隊(duì)和創(chuàng)建日期。默認(rèn)情況下,該列表經(jīng)過(guò)篩選,以便僅顯示與您所屬的團(tuán)隊(duì)以及與任何團(tuán)隊(duì)無(wú)關(guān)的警報(bào)。您可以使用過(guò)濾器按鈕更改此設(shè)置。

警報(bào)(Alerts) 頁(yè)面還顯示一個(gè) “歷史(History)” 選項(xiàng)卡,您可以在其中找到指標(biāo)警報(bào)列表,其中包含觸發(fā)時(shí)間和活動(dòng)時(shí)間等信息。

錯(cuò)誤 Issue 警報(bào)

只要項(xiàng)目中的任何問(wèn)題符合指定標(biāo)準(zhǔn),就會(huì)觸發(fā) Issue 警報(bào)。您可以為 Issue 級(jí)別的更改創(chuàng)建警報(bào),例如:

  • 新 Issue
  • Issue 頻率增加
  • 已解決和忽略的 Issue 變成未解決(unresolved)

您可以在 issue 警報(bào)配置中找到 Issue 警報(bào)觸發(fā)器的完整列表。

  • https://docs.sentry.io/product/alerts/create-alerts/issue-alert-config/#when-conditions-triggers

錯(cuò)誤和性能指標(biāo)警報(bào)

當(dāng) error 或 transaction 事件違反了指標(biāo)時(shí),指標(biāo)警報(bào)就會(huì)觸發(fā)。使用指標(biāo)警報(bào)來(lái)監(jiān)控您關(guān)心的一組有限且已知的指標(biāo)和組件,例如整個(gè)項(xiàng)目中、重要頁(yè)面上或具有特定標(biāo)簽的錯(cuò)誤頻率或性能指標(biāo)。

創(chuàng)建警報(bào)以監(jiān)控指標(biāo),例如:

  • 項(xiàng)目中的總錯(cuò)誤(Total errors)
  • 延遲(Latency):最小值(min)、最大值(max)、平均值(average)、百分位數(shù)(percentile)
  • 失敗率(Failure rate)
  • 自定義指標(biāo)

您可以在指標(biāo)警報(bào)中找到可用指標(biāo)警報(bào)的完整列表。

  • https://docs.sentry.io/product/alerts/alert-types/#metric-alerts

創(chuàng)建警報(bào)

在 sentry.io 中創(chuàng)建新項(xiàng)目時(shí),您可以選擇默認(rèn)的 issue 警報(bào)。但是,您也可以使用這些最佳實(shí)踐作為指南,創(chuàng)建自己的警報(bào)以滿足團(tuán)隊(duì)的需求。

  • https://docs.sentry.io/product/alerts/create-alerts/
  • https://docs.sentry.io/product/alerts/create-alerts/best-practices/

通知

除了警報(bào)之外,Sentry 還會(huì)向您發(fā)送有關(guān)各種事項(xiàng)的通知,例如 issue 狀態(tài)更改、發(fā)布部署和配額使用情況。您可以在用戶設(shè)置 > 通知(User Settings > Notifications)中微調(diào)這些通知以及您的個(gè)人警報(bào)設(shè)置。在完整文檔中了解有關(guān)通知和調(diào)整其關(guān)聯(lián)設(shè)置的更多信息。

  • issue state changes: https://docs.sentry.io/product/issues/states-triage/
  • release deploys:https://docs.sentry.io/product/releases/
  • quota usage:https://docs.sentry.io/product/accounts/quotas/
  • https://docs.sentry.io/product/alerts/notifications/

警報(bào)類型

您可以創(chuàng)建兩種類型的警報(bào):

  1. Issue alerts:當(dāng) issue(一組錯(cuò)誤事件)符合特定條件時(shí)觸發(fā)。
  2. Metric alerts:當(dāng) error 或 transaction 事件的宏觀指標(biāo)超過(guò)特定閾值時(shí)觸發(fā)。

Issue 警報(bào)

只要項(xiàng)目中的任何 issue 符合指定標(biāo)準(zhǔn),就會(huì)觸發(fā) Issue 警報(bào)。例如,這些標(biāo)準(zhǔn)可能是重新出現(xiàn)的已解決 issue 或影響許多用戶的 issue。

在“警報(bào)規(guī)則(Alert Rules)”選項(xiàng)卡中,這些警報(bào)由 issues 圖標(biāo)標(biāo)識(shí),默認(rèn)情況下,它們顯示在警報(bào)列表的底部。(如果您有多個(gè)指標(biāo)警報(bào),這可能會(huì)將您的 issue 警報(bào)從列表的第一頁(yè)推出。)

在問(wèn)題警報(bào)中,Sentry 每次收到新事件時(shí)都會(huì)評(píng)估配置的警報(bào)條件。警報(bào)條件包括三個(gè)部分:

  1. 觸發(fā)器(Triggers)指定您想要監(jiān)控的活動(dòng)類型,或何時(shí)(When)應(yīng)觸發(fā)警報(bào)。
  2. 過(guò)濾器(Filters)通過(guò)僅在 issue 符合指定標(biāo)準(zhǔn)時(shí)觸發(fā)警報(bào)來(lái)幫助控制 issue 噪音。
  3. 然后,Actions 指定當(dāng)滿足觸發(fā)條件并且過(guò)濾器匹配時(shí)應(yīng)該發(fā)生什么。

指標(biāo)警報(bào)

指標(biāo)警報(bào)會(huì)告訴您指標(biāo)何時(shí)超過(guò)閾值,例如項(xiàng)目中錯(cuò)誤數(shù)量的激增,或性能指標(biāo)的變化,例如延遲(latency)、Apdex、故障率(failure rate)或吞吐量(throughput)。

指標(biāo)警報(bào)監(jiān)控 error 和 transaction 事件的宏觀指標(biāo)。指標(biāo)獲取一組事件并使用函數(shù)(例如 count() 或 avg())計(jì)算一段時(shí)間內(nèi)應(yīng)用于事件屬性的聚合值。創(chuàng)建指標(biāo)警報(bào)時(shí),您可以按屬性(attributes)和標(biāo)簽(tags)過(guò)濾事件,這對(duì)于聚合未分組為單個(gè) issue 的事件特別有用。

這些警報(bào)使用 Critical 和 Warning 觸發(fā)器來(lái)衡量嚴(yán)重性。警報(bào)的當(dāng)前狀態(tài)是處于活動(dòng)狀態(tài)的最高嚴(yán)重性觸發(fā)器(highest severity trigger),可以是以下三個(gè)值之一:警告(Warning)、嚴(yán)重(Critical)或已解決(Resolved)。每當(dāng)警報(bào)的狀態(tài)發(fā)生變化時(shí),Sentry 都會(huì)通知您。

創(chuàng)建警報(bào)時(shí),所有顯示的警報(bào)類型(“Issues”除外)均可用于創(chuàng)建指標(biāo)警報(bào):

  • Number of Errors(錯(cuò)誤數(shù))
  • Users Experiencing Errors(出現(xiàn)錯(cuò)誤的用戶)
  • Throughput(吞吐量)
  • Transaction Duration(transaction 時(shí)長(zhǎng))
  • Apdex
  • Failure Rate(失敗率)
  • Largest Contentful Paint(最大內(nèi)容繪制)
  • First Input Delay(首次輸入延遲)
  • Cumulative Layout Shift(累積布局偏移)
  • Custom Metric(自定義指標(biāo))

警報(bào)詳情

警報(bào)詳細(xì)信息(Alert Details)頁(yè)面默認(rèn)顯示過(guò)去 24 小時(shí)的指標(biāo)警報(bào)規(guī)則的歷史記錄,但可以使用“顯示(Display)”下拉菜單修改時(shí)間段。觸發(fā)警報(bào)時(shí),單擊您收到的通知會(huì)將您帶到此頁(yè)面,該頁(yè)面顯示警報(bào)處于活動(dòng)狀態(tài)的時(shí)間段。該頁(yè)面還包括詳細(xì)信息,例如警報(bào)規(guī)則條件、警報(bào)的當(dāng)前狀態(tài)以及警報(bào)在每種狀態(tài)(Critical、``Warning或Resolved`)中花費(fèi)的時(shí)間摘要。

警報(bào)詳細(xì)信息(Alert Details)頁(yè)面還包括與指標(biāo)相關(guān)的可疑 issue 或 transaction 的列表,以幫助更快地查明根本問(wèn)題。您可以查看可能導(dǎo)致觸發(fā)警報(bào)的原因,然后在 Discover 中打開(kāi)該指標(biāo)以查找更多信息。

  • https://docs.sentry.io/product/discover-queries

創(chuàng)建警報(bào)

創(chuàng)建警報(bào)所需的最低角色是 member。具有 manager 或 owner 權(quán)限的 Sentry 用戶可以在設(shè)置 > 常規(guī)設(shè)置 > 讓成員創(chuàng)建和編輯警報(bào)(Settings > General Settings > Let Members Create and Edit Alerts)中更改最低角色要求。

要?jiǎng)?chuàng)建警報(bào):

  • 導(dǎo)航到警報(bào)(Alerts)并單擊 “Create Alert Rule”。
  • 選擇您的項(xiàng)目。
  • 選擇您希望收到警報(bào)的內(nèi)容。選擇 “Issues” 會(huì)創(chuàng)建 issue 警報(bào),而選擇任何其他選項(xiàng)會(huì)創(chuàng)建 metric 警報(bào)。 

  • 單擊“設(shè)置條件(Set Conditions)”。
  • 在警報(bào)配置頁(yè)面,設(shè)置告警條件:
    • https://docs.sentry.io/product/alerts/create-alerts/metric-alert-config/
    • https://docs.sentry.io/product/alerts/create-alerts/issue-alert-config/
    • Issue 警報(bào)配置
    • Metric 警報(bào)配置

Issue 警報(bào)配置

Sentry 提供了多個(gè)配置選項(xiàng)來(lái)根據(jù)您組織的需要?jiǎng)?chuàng)建 issue 警報(bào)。

環(huán)境

指定哪些環(huán)境(environment)將使用此特定警報(bào)規(guī)則。此控件過(guò)濾事件中的環(huán)境標(biāo)簽。例如,此過(guò)濾器很有用,因?yàn)槟鷳?yīng)用于生產(chǎn)警報(bào)的緊迫性和工作流程可能不同于您應(yīng)用于源自 QA 環(huán)境的警報(bào)的緊急程度和工作流程。

此處的 “Environment” 下拉列表具有與全局 “Environment” 下拉列表中所選項(xiàng)目可用的相同環(huán)境(不包括隱藏環(huán)境)。選擇 “All Environments” 相當(dāng)于沒(méi)有環(huán)境過(guò)濾器。

團(tuán)隊(duì)

您可以選擇要與警報(bào)關(guān)聯(lián)的團(tuán)隊(duì),以便該團(tuán)隊(duì)的成員可以編輯警報(bào)。請(qǐng)注意,只有當(dāng)您是團(tuán)隊(duì)成員時(shí)才能進(jìn)行此關(guān)聯(lián)。如果未選擇任何團(tuán)隊(duì),則任何人都可以編輯警報(bào)。

警報(bào)名稱

為您的警報(bào)指定一個(gè)描述性名稱,例如受影響的團(tuán)隊(duì)和警報(bào)的主題。例如,“前端延遲(Frontend Latency)”、“后端故障率(Backend Failure Rate)”或“計(jì)費(fèi) Apdex(Billing Apdex)”。

“何時(shí)(When)”條件:觸發(fā)器

“When” 條件或觸發(fā)器指定您希望針對(duì)該 issue 監(jiān)控哪種類型的活動(dòng):

  • 首次出現(xiàn)
  • 將狀態(tài)從已解決(resolved)更改為未解決(unresolved)
  • 將狀態(tài)從忽略(ignored)更改為未解決(unresolved)
  • 在一個(gè)時(shí)間間隔內(nèi)看到超過(guò)一定次數(shù)
  • 在一個(gè)時(shí)間間隔內(nèi)被超過(guò)一定數(shù)量的唯一用戶看到
  • 某個(gè) issue 在 {time} 內(nèi)影響了超過(guò) {X}% 的會(huì)話
    • 受影響的會(huì)話百分比是一個(gè)近似值,計(jì)算為 issue 頻率與項(xiàng)目中會(huì)話數(shù)的比率
    • 僅當(dāng)過(guò)去一小時(shí)的會(huì)話數(shù)超過(guò) 50 時(shí)才會(huì)觸發(fā)基于百分比的警報(bào)

觸發(fā)器(Triggers)是可選的。如果不選擇觸發(fā)器,則默認(rèn)認(rèn)為滿足 “When” 條件。也就是說(shuō),所有的事件都滿足這個(gè)條件。

在 Issue States & Triage 中了解有關(guān) issue 狀態(tài)的更多信息。

  • Issue States & Triage: https://docs.sentry.io/product/issues/states-triage/

“如果(If)”條件:過(guò)濾器

Sentry 在滿足 “When” 條件后檢查 “if conditions” 或過(guò)濾器,這些通過(guò)過(guò)濾掉不符合您指定標(biāo)準(zhǔn)的問(wèn)題來(lái)幫助控制 noise。您可以過(guò)濾issue 或事件屬性。如果指定了事件過(guò)濾器,它只會(huì)檢查觸發(fā)警報(bào)的事件,例如:

issue 比特定持續(xù)時(shí)間更舊或新。

該 issue 至少發(fā)生了 {X} 次。

  • issue 已分配給{no one/a team/a member}。
  • 該事件來(lái)自最新 release。
  • 事件的 {attribute} {matches} {value}。匹配類型:等于(equals)、不等于(does not equal)、開(kāi)始于(starts with)、結(jié)束于(ends with)、包含(contains)、不包含(does not contain)、已設(shè)置(is set)或未設(shè)置(is not set)。
  • 事件的 {tag} {matches} {value}。匹配類型:等于(equals)、不等于(does not equal)、開(kāi)始于(starts with)、結(jié)束于(ends with)、包含(contains)、不包含(does not contain)、已設(shè)置(is set)或未設(shè)置(is not set)。
  • 事件的級(jí)別 {matches} {level}。匹配類型:等于(equal to)、小于(less than)或等于(equal to)、或大于(greater than)或等于(equal to)。

了解更多關(guān)于標(biāo)簽(tags)和事件屬性(event attributes)的信息。

tags:https://docs.sentry.io/platforms/javascript/enriching-events/tags/

event attributes:https://docs.sentry.io/product/sentry-basics/search/searchable-properties/#event-properties

“然后(Then)”條件:動(dòng)作

“Then conditions”或動(dòng)作,指定滿足觸發(fā)器和過(guò)濾條件時(shí)應(yīng)該發(fā)生的事情:

  • 向問(wèn)題所有者(Issue Owners)、團(tuán)隊(duì)(a team)或成員(a member)發(fā)送通知。
  • 向集成發(fā)送通知,其中可以包含以下選項(xiàng),具體取決于您安裝的集成:
    • 發(fā)送 Slack 通知
    • 發(fā)送 PagerDuty 通知
    • 發(fā)送 Microsoft Teams 通知
    • 向所有舊集成發(fā)送通知。
    • 使用集成平臺(tái)上構(gòu)建的集成發(fā)送通知
  • 為集成創(chuàng)建一個(gè) issue,其中包括:
    • https://docs.sentry.io/product/integrations/source-code-mgmt/azure-devops
    • https://docs.sentry.io/product/integrations/project-mgmt/jira/
    • Jira
    • Azure DevOps

了解有關(guān)通過(guò)集成路由警報(bào)的更多信息。

  • https://docs.sentry.io/product/alerts/create-alerts/routing-alerts/

Issue 所有者

Issue 所有者可以在觸發(fā)警報(bào)時(shí)收到通知(僅限電子郵件)。

對(duì)于早期采用者,這些通知是通過(guò)電子郵件或 Slack 接收的,具體取決于問(wèn)題所有者的通知設(shè)置。

  • Issue owners:https://docs.sentry.io/product/issues/issue-owners/
  • notification settings:https://docs.sentry.io/product/alerts/notifications/notification-settings/

如果未配置或未找到 issue 所有者,則不會(huì)發(fā)送通知或?qū)⑵浒l(fā)送給所有項(xiàng)目成員,具體取決于 [項(xiàng)目]>設(shè)置>問(wèn)題所有者([Project]>Settings>Issue Owners) 中的以下設(shè)置。

團(tuán)隊(duì) Slack 通知

團(tuán)隊(duì)可以配置 Slack channel 來(lái)接收警報(bào)通知。這可以通過(guò)在所需的 Slack channel 中鍵入 /sentry link team 來(lái)完成。要在 sentry.io 中查看團(tuán)隊(duì)關(guān)聯(lián)的 Slack 頻道,請(qǐng)導(dǎo)航到 設(shè)置>團(tuán)隊(duì)>[團(tuán)隊(duì)]>通知(Settings>Teams>[Team]>Notifications)。

動(dòng)作間隔(速率限制)

動(dòng)作間隔(action interval)或速率限制(rate limit)控制針對(duì)特定問(wèn)題觸發(fā)警報(bào)規(guī)則的頻率。如果警報(bào)條件與問(wèn)題匹配,Sentry 只執(zhí)行在速率限制期限內(nèi)尚未針對(duì)該問(wèn)題執(zhí)行的動(dòng)作。例如,如果一個(gè)問(wèn)題在一分鐘的時(shí)間內(nèi)多次滿足警報(bào)條件,但是您的頻率閾值是一分鐘,那么您只會(huì)收到一次警報(bào)。

可用的間隔是:

  • 分鐘:5, 10, 30, 60
  • 小時(shí):3, 12, 24
  • 天:7, 30

項(xiàng)目級(jí)警報(bào)設(shè)置

在 [項(xiàng)目] > 設(shè)置 > 警報(bào)([Project] > Settings > Alerts) 中,您可以配置警報(bào)電子郵件主題模板和摘要設(shè)置。擁有 owner、manager 或管理員權(quán)限(admin permissions)及以上權(quán)限的 Sentry 用戶可以更改這些默認(rèn)通知設(shè)置。

摘要

摘要功能僅適用于 issue 警報(bào)電子郵件(不是通過(guò)集成發(fā)送的通知),并且與動(dòng)作間隔(action interval)不同,它限制為項(xiàng)目發(fā)送的警報(bào)電子郵件總數(shù)。此項(xiàng)目級(jí)設(shè)置允許您控制警報(bào)的最小和最大交付間隔。

指標(biāo)警報(bào)配置

Sentry 提供了多個(gè)配置選項(xiàng)來(lái)根據(jù)您組織的需要?jiǎng)?chuàng)建指標(biāo)警報(bào)。

過(guò)濾器

以下過(guò)濾器組轉(zhuǎn)換為 Discover 查詢,顯示在警報(bào)配置頁(yè)面頂部的圖表中。

環(huán)境

指定哪些環(huán)境將使用此特定警報(bào)規(guī)則。此控件過(guò)濾事件中的 environment 標(biāo)簽。例如,此過(guò)濾器很有用,因?yàn)槟鷳?yīng)用于生產(chǎn)警報(bào)的緊迫性和工作流程可能不同于您應(yīng)用于源自 QA 環(huán)境的警報(bào)的緊急程度和工作流程。

此處的 “Env:” 下拉列表與全局 “Environment” 下拉列表中所選項(xiàng)目的可用環(huán)境相同(不包括隱藏環(huán)境)。選擇 “全部(All)” 相當(dāng)于沒(méi)有環(huán)境過(guò)濾器。

事件類型

對(duì)于某些指標(biāo)警報(bào),您可以在“事件(Events)”下拉列表中設(shè)置要收到警報(bào)的事件類型:

  • event.type:error OR event.type:default
  • event.type:default
  • event.type:error
  • event.type:transaction

標(biāo)簽(Tag) & 屬性(Attribute)

在提供的字段中添加過(guò)濾器以縮小您將收到警報(bào)的范圍,例如 URL、標(biāo)簽或其他事件屬性。

指標(biāo)(函數(shù) + 時(shí)間間隔)

根據(jù)您選擇的警報(bào)類型,您可以選擇要應(yīng)用的函數(shù)和參數(shù)。在其他情況下,該功能內(nèi)置于警報(bào)中,并且不顯示設(shè)置。例如,如果您選擇“受影響的用戶數(shù)(Number of Users Affected)”,則轉(zhuǎn)換為函數(shù) count_unique(user.id)。由于編輯此函數(shù)會(huì)改變警報(bào)的性質(zhì),因此它不可編輯,因此被隱藏。

警報(bào)函數(shù)

  • count()
  • count_unique(...)
  • avg(...)
  • percentile(...)
  • failure_rate()
  • apdex(...)
  • count()
  • p50()
  • p75()
  • p95()
  • p99()
  • p100()

時(shí)間間隔

選擇評(píng)估指標(biāo)的時(shí)間段。您的選擇范圍從一分鐘到一天。 Sentry 每分鐘評(píng)估指定的窗口。例如,如果您指定一個(gè)小時(shí)時(shí)間窗口,Sentry 會(huì)評(píng)估:

  • At 3:00pm: 2:00pm - 3:00pm
  • At 3:01pm: 2:01pm - 3:01pm
  • At 3:02pm: 2:02pm - 3:02pm
  • ...

閾值

閾值是幫助定義警報(bào)觸發(fā)器的數(shù)值。這些數(shù)值被標(biāo)記為:

  • Critical(嚴(yán)重)
  • Warning(警告)
  • Resolved(已解決)

您必須設(shè)置 “Warning” 閾值,使其在 “Critical” 閾值之前觸發(fā)。當(dāng) Sentry 評(píng)估警報(bào)時(shí),警報(bào)的狀態(tài)會(huì)更新為匹配的最高嚴(yán)重性觸發(fā)器。如果您未設(shè)置 “Resolved” 閾值,警報(bào)將在不再違反 “Critical” 或 “Warning” 條件時(shí)自動(dòng)解決。您還可以手動(dòng)解決警報(bào)。

自動(dòng)解決

默認(rèn)情況下,當(dāng)指定的指標(biāo)不再違反 “Critical” 或 “Warning” 條件時(shí),會(huì)自動(dòng)解決指標(biāo)警報(bào)。但是,您可以設(shè)置不同的分辨率閾值。例如,假設(shè)您的應(yīng)用程序的正常錯(cuò)誤級(jí)別低于 2000/分鐘,并且您希望在超過(guò) 5000/分鐘 時(shí)收到警報(bào)。您可能希望警報(bào)僅在錯(cuò)誤級(jí)別回到 2000/分鐘 以下時(shí) resolve,而不是 5000/分鐘。通過(guò)以這種方式設(shè)置 “Resolved” 閾值,如果錯(cuò)誤級(jí)別回落到僅 4000/分鐘,即使它低于警報(bào)閾值,您也會(huì)認(rèn)為這是有問(wèn)題的,警報(bào)將不會(huì) resolve。

動(dòng)作

動(dòng)作定義了您和您的團(tuán)隊(duì)將如何收到警報(bào):

  • 向成員(member)或團(tuán)隊(duì)(team)發(fā)送電子郵件。如果發(fā)送給成員(team),則成員(team)的個(gè)人項(xiàng)目警報(bào)選擇退出設(shè)置(opt-out settings)將被覆蓋。
  • 發(fā)送 Slack 通知

https://docs.sentry.io/product/integrations/notification-incidents/slack/

  • 發(fā)送 PagerDuty 通知

https://docs.sentry.io/product/integrations/notification-incidents/pagerduty/

  • 發(fā)送 Microsoft Teams 通知

https://docs.sentry.io/product/integrations/notification-incidents/msteams/

  • 使用內(nèi)部集成發(fā)送請(qǐng)求。

https://docs.sentry.io/product/integrations/integration-platform/#internal-integrations

  • 了解有關(guān)通過(guò)集成路由警報(bào)的更多信息。

https://docs.sentry.io/product/alerts/create-alerts/routing-alerts/

規(guī)則名稱

為您的警報(bào)指定一個(gè)描述性名稱,例如受影響的團(tuán)隊(duì)和警報(bào)的主題。例如,“前端延遲(Frontend Latency)”、“后端故障率(Backend Failure Rate)”或“計(jì)費(fèi) Apdex(Billing Apdex)”。

團(tuán)隊(duì)

您可以選擇要與警報(bào)關(guān)聯(lián)的團(tuán)隊(duì),以便該團(tuán)隊(duì)的成員可以編輯此警報(bào)。請(qǐng)注意,只有當(dāng)您是團(tuán)隊(duì)成員時(shí)才能進(jìn)行此關(guān)聯(lián)。如果未選擇任何團(tuán)隊(duì),則任何人都可以編輯警報(bào)。

帶有集成的警報(bào)路由

通過(guò)定制警報(bào)規(guī)則并集成您已經(jīng)使用的工具,您可以在需要的時(shí)候when、地點(diǎn)where(以及是否if)收到警報(bào),而不會(huì)受到干擾。警報(bào)通知可以路由到 Slack,多個(gè)支持的集成,以及通過(guò) webhooks 定制集成。在創(chuàng)建警報(bào)規(guī)則時(shí),您可以使用這些集成來(lái)配置通知誰(shuí)以及如何通知。

集成

Sentry 的集成為您提供了通過(guò) Slack、PagerDuty 和 Microsoft Teams 等常用應(yīng)用程序路由警報(bào)的選項(xiàng)。您可以在 設(shè)置 > 集成(Settings > Integrations) 中找到這些集成,并為整個(gè)組織安裝它們。

Slack 警報(bào)

Sentry 組織 owner 或 manager 可以在其 Sentry 帳戶中安裝和配置 Slack 集成。配置集成后,issue 警報(bào)規(guī)則中將提供以下動(dòng)作:向 {workspace} Slack 工作區(qū)發(fā)送通知至 {channel} 并在通知中顯示標(biāo)簽 {tags}。在指標(biāo)警報(bào)中,您的 Slack 團(tuán)隊(duì)將在 action 下拉列表之一中可用。

此 alert action 允許您將警報(bào)通知路由到 Slack 工作區(qū)中的選定頻道(使用 # 前綴)或直接消息中的特定用戶(使用 @ 前綴)。

然后,一旦您收到 Slack 通知,您可以使用 “Resolve”、“Ignore” 或 “Assign” 按鈕直接從 Slack 更新 sentry.io 中的問(wèn)題。

PagerDuty 警報(bào)

Sentry 組織 owner 或 manager 可以在其 Sentry 帳戶中安裝和配置 PagerDuty 集成。配置集成后,issue 警報(bào)規(guī)則中將提供以下動(dòng)作:向 PagerDuty 帳戶 {account} 和服務(wù) {service} 發(fā)送通知。在指標(biāo)警報(bào)中,您的 PagerDuty 帳戶將在 action 下拉列表之一中可用。

Microsoft Teams 警報(bào)

Sentry 組織 owner 或 manager 可以在其 Sentry 帳戶中安裝和配置 Microsoft Teams。配置集成后,issue 警報(bào)規(guī)則中將提供以下動(dòng)作:向 {team} 團(tuán)隊(duì)發(fā)送通知至 {channel(s)}。在指標(biāo)警報(bào)中,您的 Microsoft 團(tuán)隊(duì)將在 action 下拉列表之一中可用。

構(gòu)建您自己的集成

如果您想將警報(bào)通知路由到 Sentry 沒(méi)有開(kāi)箱即用集成的其他解決方案,您可以使用 Integration Platform。集成平臺(tái)為外部服務(wù)提供了一種使用 REST API 和 Webhook 與 Sentry SaaS 服務(wù)交互的方法。

如果您想從不同的監(jiān)控系統(tǒng)匯總警報(bào)或編寫(xiě)自定義規(guī)則以更智能地路由警報(bào),則向 webhook 發(fā)送警報(bào)也很有幫助。

當(dāng)您創(chuàng)建新的集成并在其上啟用“Alert Rule Action”選項(xiàng)時(shí),當(dāng)您選擇在 issue 警報(bào)規(guī)則創(chuàng)建期間通過(guò)集成 action 發(fā)送通知時(shí),您的集成將顯示為服務(wù)。在指標(biāo)警報(bào)中,您的集成在 action 下拉列表之一中可用。

遺留集成

遺留集成(也稱為插件)是 Sentry 的擴(kuò)展,打包為 Python 庫(kù),并在項(xiàng)目級(jí)進(jìn)行配置。要向遺留集成發(fā)送警報(bào),請(qǐng)選擇 “Send a notification via an integration” 或 “Send a notification to all legacy integrations” 動(dòng)作。您不能將指標(biāo)警報(bào)路由到遺留集成。

警報(bào)最佳實(shí)踐

警報(bào)在正確的時(shí)間通知正確的人非常重要。向太多人發(fā)送太多通知可能會(huì)導(dǎo)致這些通知被忽略。以下最佳實(shí)踐將幫助您創(chuàng)建或微調(diào)警報(bào)以最大程度地減少警報(bào)噪音,同時(shí)仍會(huì)告訴您需要了解的內(nèi)容。

檢測(cè)重要問(wèn)題

頻率(Frequency) :通常,您會(huì)設(shè)置警報(bào)以在錯(cuò)誤超過(guò)特定頻率時(shí)觸發(fā),但頻率并不是一切:如果低頻錯(cuò)誤位于應(yīng)用程序的更重要部分,則它可能比高頻錯(cuò)誤更重要。

受影響的用戶(Users affected):有時(shí)極少數(shù)用戶會(huì)產(chǎn)生大量錯(cuò)誤,因此提醒受影響的用戶可能比錯(cuò)誤頻率更重要。然而,并非所有在 Sentry 中有用戶計(jì)數(shù)的錯(cuò)誤實(shí)際上都可能是面向用戶的,反之亦然。如果您過(guò)濾這些類型的問(wèn)題,您就可以避免收到非用戶面臨的錯(cuò)誤的警報(bào)。

標(biāo)簽(Tags):使用標(biāo)簽對(duì)錯(cuò)誤進(jìn)行分類。例如,您可以過(guò)濾自動(dòng)捕獲的 url 標(biāo)簽以識(shí)別關(guān)鍵業(yè)務(wù)頁(yè)面,或過(guò)濾自定義標(biāo)簽(如 customer_type)以更重要地處理這些警報(bào)。您可以在 [項(xiàng)目] > 設(shè)置 > 標(biāo)簽([Project] > Settings > Tags) 下找到項(xiàng)目中可用的標(biāo)簽列表。該列表是該項(xiàng)目事件中遇到的所有標(biāo)簽 key(默認(rèn)和自定義)的聚合。

降低警報(bào)噪音

這些最佳實(shí)踐可幫助您減少 issue 警報(bào)可能產(chǎn)生的噪音,但不適用于指標(biāo)警報(bào)。

看到相同的警報(bào)(Seeing the same alerts):如果您反復(fù)看到以前看過(guò)的警報(bào),請(qǐng)嘗試將您的 issue 警報(bào)過(guò)濾為過(guò)去幾天創(chuàng)建的問(wèn)題,使用 The issue is older or newer than... 過(guò)濾器。

瞬態(tài)警報(bào)(Transient alerts):要過(guò)濾掉僅快速連續(xù)發(fā)生幾次且不再發(fā)生的 transient issues,請(qǐng)?jiān)谀?issue 警報(bào)中使用 Issue has happened at least {X} times 過(guò)濾器。

限制為最新版本(Limit to latest release):使用 The event is from the latest release 過(guò)濾器將您的 issue 警報(bào)僅應(yīng)用于最新版本。

使用“For Review”列表(Use the “For Review” list):新 issue 和未解決的 issue 通常是您想知道的,但它們會(huì)產(chǎn)生很多噪音。Sentry 問(wèn)題列表中的 “For Review” 選項(xiàng)卡會(huì)顯示這些問(wèn)題,因此您可以使用電子郵件和集成來(lái)發(fā)出更高緊急性的警報(bào),同時(shí)確保這些低緊急性問(wèn)題不會(huì)被忽視。我們建議每天查看一次 “For Review” 列表。此列表顯示:

  • 新 Issue
  • 回歸(issue 從 “Resolved”->“Unresolved” 更改狀態(tài))
  • 滿足忽略條件的 issue(issue 狀態(tài)從 Ignored -> Unresolved)

已忽略 Issue

您可以忽略 issue 以減少噪音,但是,當(dāng)滿足警報(bào)條件時(shí),忽略的問(wèn)題不會(huì)觸發(fā)警報(bào);它們反而變成 unresolved 并出現(xiàn)在“For Review”列表中。因此,如果您擔(dān)心遺漏這些問(wèn)題,請(qǐng)使用 An issue changes state from ignore to unresolved 觸發(fā)器創(chuàng)建問(wèn)題警報(bào)。

路由

問(wèn)題所有者(Issue owners) :使用 issue owners 讓 Sentry 自動(dòng)向合適的人發(fā)送警報(bào),并減輕配置負(fù)擔(dān)。您可以在 [項(xiàng)目] > 設(shè)置 > 問(wèn)題所有者( [Project] > Settings > Issue Owners) 中配置所有權(quán)規(guī)則。當(dāng)沒(méi)有匹配的所有者時(shí),警報(bào)默認(rèn)發(fā)送給所有項(xiàng)目成員。如果這太寬泛,并且您希望特定所有者作為后備,請(qǐng)以 *: 之類的規(guī)則結(jié)束您的所有權(quán)規(guī)則。

不同優(yōu)先級(jí)的發(fā)送方式(Delivery methods for different priorities) :使用不同的發(fā)送方式來(lái)區(qū)分不同優(yōu)先級(jí)的告警。例如,您可以像這樣從最高優(yōu)先級(jí)路由到最低優(yōu)先級(jí):

  • 高優(yōu)先級(jí):頁(yè)面(PagerDuty 或 OpsGenie)
  • 中等優(yōu)先級(jí):聊天應(yīng)用(Slack)
  • 低優(yōu)先級(jí):Email

問(wèn)題列表中的 “For Review” 選項(xiàng)卡是您可以在不接收任何警報(bào)的情況下檢查優(yōu)先級(jí)最低的問(wèn)題的位置。

構(gòu)建集成:如果您想將警報(bào)通知路由到 Sentry 還沒(méi)有開(kāi)箱即用集成的解決方案,您可以使用 Integration Platform。創(chuàng)建集成時(shí),它將在 alert actions 菜單中可用。您可能希望將自己的集成用于:

向原生不支持的集成發(fā)送警報(bào)

聚合來(lái)自不同監(jiān)控系統(tǒng)的警報(bào)

在 webhook 處理程序中編寫(xiě)自定義規(guī)則以更智能地路由警報(bào)

通知

Sentry 向您發(fā)送有關(guān)工作流活動(dòng)、發(fā)布部署和配額使用情況的通知,以及每周報(bào)告。這些通知讓您了解:

工作流(Workflow):涉及用戶操作和 issue 狀態(tài)更改的活動(dòng)。這包括 issue 解決、分配、評(píng)論和回歸等活動(dòng)。

部署(Deploy):當(dāng)您提交的版本被部署時(shí)。

配額(Quota):接近配額、超出配額和尖峰保護(hù)。

每周報(bào)告(Weekly Reports):您組織的 Sentry 活動(dòng)摘要。

您可以在 用戶設(shè)置 > 通知(User Settings > Notifications) 中管理這些通知。

工作流通知

Sentry 發(fā)送工作流通知,讓您了解 issue 狀態(tài)更改。工作流與幫助您管理問(wèn)題的動(dòng)作相關(guān),例如更改 issue 的狀態(tài)或?qū)ζ浒l(fā)表評(píng)論。默認(rèn)情況下,Sentry 通過(guò)電子郵件將這些通知發(fā)送給訂閱該問(wèn)題的成員(有關(guān)如何確定訂閱,請(qǐng)參見(jiàn)下文)。發(fā)送工作流通知:

  • 問(wèn)題已解決(Issue Resolved):當(dāng)您的代碼中發(fā)現(xiàn)新 issue 時(shí),它處于 Unresolved 狀態(tài)。當(dāng)項(xiàng)目團(tuán)隊(duì)成員通過(guò)在 sentry.io 中手動(dòng)更改其狀態(tài)或提交修復(fù)程序或由于項(xiàng)目的自動(dòng)解決功能(如果已配置)解決 issue 時(shí),issue 狀態(tài)將更改為已解決。
  • 回歸(Regressions):當(dāng) issue 的狀態(tài)從 “Resolved” 變回 “Unresolved” 時(shí),就會(huì)發(fā)生回歸。將向所有項(xiàng)目團(tuán)隊(duì)成員發(fā)送一封電子郵件。
  • 評(píng)論(Comments):當(dāng)團(tuán)隊(duì)成員在 issue 詳細(xì)信息頁(yè)面的 “Activity” 選項(xiàng)卡中添加新評(píng)論時(shí)。
  • 分配(Assignment):當(dāng)一個(gè)問(wèn)題被分配或未分配時(shí)。
  • 用戶反饋(User Feedback):當(dāng)一個(gè) issue 有新的用戶反饋時(shí)。
  • 事件處理問(wèn)題(Event Processing Problems):當(dāng)您發(fā)送給 Sentry 的錯(cuò)誤事件處理出現(xiàn)問(wèn)題時(shí)。

當(dāng)您訂閱 issue 時(shí),您會(huì)收到工作流通知,并且您通過(guò)以下方式訂閱問(wèn)題:

  • 單擊 issue 上的訂閱鈴鐺(subscribe bell)圖標(biāo)
  • 參與與 issue 相關(guān)的提交
  • 對(duì) issue 發(fā)表評(píng)論或添加書(shū)簽
  • 在 issue 中提及您或您的團(tuán)隊(duì)
  • 您或您的團(tuán)隊(duì)被分配到該 issue

這些通知可能與為項(xiàng)目配置的警報(bào)有一些重疊。

部署通知

Sentry 向已提交已部署版本的用戶發(fā)送部署通知。在部署文檔中了解更多信息。

https://docs.sentry.io/product/releases/setup/#notify-sentry

配額通知

在以下情況下,Sentry 會(huì)向組織的所有所有者發(fā)送配額通知:

  • 組織的 80% 的錯(cuò)誤、事務(wù)和附件量已耗盡。
  • 錯(cuò)誤或事務(wù)超過(guò)了組織的配額,其中包括按需容量

您無(wú)法更改或禁用這些通知。在完整的配額文檔中了解更多信息。

  • https://docs.sentry.io/product/accounts/quotas/

每周報(bào)告

Sentry 每周一通過(guò)電子郵件發(fā)送每周報(bào)告。報(bào)告包含您組織在上周的 Sentry 活動(dòng)摘要。

個(gè)人通知設(shè)置

您可以在您的帳戶設(shè)置中調(diào)整您的個(gè)人工作流程并部署通知以及您的個(gè)人 issue 警報(bào)設(shè)置。通過(guò)導(dǎo)航到 用戶設(shè)置 > 通知(User Settings > Notifications) 來(lái)管理您的通知。您無(wú)法配置配額通知。

警報(bào)

此設(shè)置不會(huì)影響配置為明確發(fā)送到您的電子郵件的警報(bào)。

在通知中,您可以全局打開(kāi)和關(guān)閉 issue 警報(bào)通知。

您還可以通過(guò)選擇 “Default” 、“On” 或 “Off” 來(lái)對(duì)每個(gè)項(xiàng)目的警報(bào)通知進(jìn)行微調(diào)。如果您選擇 “Default”,項(xiàng)目的設(shè)置將與您的全局設(shè)置相同。

交付方式

您可以通過(guò)從以下選項(xiàng)中進(jìn)行選擇來(lái)決定在何處接收個(gè)人警報(bào)通知:

  • 發(fā)送到 Email
  • 發(fā)送到 Slack
  • 發(fā)送到 Email 和 Slack

如果您的組織安裝了 integration 并且您的 Slack 身份已鏈接到您的 Sentry 帳戶,則 Slack 僅可用作交付方式。

  • https://docs.sentry.io/product/integrations/notification-incidents/slack/#linking-your-slack-and-sentry-accounts

工作流

工作流通知的全局設(shè)置是:

  • Always(總是)
  • Only On Issues I Subscribe To(僅在我訂閱的問(wèn)題上)
  • Never(從不)

您可以通過(guò)選擇以上三個(gè)選項(xiàng)之一或 “Default” 來(lái)針對(duì)每個(gè)項(xiàng)目微調(diào)您的工作流程通知。如果您選擇 “Default”,項(xiàng)目的設(shè)置將與您的全局設(shè)置相同。

交付方式

您可以通過(guò)從以下選項(xiàng)中進(jìn)行選擇來(lái)決定在何處接收個(gè)人工作流通知:

  1. 發(fā)送到 Email
  2. 發(fā)送到 Slack
  3. 發(fā)送到 Email 和 Slack

如果您的組織安裝了集成并且您的 Slack 身份已鏈接到您的 Sentry 帳戶,則 Slack 僅可用作交付方式。

取消訂閱

要退出特定問(wèn)題的工作流通知,請(qǐng)單擊問(wèn)題頁(yè)面頂部的訂閱鈴鐺圖標(biāo)。

Email 路由

電子郵件路由控制每個(gè)項(xiàng)目的通知發(fā)送到的電子郵件地址。這些通知默認(rèn)為您在設(shè)置 Sentry 帳戶時(shí)提供的電子郵件地址。此設(shè)置允許您基于每個(gè)項(xiàng)目將電子郵件路由到備用電子郵件地址。

每周報(bào)告

報(bào)告包含您組織在上周的 Sentry 活動(dòng)摘要。您可以通過(guò)為每個(gè)組織打開(kāi)或關(guān)閉報(bào)告來(lái)微調(diào)您的每周報(bào)告。

部署

部署通知的全局設(shè)置是:

  • On
  • Only On Deploys With My Commits(僅在我提交的部署上)
  • Off

您可以通過(guò)選擇上述三個(gè)選項(xiàng)之一或 “Default” 來(lái)對(duì)每個(gè)組織的部署通知進(jìn)行微調(diào)。如果您選擇 “Default”,組織的設(shè)置將與您的全局設(shè)置相同。

交付方式

您可以通過(guò)從以下選項(xiàng)中進(jìn)行選擇來(lái)決定在何處接收個(gè)人工作流通知:

  • 發(fā)送到 Email
  • 發(fā)送到 Slack
  • 發(fā)送到 Email 和 Slack

如果您的組織安裝了集成并且您的 Slack 身份已鏈接到您的 Sentry 帳戶,則 Slack 僅可用作交付方式。

我的活動(dòng)

使用切換開(kāi)關(guān)來(lái)控制您是否收到有關(guān)以下內(nèi)容的通知:

 

  • 您在使用 sentry.io 時(shí)的動(dòng)作
  • 您已解決的無(wú)人認(rèn)領(lǐng) issue 的任何更改

 

責(zé)任編輯:武曉燕 來(lái)源: 黑客下午茶
相關(guān)推薦

2021-09-13 05:00:09

監(jiān)控Trends 性能

2021-09-11 21:02:24

監(jiān)控Sentry Web性能

2021-09-09 12:28:50

Sentry Web性能監(jiān)控

2022-12-06 08:00:16

awscli工具監(jiān)控

2021-09-14 23:50:17

Sentry后端監(jiān)控

2021-09-16 23:33:41

大數(shù)據(jù)Sentry監(jiān)控

2019-01-17 08:38:03

Redis監(jiān)控內(nèi)存

2023-04-20 07:12:33

夜鶯監(jiān)控夜鶯

2021-12-31 18:35:40

監(jiān)控Sentry開(kāi)發(fā)

2020-12-30 05:34:25

監(jiān)控PrometheusGrafana

2020-11-10 09:19:23

Spring BootJava開(kāi)發(fā)

2021-09-30 23:12:52

監(jiān)控分布式跟蹤

2022-03-15 21:38:29

sentry微服務(wù)監(jiān)控

2021-09-26 16:20:04

Sentry Dashboards 數(shù)據(jù)可視化

2022-08-11 08:27:24

Sentry日志監(jiān)控系統(tǒng)

2025-04-09 08:05:00

運(yùn)維告警Prometheus

2023-03-26 08:41:37

2022-07-28 08:45:40

Web應(yīng)用監(jiān)控與告警

2021-10-09 23:33:55

監(jiān)控

2021-12-14 00:00:51

監(jiān)控 部署故障
點(diǎn)贊
收藏

51CTO技術(shù)棧公眾號(hào)

超碰超碰在线观看| 亚洲精品无人区| 亚洲色成人www永久网站| 日本一区二区免费高清| 91麻豆精品91久久久久同性| 欧美亚洲黄色片| 国产在线网站| 国产成人免费在线| 日韩美女免费线视频| 91 在线视频| 日韩极品少妇| 8x福利精品第一导航| 久久久久久久久久久99| 亚洲精品国产精品国自| av日韩一区| 欧美日韩国产一区中文午夜| 亚洲一二区在线| 天堂在线中文网| 久久精品国产久精国产爱| 欧美黑人狂野猛交老妇| 懂色av粉嫩av浪潮av| 美女av一区| 日韩一区二区三区免费观看| 波多野结衣天堂| wwwww亚洲| 成人免费一区二区三区在线观看| 精品一区二区国产| 国产免费av观看| 视频一区二区中文字幕| 久久久久久久久国产| 啪啪一区二区三区| 欧美大胆a级| 日韩欧美自拍偷拍| 欧美午夜aaaaaa免费视频| 国内精彩免费自拍视频在线观看网址| 亚洲美女在线一区| 最新不卡av| a√在线中文网新版址在线| www.66久久| 国产成人精品免费视频大全最热 | 天堂网在线播放| 国产一区二区在线观看免费| 国产精品视频免费在线| 亚洲va在线观看| 夜夜精品视频| 欧美性视频在线| 九九热精彩视频| 牛夜精品久久久久久久99黑人| 日韩视频免费在线| 青青青手机在线视频| 视频国产一区| 在线成人中文字幕| 香蕉久久久久久久| 成人影视亚洲图片在线| 伊人久久男人天堂| 国产毛片欧美毛片久久久| 色综合综合网| 亚洲一区二区黄| 黄色三级生活片| 成人精品亚洲| 精品国产拍在线观看| 天天看天天摸天天操| 中文字幕一区二区av| 欧美另类交人妖| 亚洲国产综合久久| 一本综合精品| 青青草一区二区| 一级一级黄色片| 久久99精品一区二区三区三区| 91牛牛免费视频| www.爱爱.com| 99久久精品国产导航| 欧美日韩精品久久久免费观看| 可以在线观看的av网站| 国产精品美女久久久久aⅴ| 一区二区三区视频在线播放| 国产视频中文字幕在线观看| 一卡二卡欧美日韩| 久久国产精品视频在线观看| 婷婷六月国产精品久久不卡| 欧美久久久久免费| 欧美熟妇精品一区二区| 开心激情综合| 在线播放日韩精品| 超碰手机在线观看| 99在线精品免费视频九九视| 国产精品丝袜高跟| www.桃色av嫩草.com| 99riav一区二区三区| 欧美一区二区三区电影在线观看| 日本三级视频在线播放| 亚洲一区精品在线| 国产精品无码av无码| 激情综合婷婷| 亚洲精品一区中文字幕乱码| 最新日韩免费视频| 激情综合自拍| 国产精品99久久久久久久久| 国产成人精品av在线观| 91麻豆精东视频| 路边理发店露脸熟妇泻火| 欧美sm一区| 777a∨成人精品桃花网| 影音先锋人妻啪啪av资源网站| 色男人天堂综合再现| 午夜精品久久久久久久99热浪潮| 亚洲视频在线观看免费视频| 成人高清视频在线| 综合久久国产| 3d性欧美动漫精品xxxx软件| 日韩欧美在线观看一区二区三区| 美女久久久久久久久久| 亚洲视频碰碰| 成人免费网站在线观看| 国产视频网址在线| 亚洲国产日韩一区二区| 99sesese| 伊人精品一区| 午夜精品久久久久久久99热浪潮 | 日韩成人av电影| 欧美成人一区二区三区| 日本阿v视频在线观看| 日韩不卡视频在线观看| 亚洲国产成人久久综合一区| 亚洲女人久久久| 久久亚洲欧美| 精品久久久久久一区二区里番| av在线免费网站| 欧美日韩一区二区不卡| av男人的天堂av| 一本不卡影院| 国产精华一区| 日韩激情av| 日韩无一区二区| 糖心vlog免费在线观看 | 青青草精品毛片| 无码国产色欲xxxx视频| 樱桃视频在线观看一区| 99re6在线观看| 日韩精品永久网址| 国产精品视频一| 成年人视频在线看| 日韩欧美在线视频免费观看| 精品中文字幕在线播放 | 国产69精品久久久久99| www天堂在线| 一区二区理论电影在线观看| av影片在线播放| 欧美日韩精品| 丁香五月网久久综合| 中文国产字幕在线观看| 日韩欧美中文字幕公布| 国产小视频在线看| 不卡视频免费播放| 成 年 人 黄 色 大 片大 全| 麻豆一区二区麻豆免费观看| 欧美一区第一页| 久久这里精品| 欧美日韩精品一区二区三区蜜桃 | 狠狠v欧美ⅴ日韩v亚洲v大胸 | 午夜精品久久久内射近拍高清| 日韩三区视频| 全球成人中文在线| 国产九九在线| 欧美日韩国产中文| 永久免费看片直接| 国产成人亚洲精品狼色在线| 久久这里只有精品8| 成人直播在线观看| 欧美亚洲另类视频| 黄色av网站在线看| 7799精品视频| 国产无遮挡又黄又爽又色| 99久久久久久| 91激情视频在线| 中文精品久久| 精品产品国产在线不卡| 唐人社导航福利精品| 久久精品视频导航| 免费国产羞羞网站视频| 一本色道综合亚洲| 99热这里只有精品4| 国产成人综合亚洲网站| 国产一区二区网| 日韩精品午夜| 国产欧美在线一区二区| 亚洲精品555| 色综合视频一区中文字幕| 日本人妖在线| 成人欧美一区二区三区小说 | 91在线观看地址| 国产又猛又黄的视频| 在线看片不卡| 欧洲一区二区日韩在线视频观看免费| 在线欧美激情| 欧美一级视频一区二区| 二区三区在线观看| 亚洲精品国产福利| 91久久精品国产91性色69| 亚洲午夜一二三区视频| 调教驯服丰满美艳麻麻在线视频| 国产精品77777竹菊影视小说| 干日本少妇首页| 欧美一区影院| 亚洲最新在线| 思热99re视热频这里只精品| 成人黄色网免费| 中文字幕乱码中文乱码51精品| 色婷婷久久一区二区| 午夜福利视频一区二区| 亚洲AV无码成人精品区明星换面 | 全色精品综合影院| 欧美美女一区二区三区| 天天干在线播放| 一区二区在线观看av| 少妇人妻好深好紧精品无码| 懂色av一区二区夜夜嗨| 鲁一鲁一鲁一鲁一av| 国产视频欧美| 欧美视频在线观看视频| 亚洲成人tv| 无码免费一区二区三区免费播放 | 日本午夜激情视频| 欧美.日韩.国产.一区.二区| 亚洲午夜精品一区二区三区| 日韩在线麻豆| 国内精品二区| 日韩免费成人| 亚洲影视九九影院在线观看| 久久69成人| 国产精品热视频| 桃子视频成人app| 91成品人片a无限观看| 四虎影院观看视频在线观看| 久久久国产精品x99av | 97视频在线观看视频免费视频| 超碰在线最新| 久久久成人精品| 二区三区四区高清视频在线观看| 久久精品久久久久| 免费黄网在线观看| 日韩中文在线中文网三级| 高清美女视频一区| 在线观看精品国产视频| yourporn在线观看中文站| 一区二区三区回区在观看免费视频 | 日韩和欧美一区二区三区| 亚洲 欧美 日韩 国产综合 在线| 亚洲黄色三级| av日韩一区二区三区| 欧美日本在线| 国产av人人夜夜澡人人爽麻豆| 一区二区亚洲精品| 青青青免费在线| 国产视频一区欧美| 日av中文字幕| 免费成人av资源网| 91高清国产视频| 国产呦精品一区二区三区网站| 色18美女社区| 国产91精品久久久久久久网曝门| 美女伦理水蜜桃4| 99久免费精品视频在线观看| 国产精品成人一区二区三区电影毛片 | 91.com在线观看| av片免费播放| 精品国产三级电影在线观看| 四虎影院在线播放| 中文字幕国产精品久久| bt在线麻豆视频| 欧美精品激情在线| 亚洲精品**中文毛片| 国产精品免费观看在线| 国产精品久久免费视频 | 无套内谢丰满少妇中文字幕| 成人国产在线观看| 魔女鞋交玉足榨精调教| 国产精品麻豆欧美日韩ww| 精品99在线观看| 欧美性猛交xxxx| 91av久久久| 亚洲国产精品久久久久久| 九色网友自拍视频手机在线| 久久精品久久久久久国产 免费| 国产理论电影在线| 国产精品777| 婷婷综合国产| 日本一区二区三区精品视频| 欧美激情在线| 亚洲性生活网站| 国产精品456| 最近中文字幕在线mv视频在线| 日韩美女精品在线| 青青操免费在线视频| 欧美日韩国产高清一区二区三区| 人妻中文字幕一区| 中文国产亚洲喷潮| 高清视频在线观看三级| 成人xxxx视频| 先锋影音国产精品| 好吊色视频988gao在线观看| 日韩国产高清在线| 扒开伸进免费视频| 国产精品另类一区| 91av在线免费视频| 日韩丝袜美女视频| 成年女人的天堂在线| 国产做受高潮69| 欧美.com| 影音先锋亚洲视频| 久久久久久9| 国产大尺度视频| 亚洲色图视频网站| 中文字幕av第一页| 日韩国产欧美精品在线| 天堂8中文在线| 91精品免费视频| 欧洲激情综合| 久久人妻精品白浆国产| proumb性欧美在线观看| 欧美激情国产精品免费| 69久久99精品久久久久婷婷 | 久热精品在线观看视频| 99久久99久久综合| 久久精品www| 欧美一区三区四区| 91在线高清| 国产成人av在线| 少妇高潮一区二区三区| 欧美日韩福利在线| 国产v综合v亚洲欧| 日韩女优一区二区| 欧美一区二区在线免费播放| 免费日本一区二区三区视频| 国产精品十八以下禁看| 国产一区二区三区四区二区| 国产精品视频一区二区三区四区五区 | 精品久久久久久久久中文字幕| 成人福利小视频| 欧美高清电影在线看| 日本一区二区三区电影免费观看| 中国一级黄色录像| 另类小说欧美激情| 日本黄色激情视频| 欧美日韩一区不卡| 97最新国自产拍视频在线完整在线看| 国产精品激情av在线播放| 色棕色天天综合网| 北条麻妃av高潮尖叫在线观看| 国产视频一区二区在线| 日韩免费在线看| 国产精品日本一区二区不卡视频 | 国产视频三区四区| 在线看日韩精品电影| 国产1区2区3区在线| 国产精品网站视频| 91欧美在线| 手机在线播放av| 亚洲成人在线免费| 天天综合永久入口| 日本伊人精品一区二区三区介绍 | 亚洲精品一区二区二区| 在线观看精品国产视频| 伊人久久一区| 男人添女人下部视频免费| 国产91精品久久久久久久网曝门| 国产精品黄色网| 亚洲图中文字幕| 四虎影视精品永久在线观看| 国产在线无码精品| 成人av网址在线| 精品久久久久久久久久久久久久久久| 亚洲一区二区国产| 国产精品高清一区二区| 国产乱淫av片杨贵妃| 久久久久久久久久久久久夜| 中文字幕欧美在线观看| 久久久极品av| 欧美激情15p| 天天综合天天添夜夜添狠狠添| 夜色激情一区二区| 三级国产在线观看| 国产欧美精品日韩精品| 韩日在线一区| 三级网站在线免费观看| 欧美美女直播网站| 多野结衣av一区| 性欧美18一19内谢| 波多野结衣中文字幕一区| 国产污视频网站| 精品中文字幕在线观看| 亚洲宅男一区| 久久aaaa片一区二区| 精品毛片三在线观看| 免费在线观看黄色| 久久久久欧美| 国产一区二区福利视频| 国产精品久久久久久久久久精爆| 久久亚洲精品网站| 久久不见久久见免费视频7|