精品欧美一区二区三区在线观看 _久久久久国色av免费观看性色_国产精品久久在线观看_亚洲第一综合网站_91精品又粗又猛又爽_小泽玛利亚一区二区免费_91亚洲精品国偷拍自产在线观看 _久久精品视频在线播放_美女精品久久久_欧美日韩国产成人在线

一杯茶的時間,上手Zabbix

原創
安全 應用安全
IT 運維離不開系統監控,就好像魚兒離不開水一樣。一款強大的監控系統可以有力保證設備和業務的穩定。

【51CTO.com原創稿件】 IT 運維離不開系統監控,就好像魚兒離不開水一樣。一款強大的監控系統可以有力保證設備和業務的穩定。

[[312817]] 

圖片來自 Pexels

在監控系統層出不窮的今天,作為老牌監控系統的 Zabbix 依然屹立在監控系統之林。今天,我們來看看 Zabbix 的系統架構以及運作方式。

Zabbix 系統架構

眾所周知,Zabbix 是一款優秀的監控系統,可以針對互聯網中的設備和應用進行監控。

在詳細介紹其實現方式之前,先來看看它的結構圖:

 

Zabbix 架構圖

從上圖可以看出,綠色的部分就是被監控的設備,這個設備的類型可以是服務器,交換機或者是網絡打印機。

這些被監控的設備被稱作為 Host,設備的分組稱作 Host Group,分組可以根據地域,機房,應用來劃分。

從橙色部分-監控方式可以看出,針對每個 Host,Zabbix 會安裝 Zabbix Agent。

它是 Zabbix 在 Host 上的客戶端,負責將 Zabbix 需要監控的信息上傳到 Zabbix Server 進行分析和處理。

但并不是所有的網絡設備都可以安裝 Zabbix Agent,針對無法安裝的設備,只要支持 SNMP(Simple Network Management Protocol,簡單網絡管理協議)或者 IPMI(Intelligent Platform Management Interface,智能平臺管理接口)也是可以被監控到的。

另外,如果需要監控 Java 應用程序,也可以通過 JMX 來實現。

同樣從橙色部分監控內容可以看出,Zabbix 通過 JMX 支持 Java 應用程序監控;通過 IPMI 支持硬件設備監控;通過 SNMP 支持網絡設備。

綠色區域與藍色的 Zabbix Server 之間有一個雙向的箭頭,由 Zabbix Agent 直接到 Zabbix Server 的方式被稱為通用結構,類似常說的 C/S 架構。

但在實際應用中更多的使用分布式架構,也就是通過綠色區域先連接到黃色的 Zabbix Proxy,然后再連接到藍色 Zabbix Server 的這條路徑。

在圖右邊橙色的區域,是Zabbix的監控服務器,其中 Zabbix Server 主要負責配置和接受/發送監控信息(更多詳細功能后面介紹)。

處理完畢的信息會存儲到 Database 中,這里的 Database 可以指定 MySQL 或者 Oracle 以及其他數據庫源。

另外,還會提供 Zabbix UI 展示配置和監控信息。不僅如此,還為第三方應用提供了 Zabbix API,通過它來客制化 Zabbix 規則。

當然從穩定性考慮,可以通過 Keepalive 之類的軟件建立 Master,Slave 的 HA 機制。

Zabbix 構建監控系統過程

前面通過一張大圖介紹了 Zabbix 的體系結構,詳細對 Zabbix 的基本工作原理有了了解。

順著這個思路再來看看,Zabbix 架構安裝和配置步驟:

 

Zabbix 架構部署和配置示意圖

PS:下面會介紹 Zabbix 的整個部署和配置過程,涉及到安裝和配置的部分,都沒有標注具體的命令。

如果有需要安裝和配置過程的同學,可以下載 Zabbix 用戶手冊,這里因為篇幅的原因不展開描述。

Zabbix Server/Agent/UI 安裝配置

在 Zabbix 監控服務器上,安裝 Zabbix Server 和 Zabbix UI(Web)。

Zabbix Server 用來接受和發送監控詳細,Zabbix UI(Web)用來對 Zabbix Server 的各項功能進行配置。

同時在被監控設備上,安裝 Zabbix Agent。在其安裝完畢以后,需要通過 zabbix_agenttd.conf 文件,對 Server 和 ServerActive 兩個參數進行配置。

由于 Zabbix Agent 有被動模式和主動模式。被動模式,是 Zabbix Server 從 Zabbix Agent 上獲取數據。

而主動模式,是 Zabbix Agent 主動將信息上傳到 Zabbix Server。因此,這兩個參數的內容都指的是 Zabbix Server 的 IP 地址。

Server 配置的是被動模式 Zabbix Server 的 IP,ServerActive 配置的是主動模式 Zabbix Server 的 IP。

當然,除此之外還需要更新防火墻配置,并打開 Zabbix 的訪問端口(10050 和 10051)。

最后,給這個被監控的設備(Host),起一個 Hostname,這個名字會在 Zabbix Server 端配置的時候用到。

 

Server 和 ServerActive 配置項

Host Groups/Hosts 配置

搞定 Zabbix Agent 以后,回到 Zabbix Server 上進行配置。前提是 Zabbix Server 和 Zabbix UI(Web)已經安裝完畢,可以通過 Zabbix UI(Web)訪問配置界面。

上文提到,每個被監控的設備,都是一個 Host,那么將多個 Host 按照某種方式分組,這個分組就是 Host Groups。這里的分組方式有地理位置,業務單位,機器用途,系統版本等等。

建立一個 Host Groups,然后在其中建立一個 Host,這個 Host 就是剛才安裝 Zabbix Agent 的設備在 Zabbix Server 上的概念設備。

在配置 Host 的時候,需要注意這里的 HostName 和被監控設備中定義的 HostName 保持一致,方便辨識。配置的 IP 就是被監控設備的 IP,端口號是 10050。

 

在 Zabbix Server 創建 Host 配置

Items 配置

配置完 Host 之后,就需要告訴 Zabbix 監控 Host 中的什么數據。這個要監控的數據就是監控項,也叫 Items。

Items 配置包括監控數據的方式,取值的數據類型,獲取數值的間隔,歷史數據保存時間,趨勢數據保存時間,監控 Key 的分組等信息。

首選,需要選擇 Type,它是要監聽的 Zabbix 客戶端的類型。一般來說,在安裝 Zabbix Agent 以后,這個類型就是 Zabbix Agent。也可以選擇 SNMP,IMPI 或者其他類型。

 

其次,需要注意 Key 的選擇,Key 是來確定具體監控項的,對于同一個 Host 來說它是唯一的。

Zabbix 默認就帶有一些 Key 可供選擇,例如:vm.memory.size[total],就是獲取內存大小的 Key。

由于是針對 Host 進行配置的,所以也會指定對應的 Host IP 和 Port。另外,還有一些其他的數據需要配置。

例如:數據更新間隔,更新周期,歷史數據保存天數,趨勢數據保存天數等等。

 

Items 配置示例圖

細心的同學會發現上圖中還有一個 Applications 的選項。它實際上是對 Items 的一個集合,例如:要監控 MySQL,可以定義一個 MySQL 的 Application。

把相關的 Items 包括 availability of MySQL,disk space,processor load,transactions per second,number of slow queries 全部放到這個 Application 中方便選擇和管理。

Trigger 配置

前面提到,Items 是用來配置監控什么數據的,而不判斷數據是否正常。那么,Trigger 的作用就是對采集的數據進行判斷。

通常會設置判斷規則或者閥值,一旦滿足某種規則或者超過對應的閥值就會產生一個事件。

同時,Action 會對滿足條件的 Trigger 執行操作。這些規則通過正則表達式來定義。

 

從接收消息到觸發動作示意圖

信息經過表達式判斷,會產生兩類 Trigger 狀態,OK(正常)和 PROBLEM(異常)。

每個 Trigger 會對應一個 Items,每個 Items 會對應多個 Trigger。同時,Trigger 又可以設置不同的事件級別,可以根據這些級別設置多重告警。

 

Trigger 事件級別示意圖

在配置 Trigger 的時候主要是添加正則表達式。Zabbix 會根據對應 Item 的 Function 生成對應的正則表達式。

Trigger 會根據監控的內容(Item)來配置,例如:Item 是檢測 Linux 的登陸人數。選擇 Item 為“Template OS linux:Number of logged in users”。

對應的 Function 是 Last(most recent) T value is = N。意思是獲取最近登陸的人數 T,當 T 等于 N 的時候觸發 Trigger。

這個 N 就是需要我們配置的值,比如填寫 2。也就是登陸人數等于 2 的時候觸發 Trigger。

當你配置完畢以后就會生成類似如下圖正則表達式了,{Template OS Linux:system.users.num.last()}>2。

整個過程不需要你輸入表達式,只要通過選擇和配置就可以完成。

 

Trigger 配置示例圖,內容和文中描述有差異,表達的意思相同

上圖有一個 Tab 項叫做 Dependencies,這個是 Trigger 的告警依賴,在實際場景中非常有用。

它會針對特殊場景使用,例如:整個 IDC 機房的路由出現故障,那么機房所有的機器的網絡狀態都會出現異常,此時 Zabbix Server 會收到大量異常報警。運維人員會被報警信息淹沒,不知道故障的真正原因。

此時,就可以在 Dependencies 中選擇對應規則,并且勾選 Multiple PROBLEM events generation 選項。

之后,就會收到一條報警信息,“某某 IDC 機房路由器 X 發生故障”,對其他的報警信息做了聚合操作。

Action 配置

如果說 Trigger 定義觸發事件的規則,那么 Action 就是事件觸發后的動作。即當 Trigger 條件被滿足以后,Action 會執行一些操作。

比如:發送事件通知(短信,釘釘,郵件),遠程執行命令(重啟服務)。

Action 的配置需要遵從下圖幾個步驟:

Zabbix 中有多種事件類型,Trigger 只是其中一種,例如:自動發現監控設備,自動注冊監控設備等等。因此,先要選擇事件的來源,當然這里我們選擇 Trigger 作為來源。

 

Action 選擇事件來源

然后,填寫 Action 的基本信息。例如:名字,主題,默認發送的信息內容,異常恢復主題,以及對應的信息內容。這里的填寫可以是字符串,但是更多的會使用宏。

其實就是替換字符,比如{TRIGGER.STATUS} 表示觸發器的狀態,{ITEM.NAME} 表示監控項的名字。通過這些宏和字符串的拼接形成最終的信息。

如下圖顯示:

 

Action 基本信息

接下來,就是對條件的配置(Condition)。由于 Action 可以面對一個或者多個 Trigger,每日每個 Trigger 又有一個或者多個條件。

為了保證其靈活性,可以針對 AND,OR,AND/OR,對條件進行組合。

例如:可以用“AND”條件,將 Maintenance status not in maintenance (機器不在維護狀態)和 Trigger value = PROBLEM(觸發器異常)兩個條件(Condition)組合起來,意思是當兩個條件同時滿足時觸發后續操作。

 

Conditions 是配置示例圖

最后,就是操作(Operation)的配置。包括執行操作的時間間隔,執行次數,每次執行的間隔,操作類型(發送消息,執行命令),發送給哪些用戶/用戶組等等。

 

Operation 配置示例圖

Template 配置

如果有很多監控設備需要配置,是有工作量的。于是,Zabbix 會將有相同 Item,Trigger,Application 等規則項放到一起,于是就有了模版(Template)。

當對同類型的設備需要配置監控項時,就可以選擇現成的模版。從而,減少運維工程師的工作量。在創建模版的時候,需要輸入模版名字,以及對應的分組。

 

模版基本信息

如果需要繼承模版,可以在 Linked template 中進行配置。模版繼承可以理解為模板嵌套。

例如,事先定義了一個基礎模板,Item 配置好了 CPU、內存、硬盤、網卡等信息。

如果需要在這個基礎模版上擴展其他模版,比如:MySQL 監控模版或者 Web 監控模板。那么在配置模板的時候,就可以繼承于基礎模板,而不需要重新定義模版。

模版創建完畢后,就可以添加 Item,Trigger,Application 等信息,具體的方式類似 Item,Trigger 配置。

上面大段的文字講述了 Zabbix 構建監控系統的過程。為了方便記憶,這里做個總結。

Zabbix 構建監控系統,先安裝 Zabbix Agent 到 Host 收集信息,Zabbix Server 用來獲取信息,Zabbix UI(Web)用來展示和配置信息。

Zabbix Agent 在 Host 中配置好監控服務器的 IP 和 Port 之后,回到 Zabbix Server 上,通過 Zabbix UI(Web)對要監控的 Host(被監控設備)進行配置。

依次配置:Item(監控什么數據),Trigger(故障觸發條件),Action(故障觸發動作)。

Zabbix 監控方式

了解完了 Zabbix 的架構和 Zabbix 構建的過程,再來看看 Zabbix 的監控方式。前面談到的 Zabbix Agent 監控,只是 Zabbix 監控方式的一種。

針對不同情況,Zabbix 還提供了 SNMP,IPMI,JMX 等多種方式。即使是 Zabbix Agent 的方式,也分為主動和被動兩種。

下圖描述了 Zabbix 的幾種監控方式與 Zabbix Server 之間的關系:

 

Zabbix 監控方式邏輯圖

Zabbix Agent 監控方式

該方式有 Active(主動模式)和 Passive(被動模式)。Zabbix Server 和 Zabbix Agent 之間的通信是通過 Zabbix 專用協議完成的,數據格式為 JSON。

①Zabbix Agent 被動模式

默認情況下,Zabbix Agent 工作在被動模式下,是由 Zabbix Server 向 Zabbix Agent 獲取信息。

在安裝完 Zabbix Agent 以后,通過 zabbix_agentd.conf 文件中的 Server 參數,設置被動數據采集的 IP。

 

被動模式流程圖

Zabbix Agent 與 Zabbix Server 通訊流程如上圖:

  • Zabbix Server 打開一個 TCP 連接。
  • Server 發送一個 Key(agent.ping\n)給 Zabbix Agent。
  • Zabbix Agent 接收到請求,并且響應請求,發送內容為
  • 的信息給 Zabbix Server。
  • Server 接收返回的數據,并且進行處理。
  • Server 關閉 TCP 連接。

 

 

 

②Zabbix Agent 主動模式

這種模式 Zabbix Agent 會主動上報監控信息到 Zabbix Server。可以通過 zabbix_agentd.conf 文件中的 ActiveServer 參數配置 Zabbix Server 的 IP。

同時需要配置 Zabbix Server 上 Items 的 Type,設置為 Zabbix agent(active)即可。

 

主動模式流程圖

依舊來看看主動流程圖:

  • Zabbix Agent 向 Zabbix Server 建立一個 TCP 連接。
  • Agent 請求需要檢測的數據列表。
  • Server 響應 Agent,發送一個 Items 列表,包括 Item key 和 delay。
  • Agent 響應請求。
  • Server 接收請求數據,關閉 TCP。

SNMP 監控方式

它是一個標準的用于管理基于 IP 網絡設備的協議,包括:路由器,交換機,UPS,打印機。特別是當被監控設備無法安裝 Zabbix Agent 的時候。

先一起來看看 SNMP 的架構,如下圖:

 

SNMP 架構圖

NMS 是 Network Management System(網絡管理系統,又名網絡管理站),這部分被集成到了 Zabbix Server 中了。

Agent 是 SNMP 訪問的代理,為設備提供 SNMP 的能力,負責設備與 NMS 進行通訊。

MIB(Management Information Base)是一個數據庫,包含了被管理設備維護的變量。例如:內存空間,磁盤大小。

它通常是以一個樹形結構存在的,每個葉子結點都保存一條數據,通過 OID(Object Identifier)唯一標識一條記錄。

 

MIB 樹形結構圖

例如上圖,想表示通用中的 System 參數,就通過 1.3.6.1.2.1.1。如果是私人企業的記錄,就是在 1.3.6.1.4.1 下面。

NMS 通過 SNMP 與設備上的 Agent 進行通信,獲取/修改 MIB 上面的信息。目前 SNMP 有三個版本,每個版本都在之前版本的基礎上逐步升級。

 

SNMP 版本示例圖

以第三個版本為例,在原來請求和響應的基礎上,加入 PDU 算法對報文進行了加密和解密操作。

 SNMPv3 版本傳輸示意圖

IPMI 監控方式

IPMI(Intelligent Platform Management Interface)即智能平臺管理接口,原本是 Intel 架構中企業系統的周邊設備采用的一種工業標準,后來成為業界的通用標準。

用戶可以通過 IPMI 監視服務器的物理特征,例如:溫度,電壓,電風扇工作狀態,電源供應等。

IPMI 獨立于 CPU BIOS 和操作系統,也就是在缺少操作系統和管理軟件的情況下,依舊可以對硬件信息進行監控。在 Zabbix 中的具體配置,這里不展開描述。

JMX 監控方式

JMX(Java Management Extensions)是為 Java 應用程序植入管理功能的框架。也是一套標準的代理和服務,用戶可以在任何 Java 應用程序中使用它。

在 Zabbix 中,JMX 監控數據的獲取由專門的代理程序來實現,即 Zabbix Java Gateway 負責采集數據,它和 JMX 的 Java 程序之間通信獲取數據。

Zabbix-Server 和 Zabbix Java Gateway 如下圖所示:

 

JMX 示意圖

這里需要幾個步驟部署 JMX,如下:

  • 選擇單獨的 Server 安裝 Zabbix Java Gateway,最好和 Zabbix Server 在不同的服務器上。
  • 在安裝 Zabbix Java Gateway 的服務器上,針對 zabbix_java_gateway.conf 文件進行參數配置。主要是 Gateway 的監聽服務器的 IP 和 Port。目的是讓 Gateway 找到要監聽的設備。
  • 在 Zabbix Server 配置 zabbix_server.conf 的參數。主要是配置 Gateway 的 IP 和 Port,以及 Java 監控的進程數。目的是讓 Server 找到 Gateway。
  • 在被監控設備上,針對 Java 應用開啟 JMX 協議。
  • 回到 Zabbix UI(Web)配置 JMX 監控的 Java 應用。

總結

作為老牌的監控系統,Zabbix 的架構包括了被監控設備和 Zabbix 監控服務器兩大部分。

Zabbix Agent 運行在被監控設備上,負責和 Zabbix Server 通信獲取和控制被監控設備,它有主動和被動兩種工作模式。

Zabbix Server 作為監控核心,可以直接與 Zabbix Agent 連接也可以通過 Zabbix Proxy 進行連接,再由 Zabbix Proxy 連接 Zabbix Agent。后面這種方式用在分布式監控的場景。

Zabbix Server 獲取的數據存放到 Zabbix Server 的數據庫中,Zabbix UI(Web)可以讀取服務器中的數據,通過圖表的方式展示出來。

Zabbix 構建過程,分為安裝 Zabbix Agent/Server/UI,Host 配置,Item 配置,Trigger 配置,Action 配置。

這個配置過程完美地回答了,“監控誰?監控什么?出現異常以后如何處理?”的問題。

最后,針對不同應用場景,Zabbix 還支持多種監控方式,有 Zabbix Agent,SNMP,IPMI 以及 JMX。

作者:崔皓

簡介:十六年開發和架構經驗,曾擔任過惠普武漢交付中心技術專家,需求分析師,項目經理,后在創業公司擔任技術/產品經理。善于學習,樂于分享。目前專注于技術架構與研發管理。 

 

【51CTO原創稿件,合作站點轉載請注明原文作者和出處為51CTO.com】

 

責任編輯:武曉燕 來源: 51CTO技術棧
相關推薦

2020-12-29 10:06:35

Redis

2020-06-23 18:19:10

戴爾

2013-06-28 14:14:58

大數據

2024-08-19 09:07:00

手抓餅攤數據分析SQL

2011-09-29 15:30:57

云計算

2012-04-06 17:38:07

亞馬遜AppstoreIAP

2010-04-22 10:16:37

2016-10-13 13:03:29

Oracle IaaS公有云AWS

2014-03-12 13:33:10

淘寶京東亞馬遜

2020-12-10 07:24:25

DPDK微引擎代碼

2017-11-03 11:05:17

iPhone X

2022-11-10 09:45:29

數據中心空調制冷

2021-06-16 15:03:41

技術研發DNA

2020-09-24 16:46:48

戴爾

2012-02-22 11:14:25

移動終端互聯網報告網宿科技

2018-06-04 12:06:23

數據庫

2019-08-06 08:43:05

亞馬遜五角大樓IBM

2009-07-01 15:52:19

2015-10-16 17:53:28

喬布斯Dropbox云存儲
點贊
收藏

51CTO技術棧公眾號

91福利入口| 俺去了亚洲欧美日韩| 久久人人爽人人爽人人片亚洲| 五月天av在线播放| 在线观看av黄网站永久| 成人高清av| 欧美另类高清zo欧美| 人人妻人人澡人人爽欧美一区| 天天摸天天干天天操| 日韩av二区在线播放| 欧美美女15p| 黄色一级二级三级| 超碰在线观看免费| 91啪亚洲精品| 久久精品这里都是精品| 久久天堂精品| 高清av一区二区三区| 成人高清伦理免费影院在线观看| 日av在线播放中文不卡| 99久久精品99国产精品 | 国产裸舞福利在线视频合集| 六月丁香婷婷久久| 欧美一区二三区| 欧美国产精品一二三| 国产欧美日韩影院| 亚洲第一区在线观看| 99视频在线视频| 免费在线小视频| 亚洲综合男人的天堂| 影音先锋欧美资源| 成人在线二区| 久久久国产精品午夜一区ai换脸| 国产精品美女xx| 国产免费黄色录像| 久久精品国产精品亚洲红杏| 日本视频久久久| 久久久国产精品成人免费| 午夜精品国产| 久久躁日日躁aaaaxxxx| 国产欧美日韩网站| 国精产品一区| 国产精品久久二区二区| 日本一区二区三不卡| 天天操天天干天天爱| 成人av在线资源网| 亚洲欧美日韩国产中文| 资源网第一页久久久| 久久天堂电影| 久久久久久**毛片大全| 久久综合久久久| 四季av日韩精品一区| 国产精品1区2区| 99九九电视剧免费观看| av网站在线免费看| 国产精品久久国产愉拍| 亚洲色在线视频| 亚洲第一综合网站| 免费av在线网站| 亚洲欧美日韩系列| 久久99导航| 日韩在线免费播放| 久久精品亚洲一区二区三区浴池| 鲁丝一区鲁丝二区鲁丝三区| 免费黄色在线视频网站| 国产女同互慰高潮91漫画| 色涩成人影视在线播放| 五月天婷婷在线视频| 日韩理论在线观看| 日韩欧美猛交xxxxx无码| 2020国产在线| 色综合中文字幕| 成人日韩在线视频| 亚洲天堂av资源在线观看| 欧美精品一区二区三区一线天视频 | 制服丝袜亚洲网站| 亚洲AV成人精品| 制服诱惑亚洲| 亚洲美女视频在线| 日本aa在线观看| 亚洲国产欧美日本视频| 欧美性xxxxxxxx| jizzjizz国产精品喷水| 中文字幕乱码在线播放| 欧美天天综合网| 男人操女人下面视频| 你懂的在线观看一区二区| 正在播放欧美视频| 免费麻豆国产一区二区三区四区| 9色精品在线| 国产日本欧美视频| 空姐吹箫视频大全| 国产人妖乱国产精品人妖| 中文字幕av日韩精品| 91在线三级| 欧美日韩国产一区二区三区地区| 亚洲一区和二区| 凹凸成人精品亚洲精品密奴| 欧美猛男性生活免费| 亚洲精品成人在线视频| 国产一区在线视频| 欧美日韩在线不卡一区| 亚洲综合伊人久久大杳蕉| 一本大道久久a久久综合| 一级片黄色免费| 91国拍精品国产粉嫩亚洲一区 | 欧美激情乱人伦一区| 国产免费一区二区三区四区五区| 国产精品香蕉一区二区三区| 日本一区二区三区视频免费看| 天堂亚洲精品| 欧美日韩一区二区三区不卡| 中文字幕在线永久| 亚洲美女视频| 国产精品久久久久久久天堂| 久草国产精品视频| 九色|91porny| 日本免费一区二区三区| 少妇无套内谢久久久久| 亚洲一区久久| 亚洲人成电影网站| 三级黄色录像视频| 免费一区二区三区视频导航| 欧美xxxx综合视频| 国产成人麻豆免费观看| 91视频免费播放| 伊人婷婷久久| 狠狠久久综合| 永久免费看mv网站入口亚洲| 韩国av中文字幕| 成人黄色网址在线观看| 国产91在线亚洲| 成人午夜888| www亚洲精品| 中文字幕一区二区三区四区免费看 | 91看片淫黄大片一级| 国产一区二区三区小说| 香蕉成人app| 久久这里有精品视频| 国产又粗又猛视频免费| 国产精品色哟哟网站| 国产97色在线 | 日韩| 免费一区二区三区视频导航| 欧美中文在线观看国产| 青青青免费视频在线2| 懂色av一区二区三区| 性欧美18—19sex性高清| 高潮按摩久久久久久av免费| 久久成人亚洲精品| 国产美女明星三级做爰| 亚洲人妖av一区二区| 69久久精品无码一区二区 | 久热精品视频在线观看一区| 国产又粗又猛又爽又黄的视频一| 国产精品蜜臀av| 亚洲一区二区三区观看| 亚洲精品国产偷自在线观看| 91亚洲va在线va天堂va国| 成人影院www在线观看| 欧美一区国产二区| 青娱乐国产精品| 成人免费观看av| 18禁免费观看网站| 少妇精品久久久| 国产精品一区=区| 动漫一区在线| 亚洲国产第一页| 麻豆成人免费视频| 国产精品午夜电影| theporn国产精品| 好吊日精品视频| 精品麻豆av| 欧美性理论片在线观看片免费 | 欧美videossex| 日韩电影网在线| 久久久久亚洲AV成人无在| 欧美aⅴ一区二区三区视频| 三年中文高清在线观看第6集| 911亚洲精品| 琪琪第一精品导航| 青青影院在线观看| 精品久久国产字幕高潮| 色一情一乱一伦| 亚洲视频小说图片| 偷偷色噜狠狠狠狠的777米奇| 久久久久久久欧美精品| 中文字幕一区综合| 日本成人中文| 国产一区二区色| 国产高清自产拍av在线| 中文字幕免费精品一区| 亚洲精品久久久蜜桃动漫| 日韩欧美中文在线| 亚洲最大的黄色网址| 日本中文一区二区三区| 亚洲成人动漫在线| 亚洲精品亚洲人成在线观看| 91视频国产精品| 日本电影欧美片| 欧美黑人性视频| h视频在线免费| 欧美精品一区二区三区久久久| 国产乱码77777777| 亚洲第一福利一区| 波多野结衣喷潮| 久久免费看少妇高潮| 无码人妻一区二区三区一| 日韩精品免费视频人成| 18禁裸男晨勃露j毛免费观看| 成人网18免费网站| 久草精品电影| 亚洲日本va中文字幕| 国产一区二区在线免费视频| 亚洲深夜视频| 久久久久这里只有精品| 免费大片黄在线观看视频网站| 国产视频自拍一区| 亚洲精品人妻无码| 91精品国产91久久久久久最新毛片| 国产免费一级视频| 精品福利在线视频| 国产精品16p| 亚洲欧美区自拍先锋| www色com| 久久精品无码一区二区三区| av黄色一级片| 成人精品鲁一区一区二区| 欧美xxxxxbbbbb| 久久99国产精品麻豆| 日本www高清视频| 午夜在线一区| 男人操女人免费软件| 亚洲精品社区| 丁香花在线影院观看在线播放| 欧美69wwwcom| 久久www视频| 欧美二区视频| a级黄色片免费| 欧美1区免费| 国产天堂视频在线观看| 午夜日韩福利| www精品久久| 亚洲激情影院| 日韩欧美视频网站| 亚洲欧美日韩国产综合精品二区| 熟女少妇在线视频播放| 在线亚洲精品| 国产精品亚洲a| 日韩av在线播放中文字幕| 亚洲xxxx2d动漫1| 一区二区三区四区电影| 一本一生久久a久久精品综合蜜| 日韩精品免费一区二区在线观看 | 国产精品中文字幕在线观看| 不卡亚洲精品| 91精品啪aⅴ在线观看国产| 成人av在线播放| 91精品国产99久久久久久红楼 | 黄网站免费在线| 亚洲成av人片| 国产极品视频在线观看| 亚洲国产精品激情在线观看| 国产精品一区二区亚洲| 综合久久综合久久| 青青草激情视频| 亚洲国产精品久久久久婷婷884 | 久久亚洲色图| 亚洲免费黄色网| 国产成人精品亚洲日本在线桃色| 国产chinesehd精品露脸| av午夜一区麻豆| 少妇久久久久久久久久| 最新国产成人在线观看| 久一区二区三区| 一本大道久久a久久综合婷婷| 亚洲图片中文字幕| 欧美视频免费在线| 日韩精品在线一区二区三区| 欧美精品一卡二卡| 黄色片一区二区| 国产亚洲一级高清| av在线麻豆| 欧美在线激情视频| 欧洲美女精品免费观看视频| 高清视频在线观看一区| 欧美大奶一区二区| 视频一区视频二区视频三区高| 中文字幕av亚洲精品一部二部| 国产免费观看高清视频| 麻豆一区二区三区| 少妇一级淫片免费放播放| 国产精品视频在线看| 国产在线视频第一页| 欧美性大战久久久| 欧美一区,二区| 久久精品国产69国产精品亚洲| 成年人在线网站| 成人黄色免费片| 久久av网址| 日韩在线观看a| 免费av成人在线| 日本黄色录像片| 亚洲欧美日韩系列| 在线观看国产成人| 日韩经典中文字幕在线观看| 黄网站视频在线观看| 日本人成精品视频在线| ccyy激情综合| 在线不卡视频一区二区| 老牛国产精品一区的观看方式 | 久久综合色播五月| 欧美三级小视频| 欧美日本一区二区三区四区| 四虎影视2018在线播放alocalhost| 久久艹在线视频| 久久久久久久性潮| 欧洲一区二区在线| 亚洲国产一区二区精品专区| 特级黄色片视频| 欧美极品aⅴ影院| 国产三级精品三级在线观看| 欧美精品一区二| 亚洲电影视频在线| 成人h视频在线| 日本在线电影一区二区三区| 国产精品69页| 久久久久久免费| 日韩视频在线观看一区| 日韩av在线精品| 2020国产在线| 狠狠爱一区二区三区| 极品av少妇一区二区| 风韵丰满熟妇啪啪区老熟熟女| 日韩码欧中文字| 国产精品国产av| 久久久999精品免费| 日本a人精品| 在线码字幕一区| 精品一区精品二区高清| 久久一级免费视频| 欧美日韩国产另类一区| 日本黄色片在线观看| 国产啪精品视频网站| 国产精品x453.com| 性久久久久久久久久久久久久| 1024精品合集| 国产麻豆免费视频| 免费成人高清视频| 亚洲一区二区三区日本久久九| 伊人久久在线观看| 成人污视频在线观看| 日韩三级小视频| 亚洲精品一区二三区不卡| 国偷自产一区二区免费视频 | 国产亚洲依依| 国产精品国产亚洲伊人久久| 欧美日韩国产一区二区三区不卡| 亚洲精品国产系列| 麻豆精品一区二区| 91插插插插插插| 精品国产三级a在线观看| 国产美女高潮在线观看| 欧美一区二区三区成人久久片| 日韩成人免费在线| 爱爱视频免费在线观看| 欧美精品一区视频| 欧美xxxx做受欧美护士| 一区中文字幕在线观看| 国产aⅴ综合色| 免费黄色网址在线| 日韩有码在线视频| 亚洲精品v亚洲精品v日韩精品| 秋霞无码一区二区| 欧美激情综合五月色丁香| aaa一区二区三区| 97久久精品人搡人人玩| 成人免费电影网址| 国产裸体视频网站| 一本大道久久a久久综合婷婷| 成人影院www在线观看| 久久av一区二区| 精品亚洲成a人| 好吊操这里只有精品| 色香阁99久久精品久久久| 婷婷综合国产| 可以免费在线看黄的网站| 亚洲另类一区二区| 男人久久精品| 999热视频| 日韩国产高清影视| 麻豆影视在线播放| 色诱女教师一区二区三区| av不卡一区二区| 我要看一级黄色大片| 亚洲成人在线免费| 日本在线免费播放| 免费看成人av| 国产不卡在线一区| 影音先锋黄色网址| 2019中文字幕免费视频| 欧美一区视频|