精品欧美一区二区三区在线观看 _久久久久国色av免费观看性色_国产精品久久在线观看_亚洲第一综合网站_91精品又粗又猛又爽_小泽玛利亚一区二区免费_91亚洲精品国偷拍自产在线观看 _久久精品视频在线播放_美女精品久久久_欧美日韩国产成人在线

探尋 Redis 內(nèi)存詭異增長(zhǎng)的元兇

作者：付磊
存儲(chǔ) 存儲(chǔ)軟件 Redis
由于哈希表的特性，Redis 中鍵值數(shù)量大，不會(huì)對(duì)存取造成性能影響，但是會(huì)出現(xiàn)本文提到的問(wèn)題。控制鍵個(gè)數(shù)有幾個(gè)建議：無(wú)用的鍵值設(shè)置過(guò)期時(shí)間或者定期刪除。

記一次 Redis 內(nèi)存詭異增長(zhǎng)，由于 一次 Redis Rehash 造成的內(nèi)存暴增。

[[238563]]

一、現(xiàn)象

  • 實(shí)例名：r-bp1cxxxxxxxxxd04(主從)
  • 時(shí)間：2017-11-16 12:26~12:27
  • 問(wèn)題：一分鐘內(nèi)存上漲了2G，如下圖所示：
  • 鍵值規(guī)模：6000萬(wàn)左右

二、Redis內(nèi)存分析

1. 內(nèi)存組成

上圖中的內(nèi)存統(tǒng)計(jì)的是Redis的info memory命令中的used_memory屬性，例如：

  1. redis> info memory# Memoryused_memory:9195978072used_memory_human:8.56Gused_memory_rss:9358786560used_memory_peak:10190212744used_memory_peak_human:9.49Gused_memory_lua:38912mem_fragmentation_ratio:1.02mem_allocator:jemalloc-3.6.0 

每個(gè)屬性的詳細(xì)說(shuō)明：

計(jì)算公式如下：

  1. ​used_memory = 自身內(nèi)存+對(duì)象內(nèi)存+緩沖內(nèi)存+lua內(nèi)存used_rss = used_memory + 內(nèi)存碎片 

 

2. 內(nèi)存分析

(1) 自身內(nèi)存：一個(gè)空的Redis占用很小，可以忽略不計(jì)

(2) kv內(nèi)存：key對(duì)象 + value對(duì)象

(3) 緩沖區(qū)：客戶端緩沖區(qū)(普通 + slave偽裝 + pubsub)以及aof緩沖區(qū)(比較固定，一般沒(méi)問(wèn)題)

(4) Lua：Lua引擎所消耗的內(nèi)存

3. 內(nèi)存突增常見(jiàn)問(wèn)題

(1) kv內(nèi)存：bigkey、大量寫(xiě)入

(2) 客戶端緩沖區(qū)：一般常見(jiàn)的有普通客戶端緩沖區(qū)(例如monitor命令)或者pubsub客戶端緩沖區(qū)

三、問(wèn)題排查

(1) bigkey ? 經(jīng)掃描未發(fā)現(xiàn)bigkey

  1. Sampled67234427keysinthe keyspace! 
  2. Totalkey length inbytesis1574032382(avg len 23.41) 
  3. Biggeststringfound'CCARD_DEVICE_CARD_REF_MAP_KEY_016817000004209'has20862bytes 
  4. Biggest  list found 'CCARD_VALID_DEVICE_TRAIN_QUEUE_KEY'has51items 
  5. Biggest  hash found'CCARD_VALID_DEVICE_TRAIN_MAP_KEY'has51fields67234359 stringswith71767890bytes(100.00%of keys,avg size1.07)67listswith151items(00.00%of keys,avg size2.25)0setswith0members(00.00%of keys,avg size0.00)1hashswith51fields(00.00%of keys,avg size51.00)0zsetswith0members(00.00%of keys,avg size0.00) 

(2) 鍵值個(gè)數(shù)增加？未發(fā)現(xiàn)鍵值有明顯變化

(3) 客戶端緩沖區(qū)

由于內(nèi)存增上去后，長(zhǎng)時(shí)間沒(méi)下落，如果是因?yàn)榫彌_區(qū)問(wèn)題，會(huì)從info clients找到明顯問(wèn)題，執(zhí)行后發(fā)現(xiàn)：

  1. ​id=80207 addr=10.xx.0.4:63920 fd=46 name= age=624 idle=1 flags=N db=0 sub=0 psub=0 multi=-1 qbuf=0 qbuf-free=0 obl=0 oll=0 omem=0 events=r cmd=ping read=0 write=0 type=user 
  2. id=80215 addr=10.xx.0.23:43489 fd=36 name= age=591 idle=1 flags=N db=0 sub=0 psub=0 multi=-1 qbuf=0 qbuf-free=0 obl=0 oll=0 omem=0 events=r cmd=ping read=0 write=0 type=user 
  3. id=80366 addr=10.xx.0.8:59785 fd=18 name= age=84 idle=1 flags=N db=0 sub=0 psub=0 multi=-1 qbuf=0 qbuf-free=0 obl=0 oll=0 omem=0 events=r cmd=del read=0 write=0 type=user 
  4. id=80356 addr=10.xx.0.33:32117 fd=13 name= age=114 idle=0 flags=N db=0 sub=0 psub=0 multi=-1 qbuf=0 qbuf-free=32768 obl=0 oll=0 omem=0 events=r cmd=ping read=0 write=0 type=user 
  5. id=80064 addr=10.xx.59.4:53446 fd=38 name= age=1070 idle=1070 flags=N db=0 sub=0 psub=0 multi=-1 qbuf=0 qbuf-free=0 obl=0 oll=0 omem=0 events=r cmd=NULL read=0 write=0 type=admin 
  6. id=80276 addr=10.xx.0.23:48511 fd=8 name= age=387 idle=1 flags=N db=0 sub=0 psub=0 multi=-1 qbuf=0 qbuf-free=0 obl=0 oll=0 omem=0 events=r cmd=ping read=0 write=0 type=user 
  7. id=80188 addr=10.xx.0.33:16265 fd=42 name= age=681 idle=3 flags=N db=0 sub=0 psub=0 multi=-1 qbuf=0 qbuf-free=0 obl=0 oll=0 omem=0 events=r cmd=ping read=0 write=0 type=user 
  8. id=80326 addr=10.xx.0.32:59779 fd=16 name= age=209 idle=0 flags=N db=0 sub=0 psub=0 multi=-1 qbuf=0 qbuf-free=32768 obl=0 oll=0 omem=0 events=r cmd=ping read=0 write=0 type=user 
  9. id=80065 addr=10.xx.59.4:53447 fd=45 name= age=1070 idle=1070 flags=N db=0 sub=0 psub=0 multi=-1 qbuf=0 qbuf-free=0 obl=0 oll=0 omem=0 events=r cmd=NULL read=0 write=0 type=admin 
  10. id=79936 addr=10.xx.0.22:10607 fd=30 name= age=1480 idle=1 flags=N db=0 sub=0 psub=0 multi=-1 qbuf=0 qbuf-free=32768 obl=0 oll=0 omem=0 events=r cmd=ping read=0 write=0 type=user 
  11. id=80174 addr=10.xx.0.5:60914 fd=6 name= age=722 idle=2 flags=N db=0 sub=0 psub=0 multi=-1 qbuf=0 qbuf-free=0 obl=0 oll=0 omem=0 events=r cmd=ping read=0 write=0 type=user 
  12. id=80300 addr=10.xx.0.22:22757 fd=48 name= age=298 idle=1 flags=N db=0 sub=0 psub=0 multi=-1 qbuf=0 qbuf-free=32768 obl=0 oll=0 omem=0 events=r cmd=ping read=0 write=0 type=user 
  13. id=80037 addr=10.xx.0.5:55189 fd=15 name= age=1143 idle=2 flags=N db=0 sub=0 psub=0 multi=-1 qbuf=0 qbuf-free=0 obl=0 oll=0 omem=0 events=r cmd=ping read=0 write=0 type=user 
  14. id=80330 addr=10.xx.0.8:48533 fd=17 name= age=199 idle=10 flags=N db=0 sub=0 psub=0 multi=-1 qbuf=0 qbuf-free=0 obl=0 oll=0 omem=0 events=r cmd=ping read=0 write=0 type=user 
  15. id=79896 addr=10.xx.0.30:26814 fd=11 name= age=1616 idle=1 flags=N db=0 sub=0 psub=0 multi=-1 qbuf=0 qbuf-free=0 obl=0 oll=0 omem=0 events=r cmd=ping read=0 write=0 type=user 
  16. id=80299 addr=10.xx.0.24:11227 fd=44 name= age=303 idle=3 flags=N db=0 sub=0 psub=0 multi=-1 qbuf=0 qbuf-free=0 obl=0 oll=0 omem=0 events=r cmd=ping read=0 write=0 type=user 
  17. id=80086 addr=10.xx.0.32:52526 fd=40 name= age=1002 idle=1 flags=N db=0 sub=0 psub=0 multi=-1 qbuf=0 qbuf-free=0 obl=0 oll=0 omem=0 events=r cmd=ping read=0 write=0 type=user 
  18. id=80202 addr=10.xx.0.33:16658 fd=26 name= age=636 idle=3 flags=N db=0 sub=0 psub=0 multi=-1 qbuf=0 qbuf-free=0 obl=0 oll=0 omem=0 events=r cmd=ping read=0 write=0 type=user 
  19. id=80256 addr=10.xx.0.24:60496 fd=19 name= age=448 idle=2 flags=N db=0 sub=0 psub=0 multi=-1 qbuf=0 qbuf-free=0 obl=0 oll=0 omem=0 events=r cmd=ping read=0 write=0 type=user 
  20. id=79908 addr=10.xx.0.29:18975 fd=12 name= age=1583 idle=1 flags=N db=0 sub=0 psub=0 multi=-1 qbuf=0 qbuf-free=0 obl=0 oll=0 omem=0 events=r cmd=ping read=0 write=0 type=user 
  21. id=80365 addr=10.xx.0.29:46429 fd=14 name= age=85 idle=1 flags=N db=0 sub=0 psub=0 multi=-1 qbuf=0 qbuf-free=32768 obl=0 oll=0 omem=0 events=r cmd=ping read=0 write=0 type=user 
  22. id=79869 addr=10.xx.27.4:48455 fd=35 name= age=1700 idle=1700 flags=N db=0 sub=0 psub=0 multi=-1 qbuf=0 qbuf-free=0 obl=0 oll=0 omem=0 events=r cmd=NULL read=0 write=0 type=admin 
  23. id=80334 addr=10.xx.0.23:50012 fd=39 name= age=189 idle=1 flags=N db=0 sub=0 psub=0 multi=-1 qbuf=0 qbuf-free=32768 obl=0 oll=0 omem=0 events=r cmd=ping read=0 write=0 type=user 
  24. id=80041 addr=10.xx.0.32:51107 fd=33 name= age=1132 idle=3 flags=N db=0 sub=0 psub=0 multi=-1 qbuf=0 qbuf-free=0 obl=0 oll=0 omem=0 events=r cmd=ping read=0 write=0 type=user 
  25. id=79992 addr=10.xx.0.22:12068 fd=28 name= age=1289 idle=1 flags=N db=0 sub=0 psub=0 multi=-1 qbuf=0 qbuf-free=32768 obl=0 oll=0 omem=0 events=r cmd=ping read=0 write=0 type=user 
  26. id=80251 addr=10.xx.0.30:44213 fd=23 name= age=468 idle=1 flags=N db=0 sub=0 psub=0 multi=-1 qbuf=0 qbuf-free=32768 obl=0 oll=0 omem=0 events=r cmd=ping read=0 write=0 type=user 
  27. id=80006 addr=10.xx.0.2:45895 fd=31 name= age=1242 idle=1 flags=N db=0 sub=0 psub=0 multi=-1 qbuf=0 qbuf-free=0 obl=0 oll=0 omem=0 events=r cmd=ping read=0 write=0 type=user 
  28. id=80321 addr=10.xx.0.30:48048 fd=5 name= age=224 idle=3 flags=N db=0 sub=0 psub=0 multi=-1 qbuf=0 qbuf-free=0 obl=0 oll=0 omem=0 events=r cmd=ping read=0 write=0 type=user 
  29. id=80381 addr=10.xx.0.8:13360 fd=22 name= age=24 idle=1 flags=N db=0 sub=0 psub=0 multi=-1 qbuf=0 qbuf-free=32768 obl=0 oll=0 omem=0 events=r cmd=del read=0 write=0 type=user 
  30. id=80200 addr=10.xx.0.24:59183 fd=24 name= age=640 idle=0 flags=N db=0 sub=0 psub=0 multi=-1 qbuf=0 qbuf-free=32768 obl=0 oll=0 omem=0 events=r cmd=ping read=0 write=0 type=user 
  31. id=80113 addr=10.xx.0.2:52492 fd=21 name= age=915 idle=1 flags=N db=0 sub=0 psub=0 multi=-1 qbuf=0 qbuf-free=32768 obl=0 oll=0 omem=0 events=r cmd=ping read=0 write=0 type=user 
  32. id=174 addr=11.216.117.242:53027 fd=9 name= age=281390 idle=0 flags=S db=0 sub=0 psub=0 multi=-1 qbuf=0 qbuf-free=32768 obl=0 oll=0 omem=0 events=r cmd=replconf read=0 write=0 type=admin 
  33. id=79991 addr=10.xx.0.4:48412 fd=25 name= age=1296 idle=0 flags=N db=0 sub=0 psub=0 multi=-1 qbuf=0 qbuf-free=32768 obl=0 oll=0 omem=0 events=r cmd=ping read=0 write=0 type=user 
  34. id=80301 addr=127.0.0.1:47869 fd=49 name= age=291 idle=261 flags=N db=0 sub=0 psub=0 multi=-1 qbuf=0 qbuf-free=0 obl=0 oll=0 omem=0 events=r cmd=strlen read=0 write=0 type=admin 
  35. id=80047 addr=10.xx.59.4:53184 fd=41 name= age=1114 idle=1114 flags=N db=0 sub=0 psub=0 multi=-1 qbuf=0 qbuf-free=0 obl=0 oll=0 omem=0 events=r cmd=NULL read=0 write=0 type=admin 
  36. id=80236 addr=10.xx.0.5:62546 fd=47 name= age=516 idle=1 flags=N db=0 sub=0 psub=0 multi=-1 qbuf=0 qbuf-free=32768 obl=0 oll=0 omem=0 events=r cmd=ping read=0 write=0 type=user 
  37. id=80364 addr=10.xx.0.4:18794 fd=7 name= age=85 idle=1 flags=N db=0 sub=0 psub=0 multi=-1 qbuf=0 qbuf-free=32768 obl=0 oll=0 omem=0 events=r cmd=ping read=0 write=0 type=user 
  38. id=80175 addr=10.xx.0.4:62245 fd=29 name= age=718 idle=1 flags=N db=0 sub=0 psub=0 multi=-1 qbuf=0 qbuf-free=32768 obl=0 oll=0 omem=0 events=r cmd=ping read=0 write=0 type=user 
  39. id=80336 addr=10.xx.0.29:45701 fd=50 name= age=180 idle=1 flags=N db=0 sub=0 psub=0 multi=-1 qbuf=0 qbuf-free=32768 obl=0 oll=0 omem=0 events=r cmd=ping read=0 write=0 type=user 
  40. id=80050 addr=10.xx.59.4:53188 fd=43 name= age=1114 idle=1114 flags=N db=0 sub=0 psub=0 multi=-1 qbuf=0 qbuf-free=0 obl=0 oll=0 omem=0 events=r cmd=NULL read=0 write=0 type=admin 
  41. id=79765 addr=10.xx.0.2:33832 fd=37 name= age=2027 idle=177 flags=N db=0 sub=0 psub=0 multi=-1 qbuf=0 qbuf-free=0 obl=0 oll=0 omem=0 events=r cmd=info read=0 write=0 type=user 
  42. id=80170 addr=10.xx.0.2:57853 fd=20 name= age=728 idle=24 flags=N db=0 sub=0 psub=0 multi=-1 qbuf=0 qbuf-free=0 obl=0 oll=0 omem=0 events=r cmd=ping read=0 write=0 type=user 
  43. id=80390 addr=127.0.0.1:49449 fd=27 name= age=0 idle=0 flags=N db=0 sub=0 psub=0 multi=-1 qbuf=0 qbuf-free=32768 obl=0 oll=0 omem=0 events=r cmd=client read=0 write=0 type=admin 

四、揪出元兇

常用的幾招都用了，還是不行，同事@徑遠(yuǎn)幫忙一起分析，懷疑是不是因?yàn)镽edis的kv哈希表做了 rehash。

1. Redis的kv存儲(chǔ)結(jié)構(gòu)

如下圖所示，Redis的所有kv保存在dict中，其中ht對(duì)應(yīng)兩個(gè)哈希表ht[0]和ht[1]，平時(shí)一個(gè)空閑，一個(gè)用于存儲(chǔ)數(shù)據(jù)，只有當(dāng)需要rehash時(shí)，ht[1]才會(huì)用到。

 

2. Redis的字典rehash

為了保證哈希表的負(fù)載，當(dāng)哈希表的元素個(gè)數(shù)等于哈希表槽數(shù)時(shí)候，會(huì)進(jìn)行rehash擴(kuò)容。擴(kuò)容后h[1]的容量等于第一個(gè)大于等于ht[0].size*2的2n，例如hash表的初始化容量是4，那么下一次擴(kuò)容就是8，以此類推。

3. 測(cè)試

(1) 測(cè)試方法

先批量寫(xiě)入到rehash閾值附近，然后在逐條去寫(xiě)，觀察內(nèi)存變化。

  1. ​// 為每個(gè)鍵設(shè)置1天過(guò)期時(shí)間int expireTime = 60 * 60 * 24;// rehash閾值 - 50為了方便觀察rehash內(nèi)存變化int rehashThreshold = (int) Math.pow(2, 25) - 50;// 1.批量寫(xiě)入：pipeline批量寫(xiě)入，由于是本機(jī)測(cè)試，這里用10000，實(shí)際生產(chǎn)不要這么用Pipeline pipeline = jedis.pipelined(); 
  2. pipeline = jedis.pipelined();for (int i = 0; i < rehashThreshold; i++) { 
  3.     pipeline.setex(String.valueOf(i), expireTime, String.valueOf(i));    if (i % 10000 == 0) { 
  4.         pipeline.sync(); 
  5.     } 
  6. } 
  7. pipeline.sync();// 2.等待寫(xiě)增量TimeUnit.SECONDS.sleep(5);for (int i = rehashThreshold; i < rehashThreshold + 200; i++) { 
  8.     jedis.setex(String.valueOf(i), expireTime, String.valueOf(i)); 
  9.     TimeUnit.SECONDS.sleep(1); 
  10. } 

(2) 開(kāi)始測(cè)試

(a) 當(dāng)閾值=215=32768，從下面可以看出到key的個(gè)數(shù)為32769時(shí)，內(nèi)存漲了一些，但是還不明顯。

  1. ​keys       mem      clients blocked requests            connections32766      4.69M    3       0       32797 (+2)          4 
  2. 32767      4.69M    3       0       32799 (+2)          4 
  3. 32768      4.69M    3       0       32801 (+2)          4 
  4. 32769      5.44M    3       0       32803 (+2)          4 

(b) 當(dāng)閾值=220=1048576，從下面可以看出到key的個(gè)數(shù)為1048577時(shí)，內(nèi)存漲了32M。因?yàn)閞ehash會(huì)擴(kuò)容，所以新的哈希表中的槽位變?yōu)榱?21 * 2（因?yàn)槊總€(gè)key都設(shè)置了過(guò)期時(shí)間，expires表），指針為8個(gè)字節(jié)，221 ? 2 ? 8 = 225 = 32MB。

  1. ​keys       mem      clients blocked requests            connections1048574    128.69M  3       0       3364129 (+2)        16 
  2. 1048575    128.69M  3       0       3364131 (+2)        16 
  3. 1048576    128.69M  3       0       3364133 (+2)        16 
  4. 1048577    160.69M  3       0       3364135 (+2)        16 
  5. 1048578    160.69M  3       0       3364137 (+2)        16 

(c) 當(dāng)閾值=226=67108864，從下面可以看出到key的個(gè)數(shù)為67108865時(shí)，內(nèi)存漲了2GB。因?yàn)閞ehash會(huì)擴(kuò)容，所以新的哈希表中的槽位變?yōu)榱?27 * 2（因?yàn)槊總€(gè)key都設(shè)置了過(guò)期時(shí)間，expires表），指針為8個(gè)字節(jié)，227 ? 2 ? 8 = 231 = 2GB。

  1. ​keys       mem      clients blocked requests            connections67108862   9.70G    3       0       70473683 (+2)       18 
  2. 67108863   9.70G    3       0       70473685 (+2)       18 
  3. 67108864   9.70G    3       0       70473687 (+2)       18 
  4. 67108865   11.70G   3       0       70473689 (+2)       18 
  5. 67108866   11.70G   3       0       70473691 (+2)       18 
  6. 67108867   11.70G   3       0       70473693 (+2)       18 

回過(guò)來(lái)看r-bp1c15fd9b142d04的key和內(nèi)存變化圖，可以發(fā)現(xiàn)上面的規(guī)則是正確的：

4. 后續(xù)觀察

17點(diǎn)時(shí)，rehash結(jié)束，內(nèi)存降了增加的2G的一半。

 

五、總結(jié)

由于哈希表的特性，Redis 中鍵值數(shù)量大，不會(huì)對(duì)存取造成性能影響，但是會(huì)出現(xiàn)本文提到的問(wèn)題。

控制鍵個(gè)數(shù)有幾個(gè)建議：

  • 無(wú)用的鍵值設(shè)置過(guò)期時(shí)間或者定期刪除。
  • 優(yōu)化鍵值設(shè)計(jì)：例如可以使用 ziplist hash合并優(yōu)化部分字符串類型。
  • 未來(lái)改進(jìn)：內(nèi)核層面支持 rehash 的審計(jì)日志以及增強(qiáng) rehash 的速度。
責(zé)任編輯：武曉燕 來(lái)源： 服務(wù)端思維
Redis內(nèi)存增長(zhǎng)
相關(guān)推薦

2018-07-20 08:44:21

Redis內(nèi)存排查

2017-08-17 09:46:42

大數(shù)據(jù)諸葛io數(shù)據(jù)挖掘

2019-10-24 08:43:46

Redis內(nèi)存NOSQL

2009-06-15 09:47:12

Java程序內(nèi)存溢出

2009-01-20 11:00:00

網(wǎng)卡網(wǎng)絡(luò)故障

2009-09-14 18:41:59

LINQ查詢

2009-09-15 15:07:25

2010-01-23 20:57:48

2020-02-28 14:48:51

結(jié)構(gòu)系統(tǒng)程序

2009-08-19 22:29:12

VMWare系統(tǒng)時(shí)間故

2010-08-24 16:13:38

面試

2024-06-03 10:10:01

2015-07-20 10:23:24

NET內(nèi)存問(wèn)題排查

2013-07-22 09:43:29

2018-04-04 13:44:59

數(shù)據(jù)庫(kù)MySQL延遲

2009-10-22 09:25:28

linux磁盤(pán)配額

2011-05-20 11:12:46

惠普綠色商用臺(tái)式

2021-12-29 13:09:59

TalkingData數(shù)據(jù)智能

2024-01-29 09:22:59

死鎖線程池服務(wù)

2015-07-29 10:34:17

微信詭異
點(diǎn)贊
收藏

51CTO技術(shù)棧公眾號(hào)

国产精品日韩一区| 国产一区二区欧美日韩| 欧美,日韩,国产在线| 国产黄在线播放| 精品在线一区二区三区| 久久久久国产视频| 欧美日韩中文字幕视频| h视频久久久| 欧美日韩一区二区电影| a级黄色一级片| 日本亚洲精品| 成人av免费在线观看| 国产精品美女主播| 国产无遮挡又黄又爽又色| 欧美色婷婷久久99精品红桃| 日韩精品一区二区三区四区| 99视频在线免费| 免费在线观看的电影网站| 久久久久久夜精品精品免费| 91在线短视频| 一区二区日韩视频| 久久国产毛片| 性视频1819p久久| 情侣偷拍对白清晰饥渴难耐| 亚洲va久久| 欧美xxxxxxxxx| 亚洲一二三av| 激情久久一区二区| 在线视频一区二区免费| 可以看毛片的网址| av激情在线| 国产精品国产三级国产有无不卡| 精品一区在线播放| 丰满少妇一级片| 国内精品久久久久影院色| 国产精品久久久久久网站| 国产成人亚洲精品自产在线| 欧美成人有码| 久久久国产91| 免费成人美女女在线观看| 国产精品一在线观看| 亚洲美女久久久| 亚洲欧美日本一区| 成人高潮视频| 亚洲精品一区二区三区四区高清| 亚洲成人手机在线观看| 国产情侣一区在线| 91麻豆精品国产91久久久久久| 一区二区三区韩国| 成人精品国产亚洲| 欧美日韩久久不卡| 蜜臀一区二区三区精品免费视频| 精品九九久久| 欧美日韩精品免费观看视频| 天天色综合天天色| 成人18视频在线观看| 欧美日韩mp4| 中文字幕亚洲影院| 国产一区二区三区国产精品| 欧美高清性hdvideosex| 性久久久久久久久久久久久久| 成人豆花视频| 欧美mv和日韩mv国产网站| 性活交片大全免费看| 成人爽a毛片免费啪啪红桃视频| 欧美大胆人体bbbb| 精品国产一区在线| 亚洲制服一区| 精品激情国产视频| 久久久久久久久久久久久久久久久| 亚洲精品成人| 97精品在线视频| 亚洲无码精品一区二区三区| 秋霞成人午夜伦在线观看| 成人午夜激情网| 亚洲欧美激情在线观看| 91亚洲国产成人精品一区二三| 欧美亚洲免费在线| 日韩三级影院| 亚洲一区二区精品久久av| 高清在线观看免费| 韩国成人在线| 日韩一区二区视频| 国产精品边吃奶边做爽| 俺要去色综合狠狠| 久久久久久久网站| 精人妻无码一区二区三区| 国产一区二区三区久久悠悠色av| 国产经品一区二区| 成a人v在线播放| 夜夜嗨av一区二区三区网页| 2022亚洲天堂| 国产人与zoxxxx另类91| 日韩av在线一区二区| 国产精品1区2区3区4区| 国产字幕视频一区二区| 国产精品久久久久99| 成人激情四射网| 国产午夜三级一区二区三| 色婷婷777777仙踪林| 日韩精品美女| 日韩一区二区在线观看| 好吊视频在线观看| 亚洲一级网站| 国产主播喷水一区二区| 亚洲av毛片成人精品| 亚洲精选免费视频| 无码少妇一区二区三区芒果| 99精品在免费线中文字幕网站一区 | 日本免费在线视频观看| a√中文在线观看| 欧美精品vⅰdeose4hd| 亚洲午夜福利在线观看| 欧美日韩一区二区三区四区在线观看| 日本亚洲欧洲色| 成人免费公开视频| 国产精品久久久一本精品| 男人操女人逼免费视频| 日本一区二区三区视频在线看| 永久免费毛片在线播放不卡| 五月婷婷开心网| 国产精品亚洲一区二区三区妖精| 亚洲欧洲精品在线观看| 自由日本语热亚洲人| 精品国产91九色蝌蚪| 日本中文在线视频| 蜜桃在线一区二区三区| 日本成人三级| 澳门成人av网| 日韩精品免费在线视频| 日本a在线观看| 国产成人在线网站| 久久天天东北熟女毛茸茸| 精品九九久久| 中文字幕欧美精品在线| 欧美超碰在线观看| 久久久久9999亚洲精品| 99爱视频在线| 亚洲区小说区| 欧美最猛性xxxxx(亚洲精品)| 黄色小视频免费在线观看| 亚洲免费伊人电影| 久久艹这里只有精品| 99久久婷婷这里只有精品| 国产区亚洲区欧美区| 国产片在线观看| 欧美视频一区在线观看| 国产一区在线观看免费| 免费在线观看视频一区| 亚洲国产高清国产精品| 在线欧美激情| 久久亚洲精品视频| 99精品视频在线播放免费| 日韩毛片一二三区| 日韩av加勒比| 亚洲一级电影| 精品国产免费人成电影在线观...| av手机在线观看| 日韩久久免费视频| 羞羞色院91蜜桃| 国产精品高潮呻吟| ass极品水嫩小美女ass| 国内久久精品| 久久影院理伦片| 国产 日韩 欧美一区| 中文字幕在线精品| 国产精品久久久久久69| 亚洲综合丁香婷婷六月香| yy6080午夜| 久久不射2019中文字幕| 中国人体摄影一区二区三区| 日韩在线网址| 欧美亚洲免费电影| www.黄在线观看| 日韩一级精品视频在线观看| 亚州国产精品视频| 欧美高清在线一区| a级大片免费看| 国产手机视频一区二区| 五月天亚洲综合| 日韩精品视频中文字幕| 69视频在线免费观看| a天堂在线资源| 欧美成人video| 最近免费中文字幕大全免费版视频| 国产精品剧情在线亚洲| 中国极品少妇videossexhd| 三级亚洲高清视频| 大桥未久一区二区| 蜜臀av免费一区二区三区| 亚洲一区二区免费在线| 日本а中文在线天堂| 日韩性生活视频| 神马久久高清| 欧美一区二区三区色| 在线观看日韩中文字幕| 成人欧美一区二区三区1314| 国产美女视频免费观看下载软件| 蜜桃一区二区三区在线观看| 2018日日夜夜| 亚洲高清影视| 欧美三日本三级少妇三99| 一区二区三区在线免费看| 国产97在线观看| av手机在线观看| 欧美成人免费小视频| 精华区一区二区三区| 精品国产一区二区亚洲人成毛片| 日本视频www色| 午夜一区二区三区在线观看| 午夜爱爱毛片xxxx视频免费看| 国产亚洲精品aa午夜观看| jjzz黄色片| 九九精品视频在线看| 激情五月亚洲色图| 国产精品亚洲综合久久| 大胆欧美熟妇xx| 香蕉综合视频| 神马影院我不卡午夜| 亚洲ab电影| 久99久视频| 欧美激情影院| 国产精品久久久久久久久久久久午夜片| 欧洲午夜精品| 国产精品国产亚洲伊人久久| 国产传媒在线| 久久久久久中文字幕| 影音先锋男人在线资源| 日韩中文字幕不卡视频| 国产98在线| 一区二区中文字幕| 成人18在线| 亚洲天堂男人天堂女人天堂| 午夜小视频在线播放| 亚洲第一区中文99精品| 亚洲第一页综合| 亚洲精品一区在线观看| www.中文字幕| 亚洲国产高潮在线观看| 亚洲AV无码乱码国产精品牛牛| 日韩一区二区在线观看视频播放| 国产情侣在线播放| 欧美一级一级性生活免费录像| 中文字幕日韩经典| 欧美日韩在线直播| 伊人久久国产精品| 91精品欧美久久久久久动漫| 国产剧情久久久| 精品美女一区二区| 亚洲欧美日韩动漫| 国产丝袜精品第一页| 国产高清自拍视频在线观看| 欲色天天网综合久久| 久久五月精品| 欧美激情国内偷拍| 超碰91在线观看| 国产成人高清激情视频在线观看| 亚洲成人看片| 国产欧美日韩视频| 国产精品麻豆| 国产精品视频福利| 女厕嘘嘘一区二区在线播放| 日韩精品极品视频在线观看免费| 日韩理论电影院| 999久久欧美人妻一区二区| 激情综合视频| www日韩在线观看| 理论电影国产精品| 少妇极品熟妇人妻无码| 99re这里只有精品视频首页| 欧洲av一区二区三区| 亚洲欧美综合网| 国产精品99re| 欧美亚洲国产一区二区三区| 国产永久免费视频| 亚洲精品xxxx| 日本中文字幕在线看| 欧美人成在线视频| 日韩精品一区二区三区| 成人字幕网zmw| 老牛影视av一区二区在线观看| 日韩av电影免费观看| 欧美日韩p片| 国产黄色特级片| 国产一区二区h| 加勒比一区二区| 亚洲青青青在线视频| 国产精品久久久久久99| 欧美美女激情18p| 深夜福利视频网站| 日韩视频―中文字幕| 三级在线观看视频| 亚洲va久久久噜噜噜久久天堂| 色婷婷精品视频| 国产在线xxxx| 麻豆精品新av中文字幕| 中文字幕一区二区三区乱码不卡| 国产精品入口麻豆原神| 日韩精品成人一区| 91精品国产福利| 黄色大片在线免费观看| 久久久久久国产精品美女| 成人在线视频免费| 久久久久久久久久久一区| 午夜电影亚洲| 国产三级国产精品国产专区50| 96av麻豆蜜桃一区二区| 九九在线观看视频| 8v天堂国产在线一区二区| 经典三级在线| 51午夜精品视频| 91麻豆精品激情在线观看最新| 夜夜春亚洲嫩草影视日日摸夜夜添夜| 国产亚洲午夜| 国产伦精品一区二区三区88av| 亚洲欧洲精品一区二区三区 | 男人的天堂亚洲| 中国极品少妇xxxx| 一区二区免费视频| 一区二区三区免费在线| 国产性色av一区二区| 麻豆网站免费在线观看| av在线不卡观看| 欧美成人69av| 五月天婷婷在线观看视频| 国产精品久久久久久亚洲伦| 亚洲 欧美 日韩 在线| 亚洲黄色免费三级| 美女扒开腿让男人桶爽久久软| www.成人av| 黄色成人在线网站| 超碰人人cao| 一区二区高清在线| 国产成人av免费看| 欧美精品在线免费观看| 嫩呦国产一区二区三区av| 国产av第一区| 国产成人午夜片在线观看高清观看 | 欧美交a欧美精品喷水| 欧美日韩福利在线| 成人免费看视频| 日韩av在线播| 亚洲韩国日本中文字幕| 韩国精品一区| 久久亚洲精品欧美| 久久一区中文字幕| 鲁丝一区二区三区| 欧美唯美清纯偷拍| 永久免费av片在线观看全网站| 国产精品免费一区| 四虎国产精品免费观看| 亚洲精品免费一区亚洲精品免费精品一区| 中文幕一区二区三区久久蜜桃| 亚洲最大成人在线视频| 中文字幕欧美在线| 精品国产18久久久久久二百| 黄色片免费在线观看视频| 成人黄色网址在线观看| 亚洲va在线观看| 日韩中文字幕欧美| 日韩精品一区二区三区中文在线| 久久手机在线视频| 91亚洲精品一区二区乱码| 一级片在线免费播放| xxx成人少妇69| 给我免费播放日韩视频| 久久9精品区-无套内射无码| 国产欧美精品一区二区色综合朱莉| 亚洲综合网av| 欧美激情第1页| 国产一区二区精品久| 久久久福利影院| 欧美午夜美女看片| 最新97超碰在线| 91丨九色丨国产| 视频在线在亚洲| 黄色a级片在线观看| 精品亚洲夜色av98在线观看| 人人精品久久| 三上悠亚久久精品| 国产精品久久久久影院亚瑟 | 久久久久久久久久成人| 日韩中文字幕亚洲| 国产乱人伦精品一区| 无人在线观看的免费高清视频| 亚洲女人小视频在线观看| 日本一级在线观看| 91丨九色丨国产在线| 性欧美暴力猛交另类hd| 日本a级片视频| 亚洲一区第一页| 国产三级精品三级在线观看国产| 91热这里只有精品| 午夜精品福利一区二区三区av| 生活片a∨在线观看| 精品毛片久久久久久| 激情综合网激情| av首页在线观看| 97在线观看视频国产| 国产精品二区不卡|