精品欧美一区二区三区在线观看 _久久久久国色av免费观看性色_国产精品久久在线观看_亚洲第一综合网站_91精品又粗又猛又爽_小泽玛利亚一区二区免费_91亚洲精品国偷拍自产在线观看 _久久精品视频在线播放_美女精品久久久_欧美日韩国产成人在线

羊駝系列大模型和ChatGPT差多少?詳細(xì)測(cè)評(píng)后,我沉默了

人工智能 新聞
總的來(lái)說(shuō),該測(cè)試得出的結(jié)論是:MPT 還沒(méi)有準(zhǔn)備好在現(xiàn)實(shí)世界中使用,而 Vicuna 對(duì)于許多任務(wù)來(lái)說(shuō)是 ChatGPT (3.5) 的可行替代品。

前段時(shí)間,谷歌的一份泄密文件引發(fā)了廣泛關(guān)注。在這份文件中,一位谷歌內(nèi)部的研究人員表達(dá)了一個(gè)重要觀點(diǎn):谷歌沒(méi)有護(hù)城河,OpenAI 也沒(méi)有。

這位研究人員表示,雖然表面看起來(lái) OpenAI 和谷歌在 AI 大模型上你追我趕,但真正的贏家未必會(huì)從這兩家中產(chǎn)生,因?yàn)橐粋€(gè)第三方力量正在悄悄崛起。

這個(gè)力量名叫「開(kāi)源」。圍繞 Meta 的 LLaMA 等開(kāi)源模型,整個(gè)社區(qū)正在迅速構(gòu)建與 OpenAI、谷歌大模型能力類似的模型,而且開(kāi)源模型的迭代速度更快,可定制性更強(qiáng),更有私密性……「當(dāng)免費(fèi)的、不受限制的替代品質(zhì)量相當(dāng)時(shí),人們不會(huì)為受限制的模型付費(fèi)。」作者寫(xiě)道。

這些觀點(diǎn)在社交媒體上引起了很大爭(zhēng)議,其中一個(gè)比較大的爭(zhēng)議是:那些開(kāi)源模型是否真的能達(dá)到和 OpenAI ChatGPT 或谷歌 Bard 等商業(yè)閉源大模型相似的水平?現(xiàn)階段兩個(gè)陣營(yíng)還有多大差距?

為了探索這個(gè)問(wèn)題,一位名叫 Marco Tulio Ribeiro 的 Medium 博主在一些復(fù)雜任務(wù)上對(duì)部分模型(Vicuna-13B、MPT-7b-Chat VS. ChatGPT 3.5)進(jìn)行了測(cè)試。

其中,Vicuna-13B 是加州大學(xué)伯克利分校、卡內(nèi)基梅隆大學(xué)、斯坦福大學(xué)、加州大學(xué)圣迭戈分校的研究者們提出的一個(gè)開(kāi)源模型,這個(gè)模型基于 LLaMA 13B 參數(shù)量的版本構(gòu)建而成,在一項(xiàng)由 GPT-4 打分的測(cè)試中表現(xiàn)十分亮眼(參見(jiàn)《300 美元復(fù)刻 ChatGPT 九成功力,GPT-4 親自監(jiān)考,130 億參數(shù)開(kāi)源模型「小羊駝」來(lái)了》)。

MPT-7B 是 MosaicML 發(fā)布的大型語(yǔ)言模型,遵循 meta 的 LLaMA 模型的訓(xùn)練方案。MosaicML 表示,MPT-7B 與 meta 的 70 億參數(shù) LLaMA 模型的性能相當(dāng)。

和它們對(duì)比的,自然是大語(yǔ)言模型標(biāo)桿 ChatGPT。

圖片

Marco Tulio Ribeiro 是一位研究員,目前在微軟研究院的自適應(yīng)系統(tǒng)和交互組工作。他還是華盛頓大學(xué)的聯(lián)合助理教授。這項(xiàng)工作由他和微軟的另一位研究員 Scott Lundberg 共同完成。在測(cè)試中,他們使用了微軟的 guidance 庫(kù)來(lái)幫助設(shè)計(jì) prompt。

熱身:解方程

第一項(xiàng)任務(wù)是解簡(jiǎn)單的多項(xiàng)式方程,這些問(wèn)題都有標(biāo)準(zhǔn)答案,比較容易評(píng)估對(duì)錯(cuò)。

對(duì)于指定的三個(gè)模型,測(cè)試者給出的題目是求二元一次方程「x^2+3x=0」的解。他們使用了以下 prompt:

圖片

三個(gè)模型表現(xiàn)如下。

ChatGPT:

equation = 'x^2 + 3.0x = 0'
roots = [0, -3]
answer_gpt = find_roots (llm=chatgpt, equatinotallow=equation)

圖片

Vicuna:

answer_vicuna = find_roots (llm=vicuna, equatinotallow=equation)

圖片

MPT:

answer_mpt = find_roots (llm=mpt, equatinotallow=equation)

圖片

顯然,正確答案應(yīng)該是 [-3, 0],只有 ChatGPT 答對(duì)了(Vicuna 甚至沒(méi)有按照指定的格式作答)。

在這篇文章附帶的 notebook 中,測(cè)試者編寫(xiě)了一個(gè)函數(shù),用于生成具有整數(shù)根的隨機(jī)二次方程,根的范圍在 - 20 到 20 之間,并且對(duì)每個(gè)模型運(yùn)行了 20 次 prompt。三個(gè)模型的準(zhǔn)確率結(jié)果如下:

╔═══════════╦══════════╦
║   Model   ║ Accuracy ║     
╠═══════════╬══════════╬
║ ChatGPT   ║   80%    ║
║ Vicuna    ║    0%    ║ 
║ MPT       ║    0%    ║
╚═══════════╩══════════╩

在二元一次方程的測(cè)試中,雖然 GPT 做錯(cuò)了一些題,但 Vicuna 和 MPT 一道都沒(méi)做對(duì),經(jīng)常在中間步驟中犯錯(cuò)(MPT 甚至經(jīng)常不寫(xiě)中間步驟)。下面是一個(gè) ChatGPT 錯(cuò)誤的例子:

圖片

ChatGPT 在最后一步計(jì)算錯(cuò)誤,(13 +- 25)/2 應(yīng)該得到 [19,-6] 而不是 [19.5,-6.5]。

由于 Vicuna 和 MPT 實(shí)在不會(huì)解二元一次方程,測(cè)試者就找了一些更簡(jiǎn)單的題讓他們做,比如 x-10=0。對(duì)于這些簡(jiǎn)單的方程,他們得到了以下統(tǒng)計(jì)結(jié)果:

╔═══════════╦══════════╦
║   Model   ║ Accuracy ║     
╠═══════════╬══════════╬
║ ChatGPT   ║   100%   ║
║ Vicuna    ║    85%   ║ 
║ MPT       ║    30%   ║
╚═══════════╩══════════╩

下面是一個(gè) MPT 答錯(cuò)的例子:

圖片

結(jié)論

在這個(gè)非常簡(jiǎn)單的測(cè)試中,測(cè)試者使用相同的問(wèn)題、相同的 prompt 得出的結(jié)論是:ChatGPT 在準(zhǔn)確性方面遠(yuǎn)遠(yuǎn)超過(guò)了 Vicuna 和 MPT。

任務(wù):提取片段 + 回答會(huì)議相關(guān)的問(wèn)題

這個(gè)任務(wù)更加現(xiàn)實(shí),而且在會(huì)議相關(guān)的問(wèn)答中,出于安全性、隱私等方面考慮,大家可能更加傾向于用開(kāi)源模型,而不是將私有數(shù)據(jù)發(fā)送給 OpenAI。

以下是一段會(huì)議記錄(翻譯結(jié)果來(lái)自 DeepL,僅供參考):

圖片

圖片

測(cè)試者給出的第一個(gè)測(cè)試問(wèn)題是:「Steven 如何看待收購(gòu)一事?」,prompt 如下:

qa_attempt1 = guidance ('''{{#system~}}
{{llm.default_system_prompt}}
{{~/system}}

{{#user~}}
You will read a meeting transcript, then extract the relevant segments to answer the following question:
Question: {{query}}
Here is a meeting transcript:
----
{{transcript}}
----
Please answer the following question:
Question: {{query}}
Extract from the transcript the most relevant segments for the answer, and then answer the question.
{{/user}}

{{#assistant~}}
{{gen 'answer'}}
{{~/assistant~}}''')

ChatGPT 給出了如下答案:

圖片

雖然這個(gè)回答是合理的,但 ChatGPT 并沒(méi)有提取任何對(duì)話片段作為答案的支撐(因此不符合測(cè)試者設(shè)定的規(guī)范)。測(cè)試者在 notebook 中迭代了 5 個(gè)不同的 prompt,以下是一些例子:

qa_attempt3 = guidance ('''{{#system~}}
{{llm.default_system_prompt}}
{{~/system}}

{{#user~}}
You will read a meeting transcript, then extract the relevant segments to answer the following question:
Question: {{query}}
Here is a meeting transcript:
----
{{transcript}}
----
Based on the above, please answer the following question:
Question: {{query}}
Please extract from the transcript whichever conversation segments are most relevant for the answer, and then answer the question.
Note that conversation segments can be of any length, e.g. including multiple conversation turns.
Please extract at most 3 segments. If you need less than three segments, you can leave the rest blank.

As an example of output format, here is a fictitious answer to a question about another meeting transcript.
CONVERSATION SEGMENTS:
Segment 1: Peter and John discuss the weather.
Peter: John, how is the weather today?
John: It's raining.
Segment 2: Peter insults John
Peter: John, you are a bad person.
Segment 3: Blank
ANSWER: Peter and John discussed the weather and Peter insulted John.
{{/user}}

{{#assistant~}}
{{gen 'answer'}}
{{~/assistant~}}''')

在這個(gè)新的 prompt 中,ChatGPT 確實(shí)提取了相關(guān)的片段,但它沒(méi)有遵循測(cè)試者規(guī)定的輸出格式(它沒(méi)有總結(jié)每個(gè)片段,也沒(méi)有給出對(duì)話者的名字)。

不過(guò),在構(gòu)建出更復(fù)雜的 prompt 之后,ChatGPT 終于聽(tīng)懂了指示:

qa_attempt5 = guidance ('''{{#system~}}
{{llm.default_system_prompt}}
{{~/system}}

{{#user~}}
You will read a meeting transcript, then extract the relevant segments to answer the following question:
Question: What were the main things that happened in the meeting?
Here is a meeting transcript:
----
Peter: Hey
John: Hey
Peter: John, how is the weather today?
John: It's raining.
Peter: That's too bad. I was hoping to go for a walk later.
John: Yeah, it's a shame.
Peter: John, you are a bad person.
----
Based on the above, please answer the following question:
Question: {{query}}
Please extract from the transcript whichever conversation segments are most relevant for the answer, and then answer the question.
Note that conversation segments can be of any length, e.g. including multiple conversation turns.
Please extract at most 3 segments. If you need less than three segments, you can leave the rest blank.
{{/user}}
{{#assistant~}}
CONVERSATION SEGMENTS:
Segment 1: Peter and John discuss the weather.
Peter: John, how is the weather today?
John: It's raining.
Segment 2: Peter insults John
Peter: John, you are a bad person.
Segment 3: Blank
ANSWER: Peter and John discussed the weather and Peter insulted John.
{{~/assistant~}}
{{#user~}}
You will read a meeting transcript, then extract the relevant segments to answer the following question:
Question: {{query}}
Here is a meeting transcript:
----
{{transcript}}
----
Based on the above, please answer the following question:
Question: {{query}}
Please extract from the transcript whichever conversation segments are most relevant for the answer, and then answer the question.
Note that conversation segments can be of any length, e.g. including multiple conversation turns.
Please extract at most 3 segments. If you need less than three segments, you can leave the rest blank.
{{~/user}}

{{#assistant~}}
{{gen 'answer'}}
{{~/assistant~}}''')

圖片

圖片

測(cè)試者表示,他們之所以要多次迭代 prompt,是因?yàn)?OpenAI API 不允許他們做部分輸出補(bǔ)全(即他們不能指定 AI 助手如何開(kāi)始回答),因此他們很難引導(dǎo)輸出。

相反,如果使用一個(gè)開(kāi)源模型,他們就可以更清楚地指導(dǎo)輸出,迫使模型使用他們規(guī)定的結(jié)構(gòu)。

新一輪測(cè)試使用如下 prompt:

qa_guided = guidance ('''{{#system~}}
{{llm.default_system_prompt}}
{{~/system}}

{{#user~}}
You will read a meeting transcript, then extract the relevant segments to answer the following question:
Question: {{query}}
----
{{transcript}}
----
Based on the above, please answer the following question:
Question: {{query}}
Please extract the three segment from the transcript that are the most relevant for the answer, and then answer the question.
Note that conversation segments can be of any length, e.g. including multiple conversation turns. If you need less than three segments, you can leave the rest blank.

As an example of output format, here is a fictitious answer to a question about another meeting transcript:
CONVERSATION SEGMENTS:
Segment 1: Peter and John discuss the weather.
Peter: John, how is the weather today?
John: It's raining.
Segment 2: Peter insults John
Peter: John, you are a bad person.
Segment 3: Blank
ANSWER: Peter and John discussed the weather and Peter insulted John.
{{/user}}

{{#assistant~}}
CONVERSATION SEGMENTS:
Segment 1: {{gen'segment1'}}
Segment 2: {{gen'segment2'}}
Segment 3: {{gen'segment3'}}
ANSWER: {{gen 'answer'}}
{{~/assistant~}}''')

如果用 Vicuna 運(yùn)行上述 prompt,他們第一次就會(huì)得到正確的格式,而且格式總能保持正確:

圖片

當(dāng)然,也可以在 MPT 上運(yùn)行相同的 prompt:

圖片

雖然 MPT 遵循了格式要求,但它沒(méi)有針對(duì)給定的會(huì)議資料回答問(wèn)題,而是從格式示例中提取了片段。這顯然是不行的。

接下來(lái)比較 ChatGPT 和 Vicuna。

測(cè)試者給出的問(wèn)題是「誰(shuí)想賣掉公司?」兩個(gè)模型看起來(lái)答得都不錯(cuò)。

以下是 ChatGPT 的回答:

圖片

以下是 Vicuna 的回答:

圖片

接下來(lái),測(cè)試者換了一段材料。新材料是馬斯克和記者的一段對(duì)話:

圖片

測(cè)試者提出的問(wèn)題是:「Elon Musk 有沒(méi)有侮辱(insult)記者?」

ChatGPT 給出的答案是:

圖片

Vicuna 給出的答案是:

圖片

Vicuna 給出了正確的格式,甚至提取的片段也是對(duì)的。但令人意外的是,它最后還是給出了錯(cuò)誤的答案,即「Elon musk does not accuse him of lying or insult him in any way」。

測(cè)試者還進(jìn)行了其他問(wèn)答測(cè)試,得出的結(jié)論是:Vicuna 在大多數(shù)問(wèn)題上與 ChatGPT 相當(dāng),但比 ChatGPT 更經(jīng)常答錯(cuò)。

用 bash 完成任務(wù)

測(cè)試者嘗試讓幾個(gè) LLM 迭代使用 bash shell 來(lái)解決一些問(wèn)題。每當(dāng)模型發(fā)出命令,測(cè)試者會(huì)運(yùn)行這些命令并將輸出插入到 prompt 中,迭代進(jìn)行這個(gè)過(guò)程,直到任務(wù)完成。

ChatGPT 的 prompt 如下所示:

terminal = guidance ('''{{#system~}}
{{llm.default_system_prompt}}
{{~/system}}

{{#user~}}
Please complete the following task:
Task: list the files in the current directory
You can give me one bash command to run at a time, using the syntax:
COMMAND: command
I will run the commands on my terminal, and paste the output back to you. Once you are done with the task, please type DONE.
{{/user}}

{{#assistant~}}
COMMAND: ls
{{~/assistant~}}

{{#user~}}
Output: guidance project
{{/user}}

{{#assistant~}}
The files or folders in the current directory are:
- guidance
- project
DONE
{{~/assistant~}}

{{#user~}}
Please complete the following task:
Task: {{task}}
You can give me one bash command to run at a time, using the syntax:
COMMAND: command
I will run the commands on my terminal, and paste the output back to you. Once you are done with the task, please type DONE.
{{/user}}

{{#geneach 'commands' stop=False}}
{{#assistant~}}
{{gen 'this.command'}}
{{~/assistant~}}

{{~#user~}}
Output: {{shell this.command)}}
{{~/user~}}
{{/geneach}}''')

測(cè)試者在~/work/project 中創(chuàng)建了一個(gè)虛擬存儲(chǔ)庫(kù),其中包含文件 license.txt,但不是標(biāo)準(zhǔn)的 LICENSE 文件名。

然后測(cè)試者嘗試在不與 ChatGPT 溝通的情況下,看它是否能完成任務(wù) ——「找出位于~/work/project 中的開(kāi)源項(xiàng)目正在使用的 license」(Find out what license the open source project located in ~/work/project is using)。

圖片

ChatGPT 遵循一個(gè)非常自然的順序,并解決了這個(gè)問(wèn)題。

對(duì)于開(kāi)源模型,測(cè)試者編寫(xiě)了一個(gè)更簡(jiǎn)單的(引導(dǎo)式)prompt,其中包含一系列命令輸出:

guided_terminal = guidance ('''{{#system~}}
{{llm.default_system_prompt}}
{{~/system}}

{{#user~}}
Please complete the following task:
Task: list the files in the current directory
You can run bash commands using the syntax:
COMMAND: command
OUTPUT: output
Once you are done with the task, use the COMMAND: DONE.
{{/user}}

{{#assistant~}}
COMMAND: ls
OUTPUT: guidance project
COMMAND: DONE 
{{~/assistant~}}

{{#user~}}
Please complete the following task:
Task: {{task}}
You can run bash commands using the syntax:
COMMAND: command
OUTPUT: output
Once you are done with the task, use the COMMAND: DONE.
{{~/user}}

{{#assistant~}}
{{#geneach 'commands' stop=False ~}}
COMMAND: {{gen 'this.command' stop='\\n'}}
OUTPUT: {{shell this.command)}}{{~/geneach}}
{{~/assistant~}}''')

我們來(lái)看一下 Vicuna 和 MPT 執(zhí)行該任務(wù)的情況。

Vicuna:

圖片

MPT:

圖片

在一個(gè)有趣的轉(zhuǎn)折中,Vicuna 無(wú)法解決這個(gè)任務(wù),但 MPT 卻成功了。除了保密性之外,開(kāi)源模型在這里有一個(gè)顯著的優(yōu)勢(shì):整個(gè) prompt 被作為一個(gè)輸入傳遞給一個(gè) LLM 模型(測(cè)試者甚至通過(guò)不讓它生成像 COMMAND 這樣的輸出結(jié)構(gòu) token 來(lái)加速它)。

相比之下,他們必須為每個(gè)命令重新調(diào)用 ChatGPT,這更慢,開(kāi)銷也更大。

接下來(lái),他們又嘗試了一個(gè)不同的命令:「在~/work/guidance 目錄下找到當(dāng)前未被 git 跟蹤的所有 jupyter notebook 文件」

以下是 ChatGPT 的回答:

圖片

測(cè)試者再次遇到一個(gè)問(wèn)題:ChatGPT 沒(méi)有遵循他們指定的輸出結(jié)構(gòu)(這樣就使得它無(wú)法在無(wú)人干預(yù)的情況下在程序內(nèi)使用)。該程序只是執(zhí)行命令,因此在上面最后一條 ChatGPT 信息之后就停止了。

測(cè)試者懷疑空輸出會(huì)導(dǎo)致 ChatGPT 關(guān)閉,因此他們通過(guò)在沒(méi)有輸出時(shí)更改信息來(lái)解決這個(gè)特殊問(wèn)題。然而,他們無(wú)法解決「無(wú)法強(qiáng)迫 ChatGPT 遵循指定的輸出結(jié)構(gòu)」這一普遍問(wèn)題。

在做了這個(gè)小小的修改后,ChatGPT 就能解決這個(gè)問(wèn)題:讓我們看看 Vicuna 是怎么做的:

圖片

Vicuna 遵循了輸出結(jié)構(gòu),但不幸的是,它運(yùn)行了錯(cuò)誤的命令來(lái)完成任務(wù)。MPT 反復(fù)調(diào)用 git status,所以它也失敗了。

測(cè)試者還對(duì)其他各種指令運(yùn)行了這些程序,發(fā)現(xiàn) ChatGPT 幾乎總是能產(chǎn)生正確的指令序列,但有時(shí)并不遵循指定的格式(因此需要人工干預(yù))。此處開(kāi)源模型的效果不是很好(或許可以通過(guò)更多的 prompt 工程來(lái)改進(jìn)它們,但它們?cè)诖蠖鄶?shù)較難的指令上都失敗了)。

歸納總結(jié)

測(cè)試者還嘗試了一些其他任務(wù),包括文本摘要、問(wèn)題回答、創(chuàng)意生成和 toy 字符串操作,評(píng)估了幾種模型的準(zhǔn)確性。以下是主要的評(píng)估結(jié)果:

  • 任務(wù)質(zhì)量:對(duì)于每項(xiàng)任務(wù),ChatGPT (3.5) 都比 Vicuna 強(qiáng),而 MPT 幾乎在所有任務(wù)上都表現(xiàn)不佳,這甚至讓測(cè)試團(tuán)隊(duì)?wèi)岩勺约旱氖褂梅椒ù嬖趩?wèn)題。值得注意的是,Vicuna 的性能通常接近 ChatGPT。
  • 易用性:ChatGPT 很難遵循指定的輸出格式,因此難以在程序中使用它,需要為輸出編寫(xiě)正則表達(dá)式解析器。相比之下,能夠指定輸出結(jié)構(gòu)是開(kāi)源模型的一個(gè)顯著優(yōu)勢(shì),以至于有時(shí) Vicuna 比 ChatGPT 更易用,即使它在任務(wù)性能方面更差一些。
  • 效率:本地部署模型意味著我們可以在單次 LLM 運(yùn)行中解決任務(wù)(guidance 在程序執(zhí)行時(shí)保持 LLM 狀態(tài)),速度更快,成本更低。當(dāng)任何子步驟涉及調(diào)用其他 API 或函數(shù)(例如搜索、終端等)時(shí)尤其如此,這總是需要對(duì) OpenAI API 進(jìn)行新調(diào)用。guidance 還通過(guò)不讓模型生成輸出結(jié)構(gòu)標(biāo)記來(lái)加速生成,這有時(shí)會(huì)產(chǎn)生很大的不同。

總的來(lái)說(shuō),該測(cè)試得出的結(jié)論是:MPT 還沒(méi)有準(zhǔn)備好在現(xiàn)實(shí)世界中使用,而 Vicuna 對(duì)于許多任務(wù)來(lái)說(shuō)是 ChatGPT (3.5) 的可行替代品。目前這些發(fā)現(xiàn)僅適用于該測(cè)試嘗試的任務(wù)和輸入(或 prompt 類型),該測(cè)試只是一個(gè)初步探索,而不是正式評(píng)估。

更多結(jié)果參見(jiàn) notebook:https://github.com/microsoft/guidance/blob/main/notebooks/chatgpt_vs_open_source_on_harder_tasks.ipynb

責(zé)任編輯:張燕妮 來(lái)源: 機(jī)器之心
相關(guān)推薦

2023-05-22 09:28:30

模型AI

2024-01-02 06:30:58

ChatGPTGPT-3.5

2023-12-03 08:46:20

模型開(kāi)源

2023-05-25 13:59:12

ChatGPT模型

2023-03-22 15:14:00

數(shù)據(jù)模型

2024-01-08 12:47:02

代碼模型Mistral

2023-08-24 15:57:41

模型文檔檢索

2023-04-21 10:14:22

開(kāi)源AI

2023-07-28 13:50:53

2022-10-21 15:35:58

游戲開(kāi)發(fā)鴻蒙

2022-10-10 14:57:09

NP游戲

2023-04-27 13:46:08

語(yǔ)言模型ChatGPT人工智能

2023-03-21 08:10:18

2023-08-15 14:05:27

AI模型

2023-11-03 07:47:12

機(jī)器資源大模型:

2023-06-28 18:10:27

羊駝家族大模型集體進(jìn)化

2023-11-14 17:53:39

模型訓(xùn)練

2023-09-06 12:11:21

ChatGPT語(yǔ)言模型

2024-06-25 08:00:00

ChatGPTLLM人工智能

2024-02-05 14:12:37

大模型RAG架構(gòu)
點(diǎn)贊
收藏

51CTO技術(shù)棧公眾號(hào)

国产日本一区二区| 怡红院精品视频在线观看极品| 日本韩国精品在线| 午夜视频久久久| 国产亲伦免费视频播放| 中文字幕免费一区二区三区| 亚洲激情久久久| 在线看的黄色网址| av老司机在线观看| 国产精品蜜臀在线观看| 国产亚洲精品自在久久| 中文永久免费观看| 亚洲小说欧美另类社区| 色阁综合伊人av| 中文字幕人妻一区二区三区| 国产原创一区| 欧美三级欧美成人高清www| 亚洲一区二区三区加勒比| 亚洲免费视频网| 日本大胆欧美人术艺术动态| 久久免费视频网站| 影音先锋男人资源在线观看| 日韩福利视频一区| 欧美一区二区三级| 少妇黄色一级片| japanese色国产在线看视频| 国产精品成人在线观看| 欧美精品人人做人人爱视频| 午夜精品久久久久久久96蜜桃| 麻豆精品国产91久久久久久| 午夜精品一区二区三区在线| h色网站在线观看| 欧美日韩性在线观看| 亚洲激情自拍图| 成人啪啪18免费游戏链接| 国产麻豆一区| 在线亚洲一区观看| 久久久999视频| heyzo在线播放| 一级日本不卡的影视| 中文字幕欧美日韩一区二区| 国产在线小视频| 久久人人爽爽爽人久久久| 国产美女精品在线观看| www.欧美国产| 国产精品一区久久久久| 91久久久久久久久久久久久| 成人黄色片在线观看| 国产精品人人人人| 91视频久久| 色哟哟入口国产精品| 欧美激情 一区| 国产一区二区三区日韩精品 | 黄色免费网址大全| 少妇淫片在线影院| 精品美女久久久久久免费| 久久手机在线视频| 爱情岛亚洲播放路线| 亚洲自拍偷拍网站| 东北少妇不带套对白| 黄色在线观看视频网站| 亚洲香肠在线观看| 无码av天堂一区二区三区| 黄页网站在线| 欧美色另类天堂2015| 日日碰狠狠添天天爽超碰97| 亚洲黄色网址| 在线观看视频一区二区| 亚洲这里只有精品| 日本精品一区二区三区在线观看视频| 欧美一区二区三区爱爱| 欧美激情一区二区三区p站| 成人盗摄视频| 亚洲人成电影网站色xx| www..com.cn蕾丝视频在线观看免费版 | 在线免费观看黄色网址| 亚洲欧美在线aaa| 小泽玛利亚av在线| 僵尸再翻生在线观看免费国语| 丰满岳妇乱一区二区三区| 国产激情在线观看视频| 亚洲一区二区小说| 亚洲国产精品va在线看黑人动漫| 99re久久精品国产| 精品久久中文| 超在线视频97| 国产成人无码精品久在线观看| 免费一区视频| 91久久久久久久久久久久久| 天天射天天操天天干| 国产日韩在线不卡| 9191国产视频| 国精产品一区二区三区有限公司 | 日韩精品永久网址| 欧美激情视频在线免费观看 欧美视频免费一 | 欧美一区,二区| 97精品电影院| 午夜啪啪免费视频| 欧洲一区精品| 在线电影国产精品| 91av在线免费| 一区二区电影| 国产成人精品电影久久久| 国产视频一区二区三| 久久免费美女视频| 国产青草视频在线观看| 成人看片网页| 亚洲成人免费在线视频| 一级免费黄色录像| 麻豆久久婷婷| 国产精品久久久久久久久久久久午夜片| 九一在线视频| 亚洲一区二三区| 美女少妇一区二区| 亚洲bt欧美bt精品777| 欧美精品少妇videofree| 午夜视频网站在线观看| 91在线精品一区二区| 国产资源第一页| 国外成人福利视频| 亚洲视频在线免费观看| 日韩欧美亚洲视频| 国产精品白丝av| 亚洲高清123| 亚洲最大成人| 亚洲二区在线播放视频| 久久r这里只有精品| 奇米影视一区二区三区小说| 美女一区视频| 成人黄色动漫| 精品99一区二区| 朝桐光av在线| 国内一区二区在线| 亚洲天堂电影网| 91成人抖音| 一区二区成人av| 免费看污视频的网站| 91偷拍与自偷拍精品| 成人免费播放器| 91精品国产乱码久久久竹菊| 麻豆国产精品va在线观看不卡| 精品国产www| 国产精品污www在线观看| 国产性生交xxxxx免费| 久久97视频| 日本精品久久久| 免费在线超碰| 欧美亚洲国产一区二区三区| 国产交换配乱淫视频免费| 中文一区二区| 欧美日本国产精品| 欧美不卡高清一区二区三区| 国产午夜精品视频免费不卡69堂| 懂色av蜜臀av粉嫩av分享吧最新章节| 91女人视频在线观看| 国产精品沙发午睡系列| 免费成人网www| 国产极品jizzhd欧美| 91大神xh98hx在线播放| 欧美三级乱人伦电影| 日本裸体美女视频| 国产毛片精品一区| av久久久久久| 韩国精品福利一区二区三区| 国产91精品久久久久| 国产在线自天天| 欧美福利视频导航| 国产亚洲小视频| 99精品欧美一区二区蜜桃免费 | 精品一区二区免费| 8x8x华人在线| 久久综合五月婷婷| 国产精品福利在线| 成人在线直播| 亚洲成人网在线观看| 久久国产黄色片| 国产欧美精品一区| 色偷偷中文字幕| 国产精品一卡| 在线视频亚洲自拍| 极品一区美女高清| 国产精品v片在线观看不卡| 乱人伦中文视频在线| 精品国产污污免费网站入口| 在线观看日本视频| **性色生活片久久毛片| 丝袜熟女一区二区三区| 奇米精品一区二区三区在线观看一 | 国产精品ⅴa有声小说| 51久久夜色精品国产麻豆| 国产一级二级毛片| 中文字幕精品一区二区三区精品 | 亚洲国产中文在线| 日韩免费高清在线观看| а√资源新版在线天堂| 精品亚洲一区二区三区| 99免费在线视频| 91高清在线观看| 免费中文字幕在线观看| 中文字幕免费不卡| 手机在线看片日韩| 国产乱码一区二区三区| 91av俱乐部| 一本久道久久综合婷婷鲸鱼| 一级一片免费播放| 欧美军人男男激情gay| 国产一级精品aaaaa看| 伊人亚洲精品| 国产精品成人v| heyzo高清国产精品| 久久精品欧美视频| 国产福利第一视频在线播放| 精品99一区二区| av中文字幕播放| 精品视频999| 亚洲熟女综合色一区二区三区| 一区二区三区国产精品| 懂色av粉嫩av蜜臀av一区二区三区| 久久新电视剧免费观看| 稀缺小u女呦精品呦| 国产乱色国产精品免费视频| 日韩一级理论片| 久久九九精品| 无码人妻丰满熟妇区96| 亚洲午夜激情在线| 丰满人妻一区二区三区53号| 日本不卡高清| 日本精品一区| 综合干狼人综合首页| 国产一级特黄a大片99| 99re91这里只有精品| 亚洲在线视频福利| 国产精品一区免费在线 | 国产精品久久毛片| 亚洲欧美va天堂人熟伦| 久久精品亚洲麻豆av一区二区| 中国美女乱淫免费看视频| 91网址在线看| 玖玖爱在线观看| 久久久国产综合精品女国产盗摄| 欧美黑人欧美精品刺激| 91在线看国产| 素人fc2av清纯18岁| 久久这里只有精品6| 国产xxxxxxxxx| 91农村精品一区二区在线| 国产精品一区二区入口九绯色| 91网站在线播放| 欧美人妻一区二区三区| 国产日韩欧美综合在线| 青娱乐国产视频| 国产精品久久久久一区二区三区共| 丰满的亚洲女人毛茸茸| 国产精品国产三级国产| 视频国产一区二区| 亚洲激情第一区| 国产精品2020| 黑人巨大精品欧美一区免费视频 | 免费在线观看成人| 自拍偷拍一区二区三区四区| 久久99久久99小草精品免视看| 五月天婷婷影视| 国产精品99精品久久免费| 日韩精品国产一区| 99精品国产99久久久久久白柏| 波多野结衣av在线免费观看| 欧美国产日本韩| 精品欧美一区二区久久久久| 亚洲综合视频在线| av资源免费观看| 欧美中文字幕亚洲一区二区va在线| 中文字幕激情视频| 日韩欧美一二区| 日韩精品系列| 日韩在线观看你懂的| 黄色羞羞视频在线观看| 日本免费久久高清视频| 4438五月综合| 精品欧美一区二区久久久伦| 欧州一区二区| 日本精品福利视频| 国产视频一区三区| 777视频在线| 成人福利视频网站| 欧美 日韩 国产 成人 在线观看 | 日韩中文字幕在线精品| 日韩欧美一起| 国产精品吹潮在线观看| 美国十次综合久久| 欧美高清性xxxxhdvideosex| 亚洲国产不卡| 北条麻妃在线一区| 国产91丝袜在线观看| 国产成人一区二区在线观看| 亚洲香肠在线观看| 亚洲在线视频播放| 日韩av一卡二卡| 国产素人视频在线观看| 欧美一区二区三区免费视| 电影中文字幕一区二区| 另类小说综合网| 欧美日本一区二区视频在线观看 | 青青视频免费在线| 日韩电影在线一区| 欧美日韩一区二区三区四区五区六区| 国产欧美日韩一区二区三区在线观看| 久久久久久久久久久久国产| 欧洲精品一区二区三区在线观看| 欧美一级在线免费观看| 久久夜精品va视频免费观看| 三上悠亚亚洲一区| 国产主播一区二区三区四区| 99久久九九| 无需播放器的av| 国产日本亚洲高清| 日韩 欧美 中文| 亚洲国产高潮在线观看| 大片免费在线看视频| 国产精品偷伦视频免费观看国产| 秋霞影院一区二区三区| 妞干网视频在线观看| 精彩视频一区二区| 成人黄色免费网址| 欧美性生交xxxxxdddd| 日韩一级免费毛片| 色综合久久88色综合天天看泰| 午夜不卡一区| 伊人av成人| 免费高清不卡av| 精品人妻一区二区三区蜜桃视频| 黑人精品xxx一区| 婷婷五月综合激情| 久久久免费观看视频| 亚洲高清999| 400部精品国偷自产在线观看| 久久精品国产精品亚洲精品| 一级特黄曰皮片视频| 欧洲精品中文字幕| aiai在线| 国产日本欧美一区二区三区| 凹凸成人精品亚洲精品密奴| 国产又粗又长又大的视频| 国产日韩欧美a| 一区精品在线观看| 色妞色视频一区二区三区四区| 国产成人午夜性a一级毛片| 香蕉久久夜色| 久久国产综合精品| 手机av在线看| 日韩一级高清毛片| 成全电影大全在线观看| 精品国产福利| 久久久成人网| 国产第一页精品| 欧美一三区三区四区免费在线看| 国产91在线视频蝌蚪| 国产精品三区www17con| 亚洲激情网站| 亚洲第一香蕉网| 欧美精品1区2区3区| 中文字幕在线观看播放| 粉嫩av一区二区三区免费观看| 亚洲大胆视频| 国产 欧美 在线| 欧美日韩一区在线| 免费高清在线观看| 国产v亚洲v天堂无码| 亚洲综合日韩| 欧美88888| 亚洲精品一区二区精华| 亚洲妇女成熟| 中文字幕欧美日韩一区二区三区| 国产传媒欧美日韩成人| 亚欧视频在线观看| 在线免费看av不卡| 日韩免费一级| 青青在线视频观看| 综合精品久久久| 天天操天天射天天| 国产精品老女人精品视频| 欧美福利视频| 亚洲人人夜夜澡人人爽| 91精品国产综合久久精品| 多野结衣av一区| 亚洲自拍偷拍二区| www.99精品| 亚洲怡红院av| 欧美与欧洲交xxxx免费观看| 99久久久久久中文字幕一区| 一区二区免费在线观看视频| 欧美日韩精品电影| 美女av在线免费看| 欧美h视频在线观看| 91麻豆国产香蕉久久精品| 国产丝袜在线视频| 欧美一区二区三区图| 欧美成人日本| 极品蜜桃臀肥臀-x88av| 日韩经典中文字幕在线观看| 91精品一久久香蕉国产线看观看|