麻豆视频国产_男人天堂电影_午夜影院在线_一级黄色毛片_精品无码久久久久久国产_国产高清自拍

RAFT:讓大型語言模型更擅長特定領域的 RAG 任務(raft詳解)

RAFT(檢索增強的微調)代表了一種全新的訓練大語言模型(LLMs)以提升其在檢索增強生成(RAG)任務上表現的方法。“檢索增強的微調”技術融合了檢索增強生成和微調的優點,目標是更好地適應各個特定領域。該技術由微軟的主要AI倡導者 Cedric Vidal 和 Meta 的 AI 倡導者 Suraj Subramanian 共同提出。

一、前言

生成式 AI 對企業最具影響力的應用之一是創建能夠訪問已有知識庫的自然語言接口,換句話說,它能夠針對銀行、法律和醫學等特定領域提供問題解答。目前主要有兩種方法可以實現這一點:

  1. 特定領域微調 (DSF):在代表特定領域知識的文檔集上訓練現有的基礎模型。
  2. 檢索增強生成 (RAG):將文檔存儲在矢量數據庫中,并在查詢時根據與問題的語義相似性檢索相關文檔,并將其納入大型語言模型的上下文進行情境學習。

本文將探討這兩種方法的局限性,并介紹加州大學伯克利分校研究人員 Tianjun Zhang 和 Shishir G. Patil 提出的 RAFT 方法如何克服這些局限性。該團隊以 Gorilla 大型語言模型而聞名,他們在 RAFT 論文中介紹了這種新方法,并展示了如何使用 Meta Llama 2Azure AI Studio 進行研究和實施。

伯克利團隊還發表了一篇博客文章,解釋了 RAFT 方法的優缺點以及如何產生更有效的結果。RAFT 論文的代碼實現可在他們的 Github 代碼庫中找到。

接下來,我們將介紹 RAFT 方法的工作原理。

二、理解 RAFT 方法

RAFT 是一種將預訓練的大型語言模型微調到特定領域 RAG 設置的通用方法。在特定領域 RAG 中,模型需要根據特定領域的一組文檔回答問題,例如企業中的私有文件。這與通用 RAG 不同,因為通用 RAG 中的模型并不知道它將在哪個領域進行測試。

為了更好地理解特定領域 RAG,我們可以將其與考試類比。

  • 閉卷考試:類比于大型語言模型無法訪問任何外部信息來回答問題的情況,例如聊天機器人。在這種情況下,模型只能依靠預訓練和微調期間學習到的知識來響應用戶的提示。
  • 開卷考試:類比于大型語言模型可以參考外部信息來源(例如網站或書籍)的情況。在這種情況下,模型通常會與檢索器配對,檢索器會檢索相關文檔并將其附加到用戶的提示中。模型只能通過這些檢索到的文檔獲取新知識。因此,模型在開卷考試設置中的性能很大程度上取決于檢索器的質量以及檢索器識別相關信息的能力。

傳統的 RAG 在收到查詢時,會從索引中檢索一些可能包含答案的文檔,并將其作為上下文來生成答案。這就像學生參加開卷考試,可以翻閱教科書尋找答案。相比之下,微調就像閉卷考試,學生只能依靠記憶來回答問題。顯然,開卷考試更容易,這也解釋了 RAG 的有效性和流行性。

然而,這兩種方法都存在局限。微調的模型只能依賴于它所訓練的知識,有時可能會出現近似或幻想的問題。RAG 雖然基于文檔,但檢索到的文檔可能只是與查詢語義接近,并不一定包含正確答案。這些干擾性文檔可能會誤導模型,導致生成錯誤的答案。

為了克服 RAG 的這些缺陷,TianjunShishir 提出了一種新的方法:RAFT。他們認為,如果學生在開卷考試前預先學習教科書,就能取得更好的成績。同樣,如果大型語言模型能夠事先“學習”文檔,就能提高 RAG 的性能。他們提出的檢索增強型微調(Retrieval-Augmented Fine Tuning)方法,就是試圖讓模型在使用 RAG 之前先對特定領域進行學習和適應。

RAFT 專注于一種比通用開卷考試更窄但越來越受歡迎的領域,稱為特定領域開卷考試。在這種情況下,我們事先知道模型將要測試的領域,例如企業文檔、最新新聞或代碼庫等。模型可以使用它所微調的特定領域中的所有信息來回答問題。

RAFT:讓大型語言模型更擅長特定領域的 RAG 任務(raft詳解)

RAFT 使用 Meta Llama 2 7B 語言模型,首先準備一個合成數據集,其中每個樣本包含:

  • 一個問題
  • 一組參考文檔(包括相關文檔和干擾性文檔)
  • 從文檔中生成的答案
  • 使用思維鏈解釋,包含來自相關文檔的摘錄(由如 GPT-4 或 Llama 2 70B 這樣的通用大語言模型生成)

該數據集用于微調 Llama 2 7B 模型,使其更好地適應特定領域,并學會從檢索到的上下文中提取有用的信息。思維鏈解釋可以防止過擬合,提高訓練的魯棒性。

RAFT 介于 RAG 和特定領域微調之間,它既能使大型語言模型學習領域知識和風格,又能提高答案生成的質量。對于像 Llama 2 這樣在多個領域訓練的預訓練模型,RAFT 可以使其更適合醫療保健或法律等專業領域。

三、RAFT 模型評估

為了評估 RAFT 模型的性能,伯克利團隊使用了來自不同領域的數據集,包括維基百科、編碼/API 文檔和醫學問答:

  • 自然問題 (NQ)、Trivia QA 和 Hotpot QA:基于維基百科的開放域問題,主要集中在常識。
  • HuggingFace、Torch Hub 和 TensorFlow Hub:來自 Gorilla 論文中提出的 APIBench,主要關注如何根據文檔生成正確的 API 調用。
  • PubMed QA:專門針對生物醫學研究問答的數據集,主要側重于根據給定文檔回答醫學和生物學問題。

研究人員還比較了以下基線模型:

  • 使用零樣本提示的 LlaMA2-7B-chat 模型:這是問答任務中常用的指令微調模型,提供清晰的指令,但不提供參考文檔。
  • 使用 RAG 的 LlaMA2-7B-chat 模型 (Llama2 RAG):與前者類似,但添加了參考上下文,是處理特定領域問答任務時最常用的組合。
  • 使用零樣本提示的特定領域微調 (DSF):在沒有參考文檔的情況下進行標準指令微調。
  • 使用 RAG 的特定領域微調 (DSF RAG):為特定領域微調模型配備外部知識,使其能夠參考上下文來回答未知問題。

下表展示了 RAFT 在醫學 (PubMed)、常識 (HotPotQA) 和 API (Gorilla) 基準測試上的結果。

RAFT:讓大型語言模型更擅長特定領域的 RAG 任務(raft詳解)

四、Azure AI Studio 微調

伯克利團隊使用 Azure AI Studio 中的模型即服務 (MaaS) 對 Meta Llama 2 進行了微調,用于他們的 RAFT 論文。微軟學習平臺也提供了相關教程,解釋如何在 Azure AI Studio 中微調 Llama 2 模型。

過去,微調通常需要機器學習工程師具備豐富的專業知識,包括生成式 AI、Python、機器學習框架、GPU 和云基礎設施等。Azure AI Studio 的出現改變了這一現狀,它自動化了所有技術細節和基礎設施設置,讓用戶可以專注于數據準備。

以下是訓練 RAFT 模型的簡短教程,包括數據集準備、模型微調和模型部署。

4.1、數據集準備

我們提供一個示例來準備 RAFT 的數據集。數據集包含問題、上下文和答案。上下文是一組文檔,答案是使用思維鏈風格從其中一個文檔生成的,并借助 GPT-4 進行輔助。

Question: The Oberoi family is part of a hotel company that has a head office in what city?context: [The Oberoi family is an Indian family that is famous for its involvement in hotels, namely through The Oberoi Group]...[It is located in city center of Jakarta, near Mega Kuningan, adjacent to the sister JW Marriott Hotel. It is operated by The Ritz-Carlton Hotel Company. The complex has two towers that comprises a hotel and the Airlangga Apartment respectively]...[The Oberoi Group is a hotel company with its head office in Delhi.]CoT Answer: ##Reason: The document ##begin_quote## The Oberoi family is an Indian family that is famous for its involvement in hotels, namely through The Oberoi Group. ##end_quote## establishes that the Oberoi family is involved in the Oberoi group, and the document ##begin_quote## The Oberoi Group is a hotel company with its head office in Delhi. ##end_quote## establishes the head office of The Oberoi Group. Therefore, the Oberoi family is part of a hotel company whose head office is in Delhi. ##Answer: Delhi

4.2、模型微調

我們將訓練模型根據問題和提供的上下文輸出思維鏈答案?;A模型 Llama2-7B 適用于 RAG 任務,因為它具備推理、理解語言、低延遲推理和易于適應不同環境的能力。用戶只需打開 AI Studio 的微調向導

RAFT:讓大型語言模型更擅長特定領域的 RAG 任務(raft詳解)

選擇要微調的模型

RAFT:讓大型語言模型更擅長特定領域的 RAG 任務(raft詳解)

選擇上傳數據選項并上傳您的訓練數據集,它必須是 JSONL 格式

RAFT:讓大型語言模型更擅長特定領域的 RAG 任務(raft詳解)

并指定提示和完成所在的列

RAFT:讓大型語言模型更擅長特定領域的 RAG 任務(raft詳解)

最后設置批量大小乘數、學習率和訓練輪數即可。

RAFT:讓大型語言模型更擅長特定領域的 RAG 任務(raft詳解)

對于這些參數,Tianjun 和 Shishir 建議:

  • 對于微調,使用乘數 1,學習率 0.00002 和訓練輪數 1。

4.3、模型部署

訓練模型后,您可以將其部署在您自己的 GPUCPU 上,也可以將其部署在微軟 AI Studio 上。

RAFT:讓大型語言模型更擅長特定領域的 RAG 任務(raft詳解)

AI Studio 極大地降低了大型語言模型微調的門檻,讓開發人員和企業可以更輕松地調整模型以適應特定領域的任務。這將推動定制模型在不同企業中的應用,促進生成式 AI 和大型語言模型的普及。

五、RAFT 團隊答疑

Cedric 和 Suraj 就 RAFT 的相關問題采訪了 Tianjun 和 Shishir。

問:為什么選擇 Llama 2 7B?

答:因為我們專注于 RAG 任務,這類任務需要模型具備推理、理解語言、低延遲推理和易于適應不同環境的能力。Llama 2 7B 恰好滿足這些要求,它是許多常識性問答任務的良好基礎模型,具有優秀的數學能力,并且能夠解析較長的文檔。同時,它也適合在 4 個 A100-40G GPU 上訓練并在單個 GPU 上部署。綜合考慮性能、易部署性和許可證等因素,Llama 2 模型非常適合 RAFT 任務。我們也希望借助微軟 AI Studio 探索 Llama 2 13b 或 70b 的潛力。

問:對于嘗試微調 Llama 的人,您有什么建議?

答:微調 Llama 是一項復雜的任務,涉及數據收集、數據清理和實際微調。我們建議收集與目標領域相關的多樣化問題,并構建思維鏈答案。存儲中間檢查點可以幫助提前停止訓練。此外,微調的學習率應該比預訓練的學習率低至少一個數量級。其他最佳實踐包括使用 16 位精度、訓練不超過 3 個 epoch,以及使用大批量大小。

問:微調應該應用于每個領域嗎?

答:微調模型的知識學習依賴于特定領域,但其行為在一定程度上可以泛化到其他領域。這涉及到準確性和泛化性之間的權衡。通常,針對特定領域進行微調是比較好的做法,但如果企業文檔集有限,針對這些文檔進行微調可能會獲得更好的性能,因為知識范圍更集中。

問:您對 Azure AI Studio 微調系統有何看法?

答:Azure AI 微調系統非常用戶友好,從訓練數據上傳到超參數選擇,再到部署訓練好的模型,一切都非常簡單易用。

問:AI Studio 微調有什么優勢?

答:最大的優勢是用戶無需擔心 GPU、訓練平臺和模型部署等問題,只需一鍵操作即可完成,而且性能出色!

問:您認為 AI Studio 微調可以改進什么?

答:作為研究人員,我們希望開發者能夠提供更多關于系統內部微調配方的細節,例如它是使用低秩近似微調還是全參數微調,使用了多少個 GPU,以及 LoRA 的超參數設置等等。

問:您認為 AI Studio 微調會給行業帶來什么變化?

答:它可以使企業輕松進行大型語言模型的微調和部署,極大地促進定制模型在不同企業中的應用。

六、結論

Llama 和 Azure 通過提供易于使用的平臺,使開發人員和企業能夠創建針對特定需求和挑戰的創新解決方案,推動了特定領域 AI 開發的新范式。這將使更多人受益于生成式 AI 和大型語言模型的最新進展,構建更加多樣化和包容的 AI 生態系統。(注: AI Studio 微調目前在美國西部 3 可用

七、References

[1]. Tianjun Zhang, Shishir G. Patil, Naman Jain, Sheng Shen, Matei Zaharia, Ion Stoica, Joseph E. Gonzalez, R. (2024). RAFT: Adapting Language Model to Domain Specific RAG: https://arxiv.org/pdf/2401.08406.pdf

[2]. Gorilla LLM https://github.com/ShishirPatil/gorilla

[3]. Meta Llama 2 https://llama.meta.com/

[4]. Azure AI Studio https://ai.azure.com/

[5]. RAFT Github Repo: https://github.com/ShishirPatil/gorilla/tree/main/raft

[6]. Fine-tune a Llama 2 model in Azure AI Studio: https://learn.microsoft.com/en-us/azure/ai-studio/how-to/fine-tune-model-llama

[7]. MS Learn https://learn.microsoft.com/

[8]. RAFT: Adapting Language Model to Domain Specific RAG: https://gorilla.cs.berkeley.edu/blogs/9_raft.html

相關新聞

聯系我們
聯系我們
公眾號
公眾號
在線咨詢
分享本頁
返回頂部
主站蜘蛛池模板: 久久久成人网 | 我爱操 | 日韩人体在线 | 日韩手机电影 | 成人免费大片黄在线播放 | 黄网免费看 | 免费色在线 | 国产精品免费一区二区三区四区 | 日韩中文字幕免费在线播放 | 一区二区三区 在线 | 嫩呦国产一区二区三区av | 成人在线免费 | 久久生活片| 国产精品成人网 | 日韩综合网| 人人草视频在线观看 | 久久精品一区二区三区四区毛片 | 婷婷伊人 | 91色爱 | 在线观看国产一区 | 天天做天天看 | 久久精品这里热有精品 | 欧美精品一区二区三区手机在线 | 懂色一区二区三区免费观看 | 久在线视频播放免费视频 | 久久久久国产精品 | 国产精品无码永久免费888 | 在线一级视频 | 黄色短视频在线观看 | 欧美日韩视频在线播放 | 九九av| 欧美三级电影在线观看 | 精品久久av | 老妇激情毛片免费 | 亚洲国产精久久久久久久 | 亚洲精品视频在线播放 | 在线观看国产wwwa级羞羞视频 | 另类免费视频 | 一区二区三区免费在线观看 | 嫩草影院在线观看91麻豆 | 久久亚洲精品中文字幕 | 欧美八区| 天堂√在线观看一区二区 | 男女免费在线观看 | 97碰碰碰免费公开在线视频 | 欧美视频第一页 | 成人激情视频在线观看 | 热久久国产 | 91亚洲国产成人久久精品网站 | 成人精品视频 | 午夜精品一区 | 国外成人在线视频 | 黑人巨大精品欧美黑白配亚洲 | 2019中文字幕在线观看 | 欧洲精品一区二区 | 亚洲午夜成激人情在线影院 | 亚洲成a | 亚洲高清在线视频 | 国产99久久久精品视频 | 国产精品777 | 成人av福利 | 日韩欧美久久 | 国产精品91av| 日韩视频在线观看 | 免费国产一区 | 精品国产乱码久久久久久1区2区 | 中文字幕一区二区不卡 | 一级毛片免费 | 91精品久久久久久久久久 | 一级a毛片 | 91天堂| 国产成人精品在线 | 四虎永久免费影院 | 色婷婷综合久久久久中文一区二区 | 久久的爱 | 国产精品久久av | 色先锋影音 | www.av在线| 日日夜夜免费精品视频 | 亚洲国产成人久久综合一区,久久久国产99 | 97操视频 | 国产成人av一区二区三区 | 欧美亚洲视频 | 国产高清精品在线 | 91伊人 | 午夜亚洲福利 | 久久成人免费视频 | 欧美日韩亚洲一区二区 | 中文字幕av一区二区 | 银杏成人影院在线观看 | 夜本色 | 一级二级在线观看 | 欧美精品在线一区二区三区 | 午夜黄色影院 | 每日更新av | 国产日韩欧美精品一区二区 | 日本成人片网站 | 国产视频中文字幕 | 天天干天天操天天舔 | 欧美日韩国产一区二区三区不卡 | 黄色大片网 | 欧美日韩视频第一页 | 久在线| 久久精品网 | 国产一区av在线 | 山岸逢花在线观看 | 91在线视频播放 | 一级a毛片| 久久精品久久久 | 91在线播放视频 | 中文字幕久久久 | 黄色直接看 | 不卡的av电影| 欧美成人精品一区二区三区 | 久久久国产精品视频 | 国产精品美乳一区二区免费 | 九九九九九九精品任你躁 | 精品国产一区二区三区小蝌蚪 | 日韩成人精品在线 | 欧美高潮| 久久久久久91 | 天天爽夜夜春 | 九九热热九九 | 久久精品国产视频 | 国产女人网 | 国产精品久久久久久久久久 | 国产真实乱全部视频 | 亚洲成人精品在线观看 | 女人高潮特级毛片 | 国产精品高潮呻吟久久av野狼 | 成人看片免费 | 欧美 中文字幕 | 爱色区综合网 | 国产欧美精品区一区二区三区 | 在线国v免费看 | 久久久久久网站 | 精品久久香蕉国产线看观看亚洲 | 日韩在线你懂的 | а√天堂中文在线资源8 | 成人午夜毛片 | 国产午夜精品一区二区三区嫩草 | 久久久久久久国产 | 丁香久久 | 日日夜夜免费精品视频 | 久久精品国产视频 | 国产999精品久久久影片官网 | 日韩欧美在线观看视频 | 精品成人一区 | 国产精品成av人在线视午夜片 | 亚洲国产精品精华液com | 亚洲视频1区| 欧美日韩亚洲视频 | 国产精品久久久久久久久久东京 | 日韩中文字幕在线播放 | 亚洲精品欧美精品 | 国产精品久久久久久久久久大牛 | 成人免费小视频 | 午夜精品久久 | 亚洲一区二区三 | 男女免费在线观看 | 在线看片日韩 | 99爱在线观看 | 久久精品国产99精品国产亚洲性色 | 色综合久久久久 | 精品一区二区三区免费毛片爱 | 欧美日本国产 | 色综合久久一区二区三区 | 久草视频播放 | 97色在线视频 | 免费的av网站 | 国产在线不卡 | 亚洲成a人v欧美综合天堂麻豆 | 久久在线播放 | www国产免费 | 亚洲精品视频一区 | 中文字幕综合在线 | 免费网站国产 | 日韩三及片 | 91精品国产综合久久久久久丝袜 | 中文字幕在线免费 | 一区二区在线看 | 久久精品欧美一区二区三区不卡 | 欧美专区中文字幕 | 91久久久久久久久久久久久久久久 | 日韩欧美一区二区三区久久婷婷 | 亚洲福利在线观看 | 国产主播福利 | 国产精品精品视频 | 欧美视频二区 | 玖玖精品| 久久精品久久久久电影 | 日韩精品视频在线 | 欧美伊人 | 精品国产乱码久久久久久1区2区 | 高清av一区 | 欧美午夜一区二区三区免费大片 | 9久久精品 | 超碰av在线 | 国产精品免费一区二区三区四区 | 超碰免费观看 | 免费观看成人性生生活片 | av中文网| 国内精品三级 | 欧美一区二区激情三区 | 91视频大全 | 久久伦理电影 | 国产精品国产三级国产aⅴ 羞羞的视频在线 | 龙珠z国语版291集全 | 国产激情偷乱视频一区二区三区 | 激情网页| 欧美激情欧美激情在线五月 | 久久精品福利 | 91精品国产色综合久久 | 毛片91| 干干日日| 91夜夜蜜桃臀一区二区三区 | 亚洲福利av | 欧美精品一二三区 | 成人免费crm一区二区 | 亚洲在线视频 | 91亚洲国产成人久久精品网站 | 亚洲视频在线免费观看 | 精品久久久久久久 | 日本中文字幕电影 | 91精品视频一区 | 精品成人在线 | 色播久久久 | 黄色91在线 | 国产 欧美 日韩 一区 | 国产精品伦理 | 日日爱夜夜操 | 99精品99| 国产日韩欧美综合 | 99免费在线播放99久久免费 | 亚洲成人激情在线观看 | 97久久精品午夜一区二区 | 国产精品色一区二区三区 | 欧美日韩国产精品 | 91视视频在线观看入口直接观看 | 日韩中文字幕在线免费观看 | 国产高清免费视频 | 91精品国产欧美一区二区 | 一区二区三区在线视频播放 | 暖暖日本在线视频 | 国产美女av | 成人久久久精品乱码一区二区三区 | 男人天堂亚洲天堂 | 国产成人一区 | 91九色视频国产 | 永久精品 | 午夜精品久久久久 | 国产成人精品免费视频大全 | 一区二区三区在线播放 | 中文欧美日韩 | 色综合成人 | 99国产精品久久久久老师 | 国产精品国产精品国产专区不片 | 国产精品第一国产精品 | 狠狠综合久久av一区二区小说 | 毛片免费观看 | 欧美日韩一区二区三区在线电影 | 精品久久久久久国产 | 亚洲国产一区二区三区, | 在线观看国产一区 | 玖草资源| 亚洲综合色自拍一区 | 中文久久 | 午夜免费影院 | 91精品国产91久久久久久 | 色婷婷国产精品免费网站 | 亚洲精品在线播放视频 | 亚洲视频在线观看 | 亚洲精品一区二区在线观看 | 成年人视频在线观看免费 | 中国特级黄色片 | 伊人久久综合 | 久久99这里只有精品 | 亚洲一区 中文字幕 | 久久美女 | heyzo 在线| 亚洲网站在线观看 | 亚洲综合色网 | 久久这里只有精品首页 | 日韩精品专区在线影院重磅 | 国产精品福利久久 | 久久国产精品免费一区二区三区 | 国产1区2区3区 | 亚洲欧美高清 | 欧美第一网站 | 久久精品黄 | 久久精品久久久 | 91天堂| 午夜午夜精品一区二区三区文 | 国产精品美女久久久久aⅴ国产馆 | 波多野结衣精品 | 草草视频在线播放 | 黄色日本视频 | 狠狠躁日日躁夜夜躁东南亚 | 一区不卡 | 日韩成人一区二区 | 91色视频在线观看 | 精品视频一区二区三区 | 91精品入口蜜桃 | 夜夜骑天天干 | 四虎永久免费在线 | 日韩国产一区 | 一级做a毛片 | 区一区二区三在线观看 | 天天干夜夜骑 | 日韩精品一区二区三区在线 | 国产在线观看一区二区 | 午夜久久久久 | 久久综合久久久 | 中文字幕一区二区三区四区 | 精品国产乱码久久久久久1区2区 | 精品毛片 | 久久毛片 | 国产一区二区免费 | 欧日韩免费视频 | 久久精品国产一区二区三区不卡 | 欧美 日韩 在线播放 | 日韩在线观看中文字幕 | 在线视频亚洲 | 91久久精品日日躁夜夜躁欧美 | 久久九九精品久久 | www.you日本| 日韩草比 | 亚洲欧美激情精品一区二区 | 日韩在线不卡 | 欧美黄 片免费观看 | 国产96在线观看 | 日本一区二区成人 | 狠狠狠色丁香婷婷综合久久五月 | 亚洲精品美女在线观看 | 激情久久av一区av二区av三区 | av福利网站 | www.久久.com | 亚洲日韩中文字幕一区 | 亚洲视频1区 | 成人福利在线 | 91视频免费在线 | 日本久久久久 | 毛片入口 | 国产精品久久综合 | 伊人免费在线观看高清版 | 九一视频在线播放 | 久久九 | 欧美与黑人午夜性猛交久久久 | 国产一区二区自拍视频 | 久久国产精品一区二区 | 亚洲国产精品久久久久秋霞蜜臀 | 香蕉视频在线看 | 日韩在线中文字幕 | 成人a网 | 亚洲狠狠爱一区二区三区 | 国产精品久久久久久久一区探花 | 青娱乐国产精品视频 | 午夜精品久久久久久久久久久久久 | 无码少妇一区二区三区 | 亚洲97视频 | 久一在线| 在线观看精品自拍私拍 | 国产成人一区二区三区 | 成人免费在线观看视频 | 欧美国产高清 | 天天影视综合 | 久久一区二区三区四区 | 看毛片软件| 日韩免费网站 | 国产精品1区 | 久久精品色欧美aⅴ一区二区 | 热久久这里只有精品 | 日本久久99| 国产伦精品一区二区三毛 | 亚洲精品免费在线观看 | 亚洲www啪成人一区二区 | 国产日韩一区二区三区 | 人人插| 欧美亚洲国产一区 | 日韩欧美在线视频 | 日本一区二区不卡 | 日比视频网站 | 91欧美| 毛片黄片 | 青青草国产 | 黄网免费看 | 久久久国产一区二区三区四区小说 | 欧美日韩在线免费 | 亚洲欧美日韩在线一区 | 午夜剧院官方 | 国产精品美女视频免费观看软件 | 在线观看视频一区二区 | 午夜私人影院在线观看 | 国产一区二区三区久久 | 欧美日韩精品一区二区 | 国产精品夜色一区二区三区 | k8久久久一区二区三区 | 欧美日韩一二区 | 99精品欧美一区二区三区综合在线 | 国产一区二区三区在线免费观看 | 精品一区二区三区三区 | 久久涩| 日韩精品一区二区三区在线 | 1区2区免费视频 | 中文av一区| 日韩午夜影院 | 亚洲精品在线免费 | 久久精品 | 日本精品视频网站 | 欧美精品国产精品 | 久草精品视频在线播放 | 四虎影院在线免费播放 | 免费国产黄网站在线观看视频 | 黄色毛片免费看 | 自拍亚洲 | 亚洲高清视频在线 | 97视频在线 | 国内精品一区二区 | 欧美色阁 | 成人在线一区二区 | 国产一区二区三区在线 | 91在线视频免费观看 | 九九在线视频 | 国产中文字幕在线 | 亚洲欧美一区二区三区在线 | 亚洲国产精品成人综合色在线婷婷 | 中文字幕一区二区三区乱码图片 | 久久精品久久久久久 | 999在线观看精品免费不卡网站 | 91成人小视频 | 99伊人| 欧美一区二区在线播放 | 日本一区二区高清不卡 | 91天堂| 黄色片在线免费观看 | 中文字幕亚洲字幕一区二区 | 国产欧美一区二区三区在线看 | 国产精品一二三区 | 欧美在线视频三区 | 亚洲精品三级 | 中文字幕免费观看 | 免费日韩视频 | 日韩高清国产一区在线 | 久草视频在线播放 | 香蕉久久久久久 | 日韩精品视频在线观看一区二区 | av中文字幕网 | 91精品国产自产精品男人的天堂 | 国产美女久久久 | 爱爱爱av | 国产亚洲一区二区精品 | 天天射天天 | 波多野结衣一区二区三区高清 | 久久久久久黄 | 国产精品一二三区 | 国产精品不卡一区 | 一区二区不卡视频在线观看 | 五月婷婷丁香婷婷 | 亚洲美女在线视频 | 久久99精品国产91久久来源 | 日韩手机专区 | 成人在线免费视频观看 | 欧美最猛性xxxxx亚洲精品 | 国产在线网| 亚洲国产成人av好男人在线观看 | 久草热8精品视频在线观看 欧美全黄 | 欧美日韩福利视频 | 亚洲精品久久久 | 一级免费毛片 | 成人高清视频在线 | 色吊丝2288sds中文字幕 | av在线成人 | 超碰精品在线观看 | 国产成人久久精品一区二区三区 | 红色av社区 | 成人久久久久 | 久久视频在线看 | 999国产在线视频 | 日韩欧美一区二区三区视频 | 日韩中文视频 | 中国妞videos高潮 | 成人高清视频在线观看 | 日日操综合 | 91精品一区二区 | 午夜tv免费观看 | 久久这里只有精品免费 | 国产精品久久久久久久 | 欧美精品一区二区三区在线 | 日韩看片 | 91久久久久久久久久久久久 | 日本一区二区三区免费观看 | 成人在线网址 | 国产老头老太作爱视频 | 中文字幕天堂在线 | 久草高清 | 久久久久久九九九九九九 | 日韩午夜免费 | 成av在线| 欧美日韩免费一区二区三区 | 精品福利在线视频 | 亚洲女人天堂av | 二区三区 | 亚洲国产成人91精品 | 亚洲精品电影在线观看 | 亚洲h| 九色91九色porny永久 | 精品一区二区三区四区五区 | 99精品欧美一区二区三区综合在线 | 久久一视频 | 天堂国产 | 手机看片国产精品 | 色偷偷888欧美精品久久久 | 武道仙尊动漫在线观看 | 国产精品久久久久久久久久东京 | 精品久久久久久久久久久久久久 | 亚洲怡红院在线观看 | 一区二区在线免费观看 | 免费观看电视在线高清视频 | 自拍偷拍亚洲欧洲 | 日韩国产在线看 | 久久久久久九九九九九九 | 一级在线观看视频 | 啪啪的网站| 国产精品国产a级 | 亚洲一区二区三区四区 | 欧美日韩国产一区二区三区在线观看 | 国产免费黄色 | 国产超碰人人爽人人做人人爱 | 国产精品69毛片高清亚洲 | 久久久毛片 | 天堂网av2020 | 免费观看电视在线高清视频 | 国产精品久久久久久婷婷天堂 | 一区二区三区在线不卡 | 99国产精品99久久久久久 | 黄色网址av | 中文字幕日韩一区 | 特级淫片裸体免费看 | 亚洲一区日韩 | 久久久久久久精 | 国产99久久精品 | 99精品国产高清一区二区麻豆 | 日本黄色大片免费看 | 成人精品鲁一区一区二区 | 亚洲 精品 综合 精品 自拍 | 日韩中文字幕在线播放 | 国产高清在线精品一区二区三区 | 国产伦精品一区二区三区四区视频 | 国产成人精品高清久久 | 欧美日韩亚洲国内综合网 | 99re6热在线精品视频播放 | 亚洲国内精品 | 日韩在线视频一区 | 免费av在线网| 久久久精品一区 | 国产a视频 | 日韩欧美在线视频播放 | 男女视频免费 | 正在播放国产一区 | 国产毛片毛片 | 欧美一性一交 | 久久久久久网址 | 7777久久| 欧美淫视频 | 国产精久久一区二区三区 | 黄色的视频免费 | 很黄很污的网站 | 国产精品中文字幕在线 | 日本a在线| 成人在线免费视频观看 | 综合在线视频 | 日韩在线免费观看网站 | 成人精品久久 | 久久久人成影片一区二区三区 | 欧美一级三级 | 精品国产18久久久久久二百 | 草比网站 | 国产欧美日韩精品一区 | 国产综合久久 | 国产一区二区三区久久 | 九九99 | 日韩久久午夜一级啪啪 | 亚洲成人精品视频 | 电影91久久久 | 日操| 成人一区二区三区四区 | 91久久久久 | 一区二区三区视频免费 | 国产一级片在线播放 | 欧洲精品 | 国产在线观看免费av | 欧美黄色a视频 | 天天爽天天操 | 久久久久久久久国产精品 | 日韩靠逼 | 91精品国产色综合久久不卡98口 | 久草视频在线播放 | 久草视频在线播放 | 欧美性影院 | 成人精品一区二区三区 | 激情久久久久 | 91精品国产乱码久久久久久久久 | 一级毛片一级毛片一级毛片 | 夜夜爽99久久国产综合精品女不卡 | 在线播放亚洲 | 日韩欧美一级在线 | 99精品久久 | 玖草资源| 久福利 | 夜添久久精品亚洲国产精品 | 欧美a√ | 久久久久国产一区 | 成人黄色电影在线观看 | 久久视频在线看 | 国产精品久久久久久婷婷天堂 |