100+個(gè)自然語言處理數(shù)據(jù)集大放送，再不愁找不到數(shù)據(jù)！

作者：文摘菌 2018-05-10 08:20:23

大數(shù)據(jù) 自然語言處理

奉上100多個(gè)按字母順序排列的開源自然語言處理文本數(shù)據(jù)集列表（原始未結(jié)構(gòu)化的文本數(shù)據(jù)），快去按圖索驥下載數(shù)據(jù)自己研究吧！

[[228774]]

大數(shù)據(jù)文摘作品

編譯：晚君、VVN、張禮俊、云舟

奉上100多個(gè)按字母順序排列的開源自然語言處理文本數(shù)據(jù)集列表(原始未結(jié)構(gòu)化的文本數(shù)據(jù))，快去按圖索驥下載數(shù)據(jù)自己研究吧!

數(shù)據(jù)集

1. Apache軟件基金會(huì)公開郵件檔案：截止到2011年7月11日全部公開可用的Apache軟件基金會(huì)郵件檔案。(200 GB)

http://aws.amazon.com/de/datasets/apache-software-foundation-public-mail-archives/

2. 博主原創(chuàng)語料庫：包含2004年8月從blogger.com網(wǎng)站收集的19,320位博主的帖子。681,288個(gè)帖子以及140多萬字。(298 MB)

http://u.cs.biu.ac.il/~koppel/BlogCorpus.htm

3. 亞馬遜美食評(píng)論[Kaggle]：包含亞馬遜用戶在2012年10月前留下的568,454條食評(píng)。(240MB)

https://www.kaggle.com/snap/amazon-fine-food-reviews

4. 亞馬遜評(píng)論：斯坦福收集了3500萬條亞馬遜評(píng)論。(11GB)

https://snap.stanford.edu/data/web-Amazon.html

5. ArXiv上：所有收錄論文全文(270GB)+源文件(190GB)

http://arxiv.org/help/bulk_data_s3

6. ASAP自動(dòng)作文評(píng)分[Kaggle]：在本次比賽中，有8個(gè)作文集。每個(gè)作文都由一個(gè)單獨(dú)提示所得回答所生成。所選作文長(zhǎng)度為150到550個(gè)字不等。部分作文依賴于源信息，而另其他則不是。所有論文都是由7年級(jí)到10年級(jí)的學(xué)生所寫。所有的作文都由人工打分，并采用雙評(píng)分制。(100MB)

https://www.kaggle.com/c/asap-aes/data

7. ASAP簡(jiǎn)答題評(píng)分[Kaggle]：每個(gè)數(shù)據(jù)集都是由單個(gè)提示所得回答生成的。所選回答的平均長(zhǎng)度為50個(gè)字。某些回答依賴于源信息，而其他則不是。所有回答由10年級(jí)學(xué)生所寫。所有回答均為人工打分，并采用雙評(píng)分制。(35MB)

https://www.kaggle.com/c/asap-sas/data

8. 政治社交媒體分類：按內(nèi)容分類來自政客的社交媒體消息。(4MB)

https://www.crowdflower.com/data-for-everyone/

9. CLiPS文體學(xué)研究(CSI)語料庫：每年擴(kuò)展兩種類型的學(xué)生寫作：文章和綜述。這個(gè)語料庫的目的主要在于文體學(xué)研究，當(dāng)然也可用于其他研究。(數(shù)據(jù)集需要申請(qǐng)獲得)

http://www.clips.uantwerpen.be/datasets/csi-corpus

10. ClueWeb09 FACC：帶有Freebase注釋的ClueWeb09(72GB)

http://lemurproject.org/clueweb09/FACC1/

11. ClueWeb11 FACC：帶有Freebase注釋的ClueWeb11(92GB)

http://lemurproject.org/clueweb12/FACC1/

12. 常見爬蟲語料庫：由超過50億個(gè)網(wǎng)頁(541TB)爬蟲數(shù)據(jù)構(gòu)成。

http://aws.amazon.com/de/datasets/common-crawl-corpus/

13. 康奈爾電影對(duì)話語料庫(Cornell Movie Dialog Corpus)：包含大量豐富的元數(shù)據(jù)，從原始電影劇本中提取的對(duì)話集合：617部電影，10,292對(duì)電影人物之間的220,579次會(huì)話交流。(9.5MB)

http://www.cs.cornell.edu/~cristian/Cornell_Movie-Dialogs_Corpus.html

14. 企業(yè)信息：分類企業(yè)在社交媒體上到底談?wù)摿耸裁吹墓ぷ鳌Ｒ笾驹刚邔⑵髽I(yè)陳述分類為信息(關(guān)于公司或其活動(dòng)的客觀陳述)，對(duì)話(回復(fù)用戶等)或行動(dòng)(要求投票或要求用戶點(diǎn)擊鏈接等的信息)。(600KB)

http://aws.amazon.com/de/datasets/common-crawl-corpus/

15. Crosswikis：關(guān)聯(lián)英語短語與維基百科文章的數(shù)據(jù)庫。(11GB)

http://nlp.stanford.edu/data/crosswikis-data.tar.bz2/

16. 一個(gè)網(wǎng)絡(luò)社區(qū)關(guān)于從維基百科中提取結(jié)構(gòu)化信息并使得此信息在網(wǎng)絡(luò)上可用的共同成果。(17GB)

http://aws.amazon.com/de/datasets/dbpedia-3-5-1/?tag=datasets%23keywords%23encyclopedic

17. Death Row：自1984年以來處決的每個(gè)犯人的遺言。(HTML表格)

http://www.tdcj.state.tx.us/death_row/dr_executed_offenders.html

18. Del.icio.us：delicious.com上的125萬個(gè)書簽。

http://arvindn.livejournal.com/116137.html

19. 社交媒體上的災(zāi)難推文：1萬條推文，注釋了是否涉及災(zāi)難事件。(2MB)

https://www.crowdflower.com/data-for-everyone/

20. 經(jīng)濟(jì)新聞相關(guān)文章：確定新聞文章與美國經(jīng)濟(jì)是否相關(guān)，如果相關(guān)，文章的基調(diào)是什么。時(shí)間范圍從1951年到2014年。(12MB)

https://www.crowdflower.com/data-for-everyone/

21. 安然公司電子郵件數(shù)據(jù)：包含1,227,255封電子郵件，其中493,384個(gè)附件覆蓋151位管理者。(210GB)

http://aws.amazon.com/de/datasets/enron-email-data/

22. 事件注冊(cè)：免費(fèi)工具，可以實(shí)時(shí)訪問全球100,000個(gè)媒體的新聞文章。有API接口。(查詢工具)

http://eventregistry.org/

23. Examiner.com—用新聞?lì)^條釣魚的垃圾郵件[Kaggle]：現(xiàn)已停用的釣魚網(wǎng)站The Examiner從2010年到2015年發(fā)布的3百萬眾包新聞?lì)^條。(200MB)

https://www.kaggle.com/therohk/examine-the-examiner

24. 聯(lián)邦采購數(shù)據(jù)中心的聯(lián)邦合同(USASpending.gov)：來自USASpending.gov的聯(lián)邦采購數(shù)據(jù)中心所有聯(lián)邦合同的數(shù)據(jù)庫。(180GB)

http://aws.amazon.com/de/datasets/federal-contracts-from-the-federal-procurement-data-center-usaspending-gov/

25. Flickr個(gè)人分類法：個(gè)人標(biāo)簽的樹結(jié)構(gòu)數(shù)據(jù)集。(40MB)

http://www.isi.edu/~lerman/downloads/flickr/flickr_taxonomies.html

26. Freebase數(shù)據(jù)庫：Freebase中所有當(dāng)前事實(shí)和推斷的數(shù)據(jù)庫(26GB)

http://aws.amazon.com/de/datasets/freebase-data-dump/

27. Freebase簡(jiǎn)單主題庫：Freebase中每個(gè)主題中基本的可識(shí)別事實(shí)的數(shù)據(jù)庫(5GB)

http://aws.amazon.com/de/datasets/freebase-simple-topic-dump/

28. Freebase四元庫：Freebase中所有當(dāng)前事實(shí)和推斷的數(shù)據(jù)庫[LZ1]。(35GB)

http://aws.amazon.com/de/datasets/freebase-quad-dump/

29. GigaOM Wordpress挑戰(zhàn)賽[Kaggle]：博客文章，元數(shù)據(jù)，用戶喜好。(1.5GB)

https://www.kaggle.com/c/predict-wordpress-likes/data

30. 谷歌圖書n元語法：也可通過亞馬遜S3上hadoop格式文件獲取。(2.2TB)

http://storage.googleapis.com/books/ngrams/books/datasetsv2.html

31. 谷歌網(wǎng)頁5元語法：含有英文單詞的n元序列，及其觀測(cè)頻率計(jì)數(shù)(24GB)

https://catalog.ldc.upenn.edu/LDC2006T13

32. Gutenberg電子書清單：帶注釋電子書清單(2MB)

http://www.gutenberg.org/wiki/Gutenberg:Offline_Catalogs

33. 加拿大議會(huì)文本塊：來自加拿大第36屆議會(huì)正式記錄(Hansards)的130萬標(biāo)準(zhǔn)文本塊(句子或更小的片段)。(82MB)

http://www.isi.edu/natural-language/download/hansard/

34. 哈佛圖書館：超過1,200萬冊(cè)哈佛圖書館所藏資料的書目記錄，包括書籍，期刊，電子資源，手稿，檔案資料，樂譜，音頻，視頻和其他資料。(4GB)

http://library.harvard.edu/open-metadata#Harvard-Library-Bibliographic-Dataset

35. 仇恨言論識(shí)別：志愿人查看短文，并確定它是否a)包含仇恨言論，b)冒犯性的，但沒有仇恨言論，或c)一點(diǎn)也沒有冒犯性。包含近15千行，每個(gè)文本字符串有三個(gè)志愿者判斷。(3MB)

https://github.com/t-davidson/hate-speech-and-offensive-language

36. 希拉里克林頓的電子郵件[Kaggle]：整理了近7,000頁克林頓的電子郵件。(12MB)

https://www.kaggle.com/kaggle/hillary-clinton-emails

37. 家得寶公司產(chǎn)品搜索關(guān)聯(lián)[Kaggle]：包含家得寶公司網(wǎng)站的許多產(chǎn)品和客戶搜索條款。挑戰(zhàn)是預(yù)測(cè)搜索條目組合和產(chǎn)品的相關(guān)性分?jǐn)?shù)。為了創(chuàng)建真實(shí)標(biāo)簽，家得寶公司將搜索/產(chǎn)品配對(duì)眾包給多個(gè)評(píng)分者打分。(65MB)

https://www.kaggle.com/c/home-depot-product-search-relevance/data

38. 確定文本中的關(guān)鍵短語：?jiǎn)栴}/答案對(duì)和文本組成;判斷上下文文本是否與問題/答案相關(guān)。(8MB)

https://www.crowdflower.com/data-for-everyone/

39. 美國電視節(jié)目‘危險(xiǎn)’：216930個(gè)過去出現(xiàn)在‘危險(xiǎn)’節(jié)目的問題合集。(53MB)

http://www.reddit.com/r/datasets/comments/1uyd0t/200000_jeopardy_questions_in_a_json_file/

40. 200k英語明文笑話：208000種不同來源的明文笑話存檔。

https://github.com/taivop/joke-dataset

41. 歐洲語言機(jī)器翻譯：(612MB)

http://statmt.org/wmt11/translation-task.html#download

42. 材料安全數(shù)據(jù)表：230000材料安全數(shù)據(jù)表。(3GB)

http://aws.amazon.com/de/datasets/material-safety-data-sheets/

43. 百萬新聞?lì)^條-澳大利亞ABC[Kaggle]：由澳大利亞ABC新聞發(fā)布的從2003到2017年的130萬新聞。(56MB)

https://www.kaggle.com/therohk/million-headlines

44. MCTest：可免費(fèi)使用的660個(gè)故事集和相關(guān)問題，可用于研究文本機(jī)器理解、問答(1MB)。

http://research.microsoft.com/en-us/um/redmond/projects/mctest/index.html

45. Negra：德國報(bào)紙文本的語法標(biāo)注語料庫。可供所有大學(xué)及非營(yíng)利機(jī)構(gòu)免費(fèi)使用。需要簽署協(xié)議并發(fā)送申請(qǐng)才能獲得。

http://www.coli.uni-saarland.de/projects/sfb378/negra-corpus/negra-corpus.html

46. 新聞?lì)^條-印度時(shí)報(bào)[Kaggle]：印度時(shí)報(bào)發(fā)表的從2001到2017年的270萬類新聞?lì)^條。(185MB)

https://www.crowdflower.com/data-for-everyone/

47. 新聞文章/維基百科頁面配對(duì)：志愿者閱讀一篇短文，被問及最匹配的兩篇維基百科文章是哪一篇。(6MB)

https://www.kaggle.com/benhamner/nips-2015-papers/version/2

48. 2015 NIPS論文(版本2)[Kaggle]：所有2015年nips論文全文。(335MB)

https://www.kaggle.com/benhamner/nips-2015-papers/version/2

49. 紐約時(shí)報(bào)臉譜網(wǎng)數(shù)據(jù)：所有紐約時(shí)報(bào)在臉譜網(wǎng)的帖子。(5MB)

http://minimaxir.com/2015/07/facebook-scraper/

50. 全球新聞一周供稿[Kaggle]：在2017年8月的一周，用20多種語言全球發(fā)表的140萬篇新聞事件數(shù)據(jù)集。(115MB)

https://www.kaggle.com/therohk/global-news-week

51. 句子/概念對(duì)的正確性：志愿者讀關(guān)于兩個(gè)概念的句子。例如，“狗是一種動(dòng)物”，或者“船長(zhǎng)可以和主人有同樣的意思”，然后他們被問到這個(gè)句子是否正確，并將其1-5評(píng)級(jí)。(700KB)

https://www.crowdflower.com/data-for-everyone/

52. 公開圖書館數(shù)據(jù)庫：公開圖書館中所有記錄的修改合集。(16GB)

https://openlibrary.org/developers/dumps

53. 人物語料庫：收集了作者文章風(fēng)格和個(gè)性預(yù)測(cè)的實(shí)驗(yàn)。由145名學(xué)生的145篇荷蘭語文章組成。(獲得需要申請(qǐng))

http://www.clips.uantwerpen.be/datasets/personae-corpus

54. Reddit評(píng)論：截至2015年7月，reddit論壇所有公開的評(píng)論。共計(jì)17億條評(píng)論。(250GB)

https://www.reddit.com/r/datasets/comments/3bxlg7/i_have_every_publicly_available_reddit_comment/

55. Reddit評(píng)論(2015年5月)：Kaggle子數(shù)據(jù)集(8GB)

https://www.kaggle.com/reddit/reddit-comments-may-2015

56. Reddit提交語料庫：2006年1月-2015年8月31日所有公開可得的Reddit提交內(nèi)容。(42GB)

https://www.reddit.com/r/datasets/comments/3mg812/full_reddit_submission_corpus_now_available_2006/

57. 路透社語料庫：一個(gè)包含路透社新聞報(bào)道的數(shù)據(jù)集，用于自然語言處理的研究開發(fā)、信息檢索和機(jī)器學(xué)習(xí)系統(tǒng)。該語料庫又被稱為“路透社語錄1”或RCV1，它遠(yuǎn)遠(yuǎn)大于原來在文本分類中被廣泛使用的著名的路透社21578數(shù)據(jù)集。該語料庫數(shù)據(jù)需要通過簽署協(xié)議和發(fā)送郵件獲取。(2.5GB)

https://trec.nist.gov/data/reuters/reuters.html

58. SaudiNewsNet：31030條從不同沙特阿拉伯的網(wǎng)絡(luò)報(bào)紙上摘取的標(biāo)題和元數(shù)據(jù)。(2MB)

https://github.com/ParallelMazen/SaudiNewsNet

59. 垃圾短信數(shù)據(jù)集：5574條被標(biāo)記為合法/不合法的、未經(jīng)編碼的真實(shí)英文短信消息。(200KB)

http://www.dt.fee.unicamp.br/~tiago/smsspamcollection/

60. 《南方公園》數(shù)據(jù)集：csv格式文件，包含季、集、角色和臺(tái)詞的劇本信息。(3.6MB)

https://github.com/BobAdamsEE/SouthParkData

61. Stackoverflow：730萬條stackoverflow問題和其他stackexchange(問答工具)上的問答。

http://data.stackexchange.com/

62. Twitter的Cheng-Caverlee-lee用戶定位數(shù)據(jù)集：2009年9月-2010年1月的推文定位。(400MB)

https://archive.org/details/twitter_cikm_2010

63. Twitter上關(guān)于新英格蘭愛國者隊(duì)“放氣門”事件的輿情：在2015年超級(jí)碗比賽前，人們對(duì)被放了氣的橄欖球以及愛國者隊(duì)是否存在欺騙行為議論紛紛。該數(shù)據(jù)集提供了丑聞發(fā)生的這段時(shí)間里Twitter上的輿情，以便評(píng)估公眾對(duì)整個(gè)事件的感受。(2MB)

https://www.figure-eight.com/data-for-everyone/

64. Twitter上對(duì)于左傾相關(guān)事件的輿情分析：關(guān)于墮胎合法化、女權(quán)主義、希拉里·克林頓等各種左傾相關(guān)事件的推文，推文將根據(jù)內(nèi)容推斷被分類為For(支持)、Against(反對(duì))、Neutral(中立)或None of the above(以上都不是)。(600KB)

https://www.figure-eight.com/data-for-everyone/

65. Twitter的Sentiment140(情感分析數(shù)據(jù)集)：關(guān)于品牌/關(guān)鍵詞的推文，網(wǎng)站包括論文和研究想法。(77MB)

http://help.sentiment140.com/for-students/

66. Twitter上關(guān)于自動(dòng)駕駛汽車的輿情分析：貢獻(xiàn)者們閱讀推文后，將推文里對(duì)于自動(dòng)駕駛的態(tài)度分為非常積極、較積極、中立、較消極和非常消極。如果推文與自動(dòng)駕駛汽車無關(guān)，他們也要標(biāo)記出來。(1MB)

https://www.figure-eight.com/data-for-everyone/

67. Twitter上定位于東京的推文：20萬條來自東京的推文。(47MB)

http://followthehashtag.com/datasets/200000-tokyo-geolocated-tweets-free-twitter-dataset/

68. Twitter上定位于英國的推文：17萬條來自英國的推文。(47MB)

http://followthehashtag.com/datasets/170000-uk-geolocated-tweets-free-twitter-dataset/

69. Twitter上定位于美國的推文：20萬條來自美國的推文。(45MB)

http://followthehashtag.com/datasets/free-twitter-dataset-usa-200000-free-usa-tweets/

70. Twitter上對(duì)于美國各大航空公司的態(tài)度(Kaggle數(shù)據(jù)集)：這是一個(gè)對(duì)于美國各大航空公司存在問題的情感分析任務(wù)。該數(shù)據(jù)集爬取了2015年2月的推文，貢獻(xiàn)者們將其分類為積極、消極和中立，對(duì)于那些分類為消極態(tài)度的推文，還會(huì)給出原因(例如“飛機(jī)晚點(diǎn)”或“服務(wù)態(tài)度差”等)。(2.5MB)

https://www.kaggle.com/crowdflower/twitter-airline-sentiment

71. 基于新聞標(biāo)題的美國經(jīng)濟(jì)表現(xiàn)：根據(jù)新聞標(biāo)題頭條和摘要，對(duì)新聞和美國經(jīng)濟(jì)的相關(guān)性進(jìn)行排序。(5MB)

https://www.figure-eight.com/data-for-everyone/

72. 城市詞典(美國在線俚語詞典)里的單詞和定義：一個(gè)經(jīng)過清洗的CSV語料庫，包含截至2016年5月的城市詞典內(nèi)所有260萬個(gè)詞匯、定義、作者和投票情況。(238MB)

https://www.kaggle.com/therohk/urban-dictionary-words-dataset

73. 亞馬遜的Wesbury Lab Usenet語料庫：2005-2010的47,860個(gè)英文新聞組的郵件匿名匯編(40GB)

http://aws.amazon.com/de/datasets/the-westburylab-usenet-corpus/

74. 維基百科的Wesbury Lab語料庫：2010年4月維基百科英文部分中所有文章的快照。網(wǎng)站詳細(xì)描述了數(shù)據(jù)是如何被處理的——即去除所有鏈接和不相關(guān)的材料(如導(dǎo)航文本等)。語料庫是未經(jīng)標(biāo)記的原始文本，它被用于Stanford NLP。

http://www.psych.ualberta.ca/~westburylab/downloads/westburylab.wikicorp.download.html

75. Stanford NLP跳轉(zhuǎn)的鏈接：

https://scholar.google.com/scholar?oi=bibs&hl=en&cites=9060444488071171966&as_sdt=5

76. 維基百科提取(WEX)：經(jīng)處理后的英文版維基百科(66GB)

http://aws.amazon.com/de/datasets/wikipedia-extraction-wex/

77. 維基百科的XML格式數(shù)據(jù)：所有維基媒體(Wikimedia)的完整復(fù)制，以維基文本元(wikitext source)和元數(shù)據(jù)的形式嵌入到XML中。(500GB)

http://aws.amazon.com/de/datasets/wikipedia-xml-data/

78. 雅虎問答中的綜合問題與答案：截至2007年10月25日的雅虎問答語料庫，包含4,483,032條問答。(3.6GB)

http://webscope.sandbox.yahoo.com/catalog.php?datatype=l

79. 雅虎問答中用法語提問的問題：2006-2015年雅虎問答語料庫的子數(shù)據(jù)集，包含170萬條法語問答。(3.8GB)