一口氣看完《哈利波特》：AI大模型「量子速讀」，一分鐘抵人類五小時
最近一段時間，OpenAI 憑借 GPT 系列模型以及 ChatGPT，一直是最受關注的研究機構。但最近兩年，一家 AI 初創公司正在走進大家的視野，這家公司名為 Anthropic，成立于 2021 年，專注于開發通用 AI 系統和語言模型，并秉持負責任的 AI 使用理念。
不知大家是否還記得 2020 年末，OpenAI 核心員工集體離職事件，當時這件事在 AI 圈還引起了不小的轟動。Anthropic 就是由這些離職的人員創建的，其中包括 OpenAI 前研究副總裁 Dario Amodei、GPT-3 論文一作 Tom Brown 等人。
今年一月，Anthropic 已籌集了超過 7 億美元的資金，最新一輪的估值達到了 50 億美元。與此同時，在 ChatGPT 發布兩個月后，這家公司就迅速開發了一種對標老東家 ChatGPT 的人工智能系統 Claude。
Claude 申請訪問地址：https://www.anthropic.com/earlyaccess
Claude 使用了 Anthropic 自行開發的一種被稱為「constitutional AI」的機制，其旨在提供一種「基于原則」的方法使 AI 系統與人類意圖保持一致。
Claude 可以完成摘要總結、搜索、協助創作、問答、編碼等任務。根據用戶反饋，Claude 生成有害輸出的可能性較小，更容易進行對話，并且更易于控制。除此以外，Claude 還可以根據指示來設定個性、語氣和行為。
不過 Anthropic 并沒有提供關于 Claude 的太多技術細節，但在論文《Constitutional AI: Harmlessness from AI Feedback》中描述了 Claude 背后技術，感興趣的讀者可以前去查看。
論文地址：https://arxiv.org/pdf/2212.08073.pdf
早在一月份，就有研究者對 Claude 一次性可以處理的最大文本量進行了測試，顯示 Claude 可以回憶起 8k 個 token 中的信息。
時隔沒多久，本周四，Anthropic 推出了 100K Context Windows，它將 Claude 的上下文窗口從 9k token 擴展到了 100k，這相當于 75,000 個單詞。這意味著企業可以提交數百頁材料讓 Claude 消化和解釋，并且與它的對話可以持續數小時甚至數天?，F在可以通過 Anthropic API 訪問 100K context windows。
我們知道，大模型越先進，能夠同時處理的文本就越長，7.5 萬字是個什么概念呢？大概相當于一鍵總結《哈利波特》第一部。
看起來絕大多數論文、新聞報道和中短篇小說都不在話下了。
Claude 再進化：真「AI 量子速讀」
根據科學研究，普通人可以在 5 小時左右的時間里閱讀 100,000 個 token，并可能需要更長的時間來消化、記憶和分析這些信息。現在 Claude 可以在不到 1 分鐘的時間里完成這些。
上下文窗口的一般計算。
Anthropic 首先將《了不起的蓋茨比》的整個文本加載到了 Claude-Instant（72 K tokens，Claude 兩個版本 Claude 和 Claude Instant，Claude 是最先進的高性能模型，而 Claude Instant 是更輕、更便宜、更快的選擇。）中，并修改了一行「Carraway 先生是一位在 Anthropic 從事機器學習工作的軟件工程師」。當 Anthropic 要求模型找出與原文的不同之處時，它會在 22 秒內給出正確答案。
除了閱讀長文本之外，Claude 還有助于從文檔中檢索信息，從而對業務運營產生助益。用戶可以將多個文檔甚至一本書放入 prompt 中，然后向 Claude 提出問題（需要對文本的很多部分進行綜合知識分析）。對于復雜的問題，這可能比基于向量搜索的方法有效得多。Claude 可以按照用戶的指令返回他們正在搜尋的信息，就像人類助手一樣。
Anthropic 接著將大語言集成工具 LangChain API 開發者文檔（240 頁）放入模型中，然后針對所提問題給出了使用 Anthropic 語言模型的 LangChain demo。
與此同時，100k token 可以轉換為 6 個小時左右的音頻。AssemblyAI 對此做了很好的演示，他們將一個長播客轉錄為了近 58k 個單詞，然后使用 Claude 進行摘要總結和問答。
圖源：AssemblyAI
總之，使用 100k context windows，用戶可以做到如下：
- 消化、總結和解釋財務報表或研究論文等密集文件；
- 基于公司年度報告分析戰略風險和機遇；
- 評估一項立法的利弊；
- 識別法律文件中的風險、主題和不同形式的爭論；
- 閱讀數百頁的開發者文檔，并給出技術問題的答案；
- 通過將整個代碼庫放入上下文并智能地構建或修改以快速制作原型。
有網友用以下梗圖形象地描述了 Context Windows 與 Claude 100k、GPT-4 32K 的關系。
圖源：推特 @nathanwchan
至于價格，Anthropic 技術人員 Ben Mann 表示，100K Context Windows 的百萬 token 售價與以往模型一樣。
