本文深入探討了一個人工智能框架的高層次架構，對其內部各組件及其在整體系統中的功能進行了剖析。這一AI框架旨在讓傳統軟件與大型語言模型（LLMs）的結合變得更為簡便。

其核心目的是為開發者提供一套工具，幫助他們能夠將人工智能順利地融合到已經在公司中使用的軟件里。這種創新策略為我們創造了一個能同時運行眾多AI應用和智能代理的軟件平臺，進而實現更為高端、復雜的解決方案。

1、AI框架的應用示例

為更深入地理解這一框架的能力，以下列舉了一些能夠利用這個框架開發出來的應用實例：

• AI銷售助手：這是一個能夠自動搜索潛在客戶，分析其商業需求，并為銷售團隊起草提案的工具。這樣的AI助手會尋找與目標客戶建立聯系、打開銷售第一步的有效途徑。
• AI房產調研助手：這個工具可以持續監測房地產市場的新房源，根據指定的標準篩選符合條件的房源。除此之外，它還可以設計溝通策略，收集關于某一房源的更多信息，并在購房的各個環節中為用戶提供幫助。
• AI 知乎 討論摘要應用程序這款智能應用應能夠分析 知乎 上的討論，提取結論、任務以及需要采取的下一步行動。

2、AI框架模塊

AI框架應為開發者提供一套不同的模塊，包括合同定義、接口以及通用抽象的實現。

這一解決方案應是一個穩健的基礎，您可以在其基礎上構建自己的解決方案，使用經過驗證的模式，增加您自己的單個模塊的實現，或使用社區準備的模塊。

• 提示和鏈式模塊負責構建提示，即為語言模型編寫的程序，以及調用這些提示的鏈，它們會按順序一個接一個地執行。該模塊應使實施語言模型（LM）和大型語言模型（LLM）中使用的各種技術成為可能。它還應能夠將提示與模型結合，并創建提供跨多個LLM模型的單一功能的提示組。
• 模型模塊負責處理和連接 LLM 模型到軟件，使其對系統的其他部分可用。
• 通信模塊負責處理并增加與用戶的新通信渠道，無論是以其中一個消息傳遞程序中進行的聊天的形式，還是以供與其他系統集成的 API 和 webhook(網絡鉤子) 的形式。
• 工具模塊負責提供功能，以添加由AI應用程序使用的工具，例如從鏈接中讀取網站的內容、讀取PDF文件、在線搜索信息或發送電子郵件的能力。
• 內存模塊應負責內存管理，并允許為AI應用程序添加額外的內存功能實現，存儲當前狀態、數據和當前正在執行的任務。
• 知識庫模塊該模塊應負責管理訪問權限，并允許添加新的組織知識來源，例如關于流程、文檔、指導、以及組織中電子捕獲的所有信息。
• 路由模塊該模塊應負責將來自通信模塊的外部信息路由到合適的AI應用程序。它的角色是確定用戶的意圖并啟動正確的應用程序。如果該應用程序之前已經啟動并且尚未完成操作，它應恢復并從通信模塊傳遞數據。
• AI應用模塊該模塊應允許添加專門的AI應用，這些應用集中于執行特定任務，例如自動化或部分自動化流程。一個示例解決方案可能是Slack或Teams聊天摘要應用程序。這樣的應用可能包括一個或多個鏈接在一起的提示，使用工具、內存，并利用知識庫中的信息。
• AI代理模塊該模塊應包含更高級的應用版本，這些應用能夠與LLM模型自主對話，自動或半自動地執行分配的任務。
• 問責與透明度模塊問責與透明度模塊記錄用戶與AI系統之間的所有交互。它跟蹤查詢、響應、時間戳和作者身份，以區分由人類生成和AI生成的內容。這些日志為AI采取的自主行動以及模型和軟件之間的消息提供了可見性。
• 用戶模塊除基本的用戶管理功能外，該模塊還應維護跨來自不同模塊的集成系統的用戶帳戶映射。
• 權限模塊該模塊應存儲用戶權限信息并控制用戶訪問資源，確保他們只能訪問適當的資源和應用程序。

3、AI框架組件架構

為了更好地展示AI框架架構中不同模塊之間的互動方式，以下是一個組件圖的概述：

該圖展示了框架關鍵組件之間的關系：

• 提示和鏈式模塊：為AI模型構建提示，并通過鏈式調用串聯多個提示，以實現更復雜的邏輯。
• 內存模塊：通過內存抽象進行內存管理。知識庫模塊則提供對知識來源的訪問。
• 工具模塊：提供AI應用和代理可使用的工具。
• 路由模塊：將查詢定向到適當的AI應用程序。應用程序則在AI應用模塊中管理。
• 通信模塊：處理像聊天這樣的通信渠道。

這種組件架構展示了不同模塊如何協同工作，使得構建復雜的AI解決方案成為可能。模塊化的設計允許通過添加新組件來輕松擴展功能。

4、模塊動態示例

為了闡述AI框架模塊之間的協作，我們來分析系統中一個典型的信息處理路徑：

• 用戶通過通訊模塊使用聊天功能發送一個查詢。
• 路由模塊分析內容，并從應用模塊中確定合適的AI應用。
• 該應用從存儲模塊中取得必要的數據以恢復對話上下文。
• 接著，它使用命令模塊構建合適的命令，并將它們傳遞給來自模型模塊的AI模型。
• 如有需要，它會執行工具模塊中的工具，例如在線搜索信息。
• 最后，它通過通訊模塊向用戶返回回應。
• 重要的信息會被存儲在存儲模塊中，以繼續對話。

多虧了這種運作方式，框架模塊應該能與彼此協作，使AI應用和代理實現復雜場景。

5、總結

AI框架應該為構建現代基于AI的系統提供全面的工具。其靈活、模塊化的架構應該允許輕松擴展功能并與組織現有的軟件集成。多虧了AI框架，程序員應該能夠迅速地設計和實施使用語言模型的各種創新解決方案。擁有現成的模塊，他們應該能夠專注于業務邏輯和應用功能。這使得AI框架有可能顯著加速許多組織的數字化轉型。