融匯11款AI工具構建完美應用

譯文精選

作者：陳峻 2024-04-23 09:15:09

人工智能開源

本文將為您介紹25個開源項目，分為上下兩篇以便您融匯它們來制作自己的AI應用。人工智能（AI）應用在近年來得到了長足的發展。從語音助手到軟件開發，人工智能已在我們的生活中無處不在，并得到了廣泛應用。

想了解更多AIGC的內容，請訪問：

51CTO AI.x社區

http://www.jxzklqfsx.com/aigc/

如您所見，人工智能（AI）應用在近年來得到了長足的發展。從語音助手到軟件開發，人工智能已在我們的生活中無處不在，并得到了廣泛應用。下面，我將為您介紹25個開源項目，您可以用它們來制作自己的人工智能應用程序，并使其更上一層樓。

1.Taipy -將數據和人工智能算法轉化為可投入生產網絡的應用

作為一個開源的Python庫，Taipy（https://github.com/Avaiga/taipy）提供了假設分析、智能管道執行、內置調度和部署工具等功能，可用于輕松地進行端到端的應用開發。例如，它可以為基于Python的應用，創建圖形化的用戶界面，并改進數據流的管理。同時，您可以用其繪制數據集的圖表，并使用類似圖形化用戶界面的滑塊，讓用戶可以選擇使用其他實用的功能，來處理數據。

在不犧牲性能的情況下，Taipy提供了友好的用戶界面、高效的數據處理能力、以及良好的易用性。您只需通過命令：pip install taipy，來完成安裝。同時，Taipy也能利用各種代碼庫，來簡化開發并增強功能。

目前，Taipy發布了最新版本為v3.1（https://docs.taipy.io/en/latest/relnotes/）。該版本的多功能部件對象實現了HTML或Python對象的可視化。這意味著Folium（https://python-visualization.github.io/folium/latest/）、Bokeh（https://bokeh.org/）、Vega-Altair（https://altair-viz.github.io/）和Matplotlib（https://matplotlib.org/）等代碼庫現在都可以被用于可視化。同時，它提供了對Plotly Python（https://plotly.com/python/）的原生支持，使得繪制圖表變得更容易。

在利用分布式計算提高性能的同時，Taipy及其所有依賴項都能與Python 3.12完全兼容，以便用戶在Taipy的項目中使用最新的工具和代碼庫。請閱讀文檔-- https://docs.taipy.io/en/latest/，以獲得更多介紹。

下圖展示的是其聊天界面（https://docs.taipy.io/en/release-3.1/gallery/llm/5_chatbot/）。該演示使用了OpenAI的GPT-4 API，生成對消息的回復。您可以通過更改代碼，以使用其他的API或模型。

下圖展示的是由Taipy團隊提供的、可用于加速Taipy應用構建的、另一個名為Taipy Studio（https://docs.taipy.io/en/latest/manuals/studio/）的VSCode擴展功能。

當然，您也可以為自己的應用選用Taipy的云部署。如果您想了解其代碼庫結構，可以閱讀HuggingFace的《使用Taipy創建Python語言的大模型Web界面（https://huggingface.co/blog/Alex1337/create-a-web-interface-for-your-llm-in-python）》一文。

在教程資源方面，Taipy提供了10多個帶有代碼和文檔的演示教程，可供您學習。例如：

Covid儀表板（https://covid-dashboard.taipy.cloud/Country）
Tweet的生成（https://tweet-generation.taipy.cloud/）
數據可視化（https://production-planning.taipy.cloud/Data-Visualization）
實時人臉識別（https://face-recognition.taipy.cloud/）

目前，Taipy的v3版在GitHub上有七千多顆星，且在不斷改進中。

2.Supabase - Firebase的開源替代品

要構建人工智能應用，您往往需要一個后臺，而Supabase（https://github.com/supabase/supabase）正是可以滿足此需求的優秀后臺服務提供商。

通過參考相關文檔（https://supabase.com/docs），您可以從如下npm命令(Next.js)開始安裝Supabase：

npx create-next-app -e with-supabase

如下代碼段則展示了如何進行CRUD操作：

import { createClient } from '@supabase/supabase-js'

// Initialize 
const supabaseUrl = 'https://chat-room.supabase.co'
const supabaseKey = 'public-anon-key'
const supabase = createClient(supabaseUrl, supabaseKey)

// Create a new chat room
const newRoom = await supabase
  .from('rooms')
  .insert({ name: 'Supabase Fan Club', public: true })

// Get public rooms and their messages
const publicRooms = await supabase
  .from('rooms')
  .select(`
    name,
    messages ( text )
  `)
  .eq('public', true)

// Update multiple users
const updatedUsers = await supabase
  .from('users')
  .eq('account_type', 'paid')
  .update({ highlight_color: 'gold' })

您可以利用Supabase的Auth、realtime、Edge函數、以及存儲等功能，來構建一個超快的應用。同時，Supabase也提供了多個啟動工具包，如：帶有LangChain的Next.js（https://github.com/langchain-ai/langchain-nextjs-template）、帶有Next.js的Stripe（https://github.com/vercel/nextjs-subscription-payments）、以及AI聊天機器人（https://github.com/supabase-community/vercel-ai-chatbot）。

目前，Supabase在GitHub上有六萬三千多顆星，以及大量貢獻者。而且，他們的提交次數達兩萬七千多次。

3.Chatwoot -即時聊天、電子郵件支持、全方位渠道服務臺，并擁有自己的數據

Chatwoot（https://github.com/chatwoot/chatwoot）可與電子郵件、網站即時聊天、Facebook、Twitter、WhatsApp、Instagram以及Line等常用客戶溝通渠道連接，以實現一站式多社交應用的客戶體驗。如下圖所示，這對于想圍繞著某個人工智能應用來建立用戶社區的需求，顯得十分必要。

您可以通過閱讀文檔（https://www.chatwoot.com/docs/product），了解各種集成選項，從而更輕松地管理整個生態系統。其文檔非常詳細，每個集成都有相應的快照示例，例如：WhatsApp頻道就帶有WhatsApp Cloud API。因此，您可以按需將其一鍵部署到Heroku或自行托管。

目前，Chatwoot發布的是v3.6版，在GitHub上擁有一萬八千多顆星。

4.CopilotKit -在數小時內為您的產品提供AI Copilot

CopilotKit（https://github.com/CopilotKit/CopilotKit）可以讓我們使用兩個React組件，將各種關鍵性的人工智能功能集成到React應用中。同時，它也提供了內置（但完全可定制）的Copilot原生用戶體驗組件，如：<CopilotKit />、<CopilotPopup />、<CopilotSidebar/>、以及<CopilotTextarea/>等。

通過閱讀相關文檔（https://docs.copilotkit.ai/getting-started/quickstart-textarea），您可以從使用如下npm命令開始安裝Copilot：

npm i @copilotkit/react-core @copilotkit/react-ui @copilotkit/react-textarea

下面的代碼段展示了如何集成CopilotTextArea的方法。

import { CopilotTextarea } from "@copilotkit/react-textarea";
import { useState } from "react";

export function SomeReactComponent() {
  const [text, setText] = useState("");

  return (
    <>
      <CopilotTextarea
        className="px-4 py-4"
        value={text}
        onValueChange={(value: string) => setText(value)}
        placeholder="What are your plans for your vacation?"
        autosuggestionsConfig={{
          textareaPurpose: "Travel notes from the user's previous vacations. Likely written in a colloquial style, but adjust as needed.",
          chatApiConfigs: {
            suggestionsApiConfig: {
              forwardedParams: {
                max_tokens: 20,
                stop: [".", "?", "!"],
              },
            },
          },
        }}
      />
    </>
  );
}

通過上述方法，您可以在幾分鐘內構建出AI聊天機器人，以用于基于LLM的全棧應用。

5.DALL-E Mini -根據文本提示生成圖像

OpenAI的第一個令人印象深刻的圖像生成模型是DALL-E。DALL-E mini應母公司的要求更名為Craiyon。而Craiyon/DALL-E mini則試圖利用開源模型重現其成果。如下圖所示，您可以在Craiyon（https://www.craiyon.com/）上使用該模型。

參考相關文檔（https://github.com/borisdayma/dalle-mini?tab=readme-ov-file#development），您可以用如下命令（用于開發）開始安裝DALL-E Mini：

pip install dalle-mini

通過閱讀DALL-E Mini的相關說明（https://wandb.ai/dalle-mini/dalle-mini/reports/DALL-E-Mini-Explained-with-Demo--Vmlldzo4NjIxODA），您也可以了解有關其數據集、架構和算法等更多信息。當然，《最佳人工智能圖像和提示終極指南（https://www.craiyon.com/blog/ultimate-guide-best-ai-art-photorealistic-images-and-prompts）》，也值得您參考。

目前，DALL-E Mini的v0.1版本在GitHub上有一萬四千多顆星。

6.Deepgram -為應用構建語音人工智能

無論是初創公司還是美國國家航空航天局（NASA），它們每天都在使用Deepgram（https://github.com/deepgram）的API以快速、準確、可擴展且經濟高效的方式，轉錄和理解數百萬分鐘的音頻。同時，Deepgram能為開發人員提供語音到文本和音頻的智能模型。

由Deepgram的官方介紹文檔可知（https://developers.deepgram.com/docs/introduction），它提供了免費和可視化兩種模型。其免費層面完全能夠滿足您的基本使用。而可視化是上面一層，您可以查看實時的流媒體響應或音頻文件，并比較音頻的智能化水平。

您還可以閱讀Deepgram的博客示例（https://deepgram.com/learn/how-to-add-speech-recognition-to-your-react-project），以獲悉如何在React和Node.js項目中添加語音識別功能。

如果您想親自體驗Deepgram API的靈活性，請訪問它們的API Playground（https://playground.deepgram.com/?smart_format=true&language=en&model=nova-2）。

7.InvokeAI -穩定擴散模型的領先創意引擎

作為Stable Diffusion的實現，InvokeAI（https://github.com/invoke-ai/InvokeAI）是一種開源的文本到圖像、以及圖像到圖像的生成器。它提供了業界領先的WebUI，并通過CLI支持終端的使用，可謂多種商業產品的基礎。

InvokeAI既能夠在Windows、Mac和Linux機器上運行，也可以在僅有4 GB內存的GPU顯卡上運行。您可以閱讀其有關硬件要求（https://invoke-ai.github.io/InvokeAI/installation/INSTALLATION/），如何安裝不同的模型（https://invoke-ai.github.io/InvokeAI/installation/050_INSTALLING_MODELS/），以及重要的自動安裝信息（https://invoke-ai.github.io/InvokeAI/installation/010_INSTALL_AUTOMATED/）。

正如其文檔（https://invoke-ai.github.io/InvokeAI/features/IMG2IMG/）所述，InvokeAI還能夠使用其他圖像來生成新的圖像。

目前，InvokeAI在GitHub上有將近兩萬一千多顆星。

8.OpenAI- 您需要的一切

OpenAI（https://github.com/openai）已被全世界所知曉。通過OpenAI，您可以使用DALL-E來根據文字描述，創建原始、逼真的圖像，使用Whisper實現語音識別模型。

如下代碼段所示，您可以從一個簡單的API開始構建。

completion = openai.ChatCompletion.create(
  model="gpt-3.5-turbo",
  messages=[
    {"role": "system", "content": "You are a helpful assistant."},
    {"role": "user", "content": "What are some famous astronomical observatories?"}
  ]
)

當然，其文檔鏈接-- https://platform.openai.com/docs/introduction提供了更多可構建的選項。

如上圖所示，您可以創建助理應用（https://platform.openai.com/docs/assistants/overview）程序并查看API playground（https://platform.openai.com/playground/p/default-chat?model=text-davinci-003），以便更好地了解它。

9.DeepFaceLab -用于創建Deepfakes的領先軟件

DeepFaceLab（https://github.com/iperov/DeepFaceLab）是一款實現深度偽造（Deepfakes）的頂級開源工具。此處的深度偽造是利用深度學習來篡改圖像和視頻的技術。它們經常被用來在圖片或短片中調換人臉，有時是為了開玩笑，但有時是為了欺詐。

如上圖所示，作為一款使用Python構建的深度偽造工具，DeepFaceLab可以改變媒體中的人臉，消除皺紋和衰老的痕跡，甚至可以操縱嘴唇的動作。

您既可以使用其基礎教程來了解如何有效地使用DeepFaceLab（https://www.youtube.com/watch?v=kOIMXt8KK8M），也可以通過鏈接觀看DeepLab算法的使用視頻（https://www.youtube.com/channel/UCGf4OlX_aTt8DlrgiH3jN3g/videos）。

遺憾的是，在DeepFaceLab中并沒有“使一切正常”的按鈕。不過，您可以通過學習其工作流程，以滿足自己的特定需求。而且，由于教程眾多、算法可靠，因此它已是人工智能應用領域的可靠選擇。

截止2023年11月9日，DeepFaceLab已在GitHub上擁有近四萬四千顆星。

10.Detectron2 -基于PyTorch的模塊化對象檢測庫

作為Facebook AI Research的下一代代碼庫，Detectron2支持Facebook上的多個計算機視覺研究項目和生產應用。它是 Detectron和maskrcnn-benchmark的后續產品，因此提供了最先進的物體檢測和分割算法模型。同時，Detectron2也能適應不斷發展的前沿研究領域。

通過鏈接--https://www.youtube.com/watch?v=eUSgtfK4ivk，您可以了解如何利用機器學習來使用Detectron2。同時，Detectron2配備了如：DensePose和全景特征金字塔網絡（panoptic feature pyramid networks）等先進的物體檢測算法。據此，Detectron2能夠進行語義分割和全景分割，這有助于更準確地檢測和分割圖像和視頻中的物體。

此外，Detectron2不僅支持使用邊界框和實例分割掩碼進行物體檢測，還能夠預測人物的姿勢，這一點與Detectron比較相似。

目前，Detectron2在GitHub代碼庫中有兩萬八千多顆星，而且在GitHub上被一萬六千多名開發人員所使用。