計畫簡介
PrivateGPT是一個已完成的AI計畫，允許使用者在沒有互聯網連線的情況下，使用大型語言模型（LLMs）私密地提問文件內容。該計畫提供了構建私有、上下文感知AI套用所需的所有API基本元件。
它遵循並擴充套件了OpenAI API標準，支持標準和流式響應。PrivateGPT分為兩個邏輯部份：高級API簡化了RAG（檢索增強生成）流水線的實作復雜性；低階API允許高級使用者實作自己的復雜流水線 (GitHub)。
掃碼加入交流群
獲得更多技術支持和交流
（請註明自己的職業）
功能
高級API ，它抽象了一個RAG（檢索增強生成）管道實作的所有復雜性：
文件攝入：內部管理文件解析、分割、後設資料提取、嵌入生成和儲存。使用攝入文件的上下文進行聊天和完成：抽象了上下文的檢索、提示工程和響應生成。
低階API ，允許高級使用者實作他們自己的復雜管道：
嵌入生成：基於一段文本。上下文塊檢索：給定一個查詢，返回從攝入的文件中最相關的文本塊。
概述
PrivateGPT背後的動機
生成型AI是我們社會的一個遊戲規則改變者，但是在所有規模的公司以及像醫療或法律這樣的數據敏感領域的采用受到一個明顯問題的限制：私密。當使用第三方AI工具時，無法確保你的數據完全在你的控制之下，是這些行業無法承擔的風險。
原始版本
PrivateGPT的第一個版本於2023年5月推出，作為一種新穎的方法來解決使用LLMs（大型語言模型）時的私密顧慮，並完全離線操作。
那個版本迅速成為了針對私密敏感設定的偏好設定目，並成為了成千上萬個在地化重點的生成型AI計畫的種子，它是現在PrivateGPT所成為的基礎；因此，一個更簡單和更具教育意義的實作，用於理解構建一個完全在地化的、因而是私有的類ChatGPT工具所需的基本概念。
PrivateGPT的現在和未來
PrivateGPT現在正向成為生成型AI模型和基元的門戶發展，包括完成、文件攝入、RAG管道和其他低階構建模組。我們希望讓任何開發者更容易地構建AI套用和體驗，同時提供一個適合社群繼續貢獻的廣泛架構。
文件
有關安裝、依賴項、配置、執行伺服器、部署選項、獲取本地文件、API 詳細資訊和 UI 功能的完整文件可以在這裏找到：
https: //docs.privategpt.dev/
架構
從概念上講， PrivateGPT是一個API ，它封裝了一個RAG（檢索增強生成）管道並暴露其基元。
· 這個API使用FastAPI構建，並遵循OpenAI的API模式。
· RAG管道基於LlamaIndex。
PrivateGPT的設計允許輕松擴充套件和適應API和RAG實作。 一些關鍵的架構決策包括：
· 依賴註入，解耦不同的元件和層。
· 使用LlamaIndex抽象，如LLM、BaseEmbedding或VectorStore，使改變這些抽象的實際實作變得立即可行。
· 簡單性，盡可能少地添加層和新的抽象。
· 隨時使用，提供API和RAG管道的完整實作。
主要構建模組：
· API在private_gpt:server:中定義。每個包包含一個_router.py（FastAPI層）和一個_service.py（服務實作）。每個服務使用LlamaIndex的基本抽象，而不是具體實作，從其使用中解耦實際實作。
· 元件放置在private_gpt:components:中。每個元件負責提供服務中使用的基本抽象的實際實作 - 例如LLMComponent負責提供一個LLM的實際實作（例如LlamaCPP或OpenAI）。
計畫簡介
https://github.com/zylon-ai/private-gpt
關註「 開源AI計畫落地 」公眾號
