當前位置: 妍妍網 > 碼農

RAGapp:開源2.3k星星,使用Agentic RAG最簡單的方法

2024-06-05碼農

計畫簡介

RAGapp 是一個高效的企業級應用程式,使得在任何企業中使用 Agentic RAG 變得簡單直接。透過 Docker 部署在自己的雲基礎設施中,RAGapp 能夠與 OpenAI 或 Gemini 的托管 AI 模型以及使用 Ollama 的本地模型無縫整合。使用者可以透過簡單的配置,啟動 docker 容器即可執行 RAGapp,存取管理界面進行設定。此外,RAGapp 提供完全開放的 API 和使用者介面,使得自訂和擴充套件套用成為可能。

掃碼加入AI交流群

獲得更多技術支持和交流

(請註明自己的職業)

UI

快速使用

要執行,請使用映像啟動一個 Docker 容器:

docker run -p 8000:8000 ragapp/ragapp

然後,存取 http://localhost:8000/admin 來配置你的 RAGapp。

你可以使用 OpenAI 或 Gemini 的托管 AI 模型,也可以使用 Ollama 的本地模型。

註意:為了避免遇到任何錯誤,建議使用 Docker 的最新版本,如有需要,還應使用 Docker Compose。

端點

Docker 容器公開了以下端點:

· 管理員界面:http://localhost:8000/admin

· 聊天界面:http://localhost:8000

· API 文件:http://localhost:8000/docs

註意:只有在 RAGapp 配置後,聊天界面和 API 才能正常工作。

RAGapp 設計上不包含任何身份驗證層。只需在你的雲環境中保護 /admin 路徑,以確保你的 RAGapp 的安全。

部署

使用 Docker Compose

提供了一個 docker-compose.yml 檔,使得在你自己的基礎設施中部署帶有 Ollama 和 Qdrant 的 RAGapp 變得容易。

使用 MODEL 環境變量,你可以指定使用哪個模型,例如 llama3:

MODEL=llama3 docker-compose up

如果你沒有指定 MODEL 變量,使用的預設模型是 phi3,它的功能比 llama3 弱,但下載速度更快。

註意:docker-compose.yml 檔中的 setup 容器將下載所選模型到 ollama 資料夾中——這將花費幾分鐘時間。

使用 OLLAMA_BASE_URL 環境變量,你可以指定使用哪個 Ollama 主機。如果你沒有指定 OLLAMA_BASE_URL 變量,預設指向由 Docker Compose 啟動的 Ollama 例項 (http://ollama:11434)。

如果你正在執行原生的 Ollama 例項,你可以透過設定 OLLAMA_BASE_URL 變量為 http://host.docker.internal:11434 來連線它到 RAGapp:

MODEL=llama3 OLLAMA_BASE_URL=http://host.docker.internal:11434 docker-compose up

如果你在 macOS 上執行 RAGapp,這是必要的,因為 Docker for Mac 不支持 GPU 加速。

為了在 Linux 上啟用 Docker 對 NVIDIA GPUs 的存取,安裝 NVIDIA Container Toolkit。

計畫連結

https://github.com/ragapp/ragapp

關註「 開源AI計畫落地 」公眾號

與AI時代更靠近一點