計畫簡介
RAGapp 是一個高效的企業級應用程式,使得在任何企業中使用 Agentic RAG 變得簡單直接。透過 Docker 部署在自己的雲基礎設施中,RAGapp 能夠與 OpenAI 或 Gemini 的托管 AI 模型以及使用 Ollama 的本地模型無縫整合。使用者可以透過簡單的配置,啟動 docker 容器即可執行 RAGapp,存取管理界面進行設定。此外,RAGapp 提供完全開放的 API 和使用者介面,使得自訂和擴充套件套用成為可能。
掃碼加入AI交流群
獲得更多技術支持和交流
(請註明自己的職業)
UI
快速使用
要執行,請使用映像啟動一個 Docker 容器:
docker run -p 8000:8000 ragapp/ragapp
然後,存取 http://localhost:8000/admin 來配置你的 RAGapp。
你可以使用 OpenAI 或 Gemini 的托管 AI 模型,也可以使用 Ollama 的本地模型。
註意:為了避免遇到任何錯誤,建議使用 Docker 的最新版本,如有需要,還應使用 Docker Compose。
端點
Docker 容器公開了以下端點:
· 管理員界面:http://localhost:8000/admin
· 聊天界面:http://localhost:8000
· API 文件:http://localhost:8000/docs
註意:只有在 RAGapp 配置後,聊天界面和 API 才能正常工作。
RAGapp 設計上不包含任何身份驗證層。只需在你的雲環境中保護 /admin 路徑,以確保你的 RAGapp 的安全。
部署
使用 Docker Compose
提供了一個 docker-compose.yml 檔,使得在你自己的基礎設施中部署帶有 Ollama 和 Qdrant 的 RAGapp 變得容易。
使用 MODEL 環境變量,你可以指定使用哪個模型,例如 llama3:
MODEL=llama3 docker-compose up
如果你沒有指定 MODEL 變量,使用的預設模型是 phi3,它的功能比 llama3 弱,但下載速度更快。
註意:docker-compose.yml 檔中的 setup 容器將下載所選模型到 ollama 資料夾中——這將花費幾分鐘時間。
使用 OLLAMA_BASE_URL 環境變量,你可以指定使用哪個 Ollama 主機。如果你沒有指定 OLLAMA_BASE_URL 變量,預設指向由 Docker Compose 啟動的 Ollama 例項 (http://ollama:11434)。
如果你正在執行原生的 Ollama 例項,你可以透過設定 OLLAMA_BASE_URL 變量為 http://host.docker.internal:11434 來連線它到 RAGapp:
MODEL=llama3 OLLAMA_BASE_URL=http://host.docker.internal:11434 docker-compose up
如果你在 macOS 上執行 RAGapp,這是必要的,因為 Docker for Mac 不支持 GPU 加速。
為了在 Linux 上啟用 Docker 對 NVIDIA GPUs 的存取,安裝 NVIDIA Container Toolkit。
計畫連結
https://github.com/ragapp/ragapp
關註「 開源AI計畫落地 」公眾號
與AI時代更靠近一點