Docker三分鐘搞定LLama3開源大模型本地部署

2024-04-26碼農

概述

LLaMA-3（Large Language Model Meta AI 3）是由Meta公司開發的大型開源生成式人工智慧模型。它在模型結構上與前一代LLaMA-2相比沒有大的變動。

LLaMA-3模型分為不同規模的版本，包括小型、中型和大型，以適應不同的套用需求和計算資源。小型模型參數規模為8B，中型模型參數規模為70B，而大型模型則達到400B，仍在訓練中，目標是實作多模態、多語言的功能，預計效果將與GPT 4/GPT 4V相當。

安裝 Ollama

Ollama 是一個開源的大型語言模型（LLM）服務工具，它允許使用者在本地機器上執行和部署大型語言模型。Ollama 設計為一個框架，旨在簡化在 Docker 容器中部署和管理大型語言模型的過程，使得這一過程變得簡單快捷。使用者可以透過簡單的命令列操作，快速在本地執行如 Llama 3 這樣的開源大型語言模型。

官網地址：https://ollama.com/download

Ollama 支持多種平台，包括 Mac 和 Linux，並提供了 Docker 映像以簡化安裝過程。使用者可以透過編寫 Modelfile 來匯入和自訂更多的模型，這類似於 Dockerfile 的作用。Ollama 還具備一個 REST API，用於執行和管理模型，以及一個用於模型互動的命令列工具集。

Ollama服務啟動日誌

模型管理

下載模型

ollama pull llama3:8b

預設下載的是 llama3:8b 。這裏冒號前面代表模型名稱，冒號後面代表 tag ，可以從這裏檢視llama3的所有tag

模型測試

註意：如果想讓模型中文回復，請先輸入： 你好！請中文回復

配置Open-WebUI

在CPU下執行

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main