66k star,開源免費，快速在本地構建你自己的大模型

2024-05-26碼農

這個計畫應該是目前最火的計畫之一了，如果你對大模型感興趣，那麽這個計畫一定不能錯過。

ollama簡介

ollama是一款開源的、輕量級的框架，它可以快速在本地構建及執行大模型，尤其是一些目前最新開源的模型，如 Llama 3, Mistral, Gemma等。

官網上有大量已經開源的模型，部份針對性微調過的模型也可以選擇到，如llama2-chinese。

關鍵現在部署很簡單，跨平台支持。

跨平台支持，windows、linux、mac都可以使用

支持大部份模型，包括我們熟悉的千問、llama3、phi3等

使用者可以透過簡單的命令快速啟動和與 Llama 3 等模型進行互動。

Ollama 允許使用者透過 Modelfile 自訂模型，例如設定創造性參數或系統訊息。

Ollama 支持執行高達數十億參數的模型，確保了處理大型模型的能力。

下載：使用者可以根據自己的作業系統選擇下載 macOS、Windows 預覽版或使用 Linux 的安裝指令碼。
執行模型 ：透過簡單的命令 ollama run <model_name> 來啟動模型。
自訂模型 ：使用者可以建立一個名為 Modelfile 的檔，並使用 FROM 指令匯入模型，然後透過 ollama create 和 ollama run 命令來建立和執行自訂模型。

例如，要執行 Llama 3 模型，使用者可以使用以下命令：

ollama run llama3

展示你的所有模型：

ollama list

拉取模型

ollama pull llama3

透過命令列去體驗：

curl http://localhost:11434/api/chat -d '{ "model": "llama3", "messages": [ { "role": "user", "content": "why is the sky blue?" } ] }'

當然現在也有一些web頁面可以直接使用，如open-webui，後面的文章會有具體的介紹。