当前位置: 欣欣网 > 码农

一个月获得 9000 Star! 这个开源项目牛!

2024-05-27码农

Ollama 是一个轻量级、可扩展的大模型框架, 这个开源项目能帮助你在本地电脑上玩转和运行大语言模型。

如果你的电脑没有 GPU 也是能使用的,只不过大模型会使用 CPU 计算慢一些。

第一步 部署

Ollama 支持 macOS、Windows 预览版和 Linux 系统。你可以直接去开源项目的主页去找最新的部署方式: github.com/ollama

或者使用 Docker 来快速启动 Ollama。 此外,Ollama还提供了Python 和 JavaScript 库,方便开发者集成到自己的项目中。

macOS

下载链接:github.com/ollama/ollama#macos

Windows预览版

下载链接:github.com/ollama/ollama#windows-preview

Linux

安装命令:

curl -fsSL https://ollama.com/install.sh | sh

Docker

Ollama 的官方 Docker 镜像可在 Docker Hub 上找到,名为`ollama/ollama`。

第二步 下载模型

Ollama支持一系列模型,可以去 ollama.com/library 去下载,例如 Llama 3、Gemma、Mistral和国内的千问等模型都支持,具有不同的参数和大小,用户可以根据需要下载和运行。

下载完成,你就能在本地电脑上随意的切换和使用你下载的大模型了。

第三步 运行模型

你可以打开命令行,使用使用 ollama run 命令运行模型,比如:

$ ollama run gemma:2b

执行这个命令会启动 Ollama REPL,你可以在其中与 Gemma 2B 模型进行交互。以下是示例:

第四步:Web 界面

如果你不喜欢在命令行的窗口使用大模型,推荐你使用 Ollama WebUI ,启动后你可以看到一个干净、直观的界面,类似于 ChatGPT 的界面。

开源地址:https://github.com/open-webui/open-webui

推荐阅读

1.

2.

3.

4.