Ollama - 在本地运行大型语言模型的开源工具

开源仓库：https://github.com/ollama/ollama 官方网站：https://ollama.com/ 模型搜索：

Ollama Search

Search for models on Ollama.

常用命令


serve      # 启动服务
create     # 创建模型
show       # 查看模型信息
run        # 运行模型
stop       # 停止模型
pull       # 下载模型
push       # 上传模型
list       # 模型列表
ps         # 运行中模型列表
cp         # 复制模型
rm         # 删除模型
help       # 查看帮助

安装指南

Windows安装

官网下载：ollamaDownload Ollama on Windows
Download Ollama on Windows
Download Ollama for Windows
ollama

下载最新的Windows安装程序

运行安装程序并按照提示完成安装

安装完成后，Ollama会在后台运行，并在系统托盘显示图标


ollama serve //运行命令

/bye  //结束命令

ollamasetup.exe /DIR=E:\\APP\\Ollama  //安装f盘

模型下载，关于越狱关键词：abliterated

macOS安装


brew install ollama

或访问官方下载页面获取安装包。

Linux安装


curl -fsSL <https://ollama.com/install.sh> | sh

开始使用

安装完成后，可以通过命令行或API使用Ollama：

命令行使用

运行一个模型：


ollama run llama3

拉取模型：


ollama pull llama3

查看可用模型列表：


ollama list

API使用

Ollama提供了一个HTTP API，可以通过curl或任何HTTP客户端访问：


# 生成文本
curl -X POST <http://localhost:11434/api/generate> -d '{
  "model": "llama3",
  "prompt": "为什么天空是蓝色的？"
}'

# 聊天对话
curl -X POST <http://localhost:11434/api/chat> -d '{
  "model": "llama3",
  "messages": [
    { "role": "user", "content": "为什么天空是蓝色的？" }
  ]
}'

高级功能：Modelfile

Ollama的一个强大功能是可以通过Modelfile自定义模型。创建一个名为Modelfile的文件：


FROM llama3
SYSTEM 你是一位友好的中文AI助手，善于用中文回答问题。
PARAMETER temperature 0.7

然后创建自定义模型：


ollama create chinese-assistant -f Modelfile

使用自定义模型：


ollama run chinese-assistant

与开发工具集成

Ollama可以轻松集成到您的开发工具和工作流中：

VSCode: 使用Continue或ollama-vscode扩展

JetBrains: 使用AI Assistant插件

命令行: 使用ollamac等工具增强终端体验

Web界面: 使用open-webui或llama-cpp-python提供的web界面

编程语言: 提供Python、Node.js、Go等多种语言的API客户端库

硬件需求

Ollama可以在不同配置的设备上运行，但性能会随硬件规格变化：

最低配置: 8GB RAM，集成显卡

推荐配置: 16GB+ RAM，6GB+ VRAM的独立显卡

高性能: 32GB+ RAM，12GB+ VRAM的高端显卡

社区资源

GitHub仓库: https://github.com/ollama/ollama

官方文档: https://ollama.com/docs

模型库: https://ollama.com/library

Discord社区: https://discord.gg/ollama

下载链接：

Windows: ollamaDownload Ollama on Windows
Download Ollama on Windows
Download Ollama for Windows
ollama

macOS: ollamaDownload Ollama on macOS
Download Ollama on macOS
Download Ollama for macOS
ollama

Linux: curl -fsSL <https://ollama.com/install.sh> | sh

模型名称	大小	特点
llama3	8B	Meta最新的开源模型，通用性能优秀
llama3:70b	70B	最强大的Llama 3版本，接近闭源大模型性能
mistral	7B	高效且强大的小型模型
gemma:7b	7B	Google开源的高性能模型
qwen:14b	14B	阿里巴巴开源的中英双语模型
yi:34b	34B	01.AI开发的高性能模型
llava	7B	多模态模型，支持图像理解
codegemma	7B	专为代码生成优化的模型