Ollama 本地部署大模型教程 - 免费使用 AI

Ollama 是最简单的本地大模型运行工具，一条命令即可运行 Llama、Mistral 等模型。

安装

macOS / Linux: `bash curl -fsSL https://ollama.com/install.sh | sh `

Windows: 下载 https://ollama.com/download

运行模型

`bash # 运行 Llama 3 ollama run llama3

# 运行 Mistral ollama run mistral

# 运行 Qwen ollama run qwen `

API 调用

`python import requests response = requests.post('http://localhost:11434/api/generate', json={ 'model': 'llama3', 'prompt': '你好', 'stream': False }) print(response.json()['response']) `

常用命令

• ollama list：查看已下载模型
• ollama pull model_name：下载模型
• ollama rm model_name：删除模型

配置要求

• 8GB 内存：7B 模型
• 16GB 内存：14B 模型
• 32GB 内存：30B+ 模型

本文链接：https://www.kkkliao.cn/?id=638 转载需授权！