Ollama + ModelScope：本地大模型极简部署

核心目标帮你用最短时间在本地跑通大模型并选对部署工具。适用人群个人开发者、学生党、AI应用入门者。一、Ollama一条命令搞定本地大模型1.1 是什么Ollama 是一个开箱即用的大模型本地运行框架封装了底层推理引擎llama.cpp支持 macOS / Windows / Linux / Docker。1.2 安装与常用命令安装Linuxcurl -fsSL https://ollama.com/install.sh | bashDocker 方式curl -fsSL https://ollama.com/install.sh | bash常用命令ollama run 模型名 # 下载并运行模型 ollama list # 查看已安装模型 ollama rm 模型名 # 删除模型1.3 一键运行 ModelScope 模型直接拉取魔搭社区的 GGUF 模型ollama run modelscope.cn/Qwen/Qwen2.5-3B-Instruct-GGUF ollama run modelscope.cn/unsloth/DeepSeek-R1-Distill-Qwen-1.5B-GGUF二、调用大模型接口2.1 Python 调用OpenAI 兼容风格from openai import OpenAI client OpenAI( base_urlhttp://localhost:11434/v1, api_keyollama ) response client.chat.completions.create( modelqwen3.5:2b, messages[{role: user, content: 天空为什么是蓝色的?}], streamFalse ) print(response.choices[0].message.content)2.2 Python 调用Ollama 原生 Clientfrom ollama import Client client Client(http://localhost:11434) response client.chat( modelqwen3.5:2b, messages[{role: user, content: 你叫什么名字?}] ) print(response.message.content)2.3 HTTP 接口测试curl http://localhost:11434/api/generate -d { model: modelscope.cn/unsloth/DeepSeek-R1-Distill-Qwen-1.5B-GGUF, prompt: 为什么天空是蓝色?, stream: false }三、三大本地部署工具对比速览维度OllamavLLMllama.cpp核心定位开箱即用高性能推理服务极致轻量底层引擎上手难度⭐ 极简⭐⭐⭐ 需配置环境⭐⭐⭐⭐⭐ 硬核编译调参运行格式GGUFHuggingFace (Safetensors)GGUF硬件依赖CPU / GPU 自动调度NVIDIA GPU (强依赖 CUDA)CPU / Apple Silicon / 低配GPU并发能力弱 (单用户友好)极强(高并发服务)弱 (单线程)适用场景个人开发、快速验证、本地 RAG企业级 API 服务、多卡并行推理边缘计算、旧电脑、树莓派一句话选型建议普通用户/开发者→Ollama省心专注应用企业服务/N卡环境→vLLM吞吐量王者低配硬件/嵌入式→llama.cppCPU 也能跑四、彩蛋模型输出自动发邮件import smtplib from email.mime.text import MIMEText from ollama import chat res chat(modelmodelscope.cn/unsloth/DeepSeek-R1-Distill-Qwen-1.5B-GGUF:latest, messages[{role: user, content: 给你的朋友写一封信}]) # SMTP 配置示例为163邮箱 msg MIMEText(res.message.content, plain, utf-8) msg[From] your_email163.com msg[To] receiverqq.com smtp smtplib.SMTP() smtp.connect(smtp.163.com, 25) smtp.login(your_email163.com, 授权码) smtp.sendmail(msg[From], msg[To], msg.as_string()) print(邮件发送成功)本地部署大模型已非常成熟Ollama ModelScope 的组合能让开发者在几分钟内跑起主流模型。根据自身场景开发/生产/边缘选择合适工具即可高效开启 AI 应用之旅。