本地部署常见开源模型并推理(Llama3、Qwen、DeepSeek)
Ollama:一行命令部署大模型
下载安装:https://github.com/ollama/ollama 本地启动大模型推理:ollama run llama3.1 支持 CPU/GPU 推理
📎 此处原稿为飞书表格附件,Markdown 导出时未包含该表格,内容暂缺。 模型列表:
注意:7B 模型至少需要 8G RAM、13B 至少需要 16G RAM、33B 至少需要 32G RAM
Ollama:接入任何开源模型(GGUF 模型)
创建 Modelfile,并指定本地的 GGUF 模型:FROM ./vicuna-33b.Q4_0.gguf 创建本地模型:ollama create example -f Modelfile 运行模型:ollama run example
Ollama: Qwen2 本地推理
启动 LLM 本地推理:ollama run qwen2:7b
Ollama: DeepSeek 写代码模型
启动 LLM 本地推理:ollama run deepseek-coder-v2
提升写代码效率,能力强
推理示例:写 Python 代码
Ollama:定制 System Prompt
拉取模型:ollama pull llama3.1
创建 Modelfile 文件,指定模型和 SYSTEM Prompt
创建模型:ollama create mario -f ./Modelfile
运行模型:ollama run mario
Ollama REST API
兼容 OpenAI 接口 • 支持一次性推理和对话推理
界面推理:Ollama + Open WebUI
Open WebUI 是一个类似于 ChatGPT 的开源 UI https://github.com/open-webui/open-webui 和 Ollama 无缝集成
一键启动
- docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v openwebui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
- 访问 http://localhost:3000/
RAG:Ollama + Qwen2 + Open WebUI
支持通过上传文件的方式进行对话
基于网页内容:Ollama + Qweb2 + Open WebUI
通过在对话框中输入“#网址”引用网页内容进行对话
Ollama + Open WebUI 其他特色能力
支持搜索引擎,例如 Google
支持配置 Ollama 多实例负载均衡
支持 TTS 和语音识别
支持集成 ComfyUI 实现文生图
支持多模型对话