本地部署常见开源模型并推理(Llama3、Qwen、DeepSeek)

Ollama:一行命令部署大模型

下载安装:https://github.com/ollama/ollama 本地启动大模型推理:ollama run llama3.1 支持 CPU/GPU 推理

📎 此处原稿为飞书表格附件,Markdown 导出时未包含该表格,内容暂缺。 模型列表:

https://ollama.com/library

注意:7B 模型至少需要 8G RAM、13B 至少需要 16G RAM、33B 至少需要 32G RAM

Ollama:接入任何开源模型(GGUF 模型)

创建 Modelfile,并指定本地的 GGUF 模型:FROM ./vicuna-33b.Q4_0.gguf 创建本地模型:ollama create example -f Modelfile 运行模型:ollama run example

Ollama: Qwen2 本地推理

启动 LLM 本地推理:ollama run qwen2:7b

Ollama: DeepSeek 写代码模型

启动 LLM 本地推理:ollama run deepseek-coder-v2

提升写代码效率,能力强

推理示例:写 Python 代码

Ollama:定制 System Prompt

拉取模型:ollama pull llama3.1

创建 Modelfile 文件,指定模型和 SYSTEM Prompt

创建模型:ollama create mario -f ./Modelfile

运行模型:ollama run mario

Ollama REST API

兼容 OpenAI 接口 • 支持一次性推理和对话推理

界面推理:Ollama + Open WebUI

Open WebUI 是一个类似于 ChatGPT 的开源 UI https://github.com/open-webui/open-webui 和 Ollama 无缝集成

一键启动

RAG:Ollama + Qwen2 + Open WebUI

支持通过上传文件的方式进行对话

基于网页内容:Ollama + Qweb2 + Open WebUI

通过在对话框中输入“#网址”引用网页内容进行对话

Ollama + Open WebUI 其他特色能力

支持搜索引擎,例如 Google

支持配置 Ollama 多实例负载均衡

支持 TTS 和语音识别

支持集成 ComfyUI 实现文生图

支持多模型对话