Chat Completions、Memory 实战
Chat Completions
- 安装 Python:https://www.python.org/downloads/
- 安装 OpenAI Python 包:pip install --upgrade openai
- 申请 API Key(测试阶段可使用国内代理,有免费额度,不保证可用性)
- 设置环境变量:export OPENAI_API_KEY='your-api-key-here'
- 编写代码:https://platform.openai.com/docs/quickstart/step-3-sending-your-first-api-request
Chat Completions Demo
核心代码
completion = client.chat.completion.create(
model = "gpt-4o-mini",
messages = [
{
"role":"system",
"content": "你现在是一个运维专家,你的工作是帮助用户解决技术问题。",
},
{
"role":"user",
"content": "linux 端口占用怎么排查?直接给我一条命令即可.",
},
],
)
示例
conda install -c conda-forge openai
from openai import OpenAI
from dotenv import load_dotenv
import os
import logging
# 加载环境变量
load_dotenv()
# logging.basicConfig(level=logging.INFO)
chatgpt_api_key = os.getenv('CHATGPT_API_KEY')
client = OpenAI(
api_key=chatgpt_api_key,
)
completion = client.chat.completions.create(
model="deepseek-chat",
messages=[
{
"role": "system",
"content": "你现在是一个运维专家,你的工作是帮助用户解决技术问题。",
},
{
"role": "user",
"content": "linux 端口被占用怎么排查?直接给我一条命令即可。",
},
],
)
print(completion.choices[0].message.content)
role=system:系统设定 Prompt
role=user:用户消息
role=assistant:AI 回复的消息
继续深入:如何基于 AI 的回答继续对话(记忆问题怎么处理)
Chat Completions + Memory
核心代码
completion = client.chat.completion.create(
model = "gpt-4o-mini",
messages = [
{
"role":"system",
"content": "你现在是一个运维专家,你的工作是帮助用户解决技术问题。",
},
{
"role":"user",
"content": "linux 端口占用怎么排查?直接给我一条命令即可.",
},
{
"role":"assistant",
"content": "AI 的回答",
},
{
"role":"user",
"content": "继续追问",
},
],
)
示例
from openai import OpenAI
from dotenv import load_dotenv
import os
import logging
# 加载环境变量
load_dotenv()
# logging.basicConfig(level=logging.INFO)
chatgpt_api_key = os.getenv('CHATGPT_API_KEY')
client = OpenAI(
api_key=chatgpt_api_key,
)
messages = [
{
"role": "system",
"content": "你现在是一个运维专家,你的工作是帮助用户解决技术问题。",
}
]
while True:
user_input = input("input Your Question:")
if user_input == "quit":
break
messages.append(
{
"role": "user",
"content": user_input,
}
)
print("当前聊天上下文:", messages)
completion = client.chat.completions.create(
model="gpt-4o-mini",
messages=messages,
)
reply = completion.choices[0].message.content
print(f"\n运维专家: {reply}")
messages.append(
{
"role": "assistant",
"content": reply,
}
)
(py310) (base) root@keti:~# /root/miniconda3/envs/py310/bin/python /root/aiops/ChatCompletionsMemory/main.py
input Your Question:端口被占用怎么排查?直接给我一条命令即可。
当前聊天上下文: [{'role': 'system', 'content': '你现在是一个运维专家,你的工作是帮助用户解决技术问题。'}, {'role': 'user', 'content': '端口被占用怎么排查?直接给我一条命令即可。'}]
运维专家: 可以使用以下命令来查找被占用的端口及其对应的进程:
```bash
lsof -i :<端口号>
```
请将 `<端口号>` 替换为你要排查的具体端口号。
input Your Question:怎么解除端口占用?
当前聊天上下文: [{'role': 'system', 'content': '你现在是一个运维专家,你的工作是帮助用户解决技术问题。'}, {'role': 'user', 'content': '端口被占用怎么排查?直接给我一条命令即可。'}, {'role': 'assistant', 'content': '可以使用以下命令来查找被占用的端口及其对应的进程:\n\n```bash\nlsof -i :<端口号>\n```\n\n请将 `<端口号>` 替换为你要排查的具体端口号。'}, {'role': 'user', 'content': '怎么解除端口占用?'}]
运维专家: 要解除端口占用,可以通过以下步骤进行:
1. **查找占用该端口的进程**:
使用以下命令找到占用特定端口的进程ID(PID):
```bash
lsof -i :<端口号>
```
2. **结束进程**:
一旦你得到了占用端口的进程ID,可以使用以下命令结束该进程:
```bash
kill -9 <PID>
```
将 `<PID>` 替换为实际的进程ID。
**注意**: 使用 `kill -9` 强制结束进程,确保你明白该进程的功能,避免停止重要的服务。
input Your Question:最开始我的问题是什么?
当前聊天上下文: [{'role': 'system', 'content': '你现在是一个运维专家,你的工作是帮助用户解决技术问题。'}, {'role': 'user', 'content': '端口被占用怎么排查?直接给我一条命令即可。'}, {'role': 'assistant', 'content': '可以使用以下命令来查找被占用的端口及其对应的进程:\n\n```bash\nlsof -i :<端口号>\n```\n\n请将 `<端口号>` 替换为你要排查的具体端口号。'}, {'role': 'user', 'content': '怎么解除端口占用?'}, {'role': 'assistant', 'content': '要解除端口占用,可以通过以下步骤进行:\n\n1. **查找占用该端口的进程**:\n 使用以下命令找到占用特定端口的进程ID(PID):\n ```bash\n lsof -i :<端口号>\n ```\n\n2. **结束进程**:\n 一旦你得到了占用端口的进程ID,可以使用以下命令结束该进程:\n ```bash\n kill -9 <PID>\n ```\n 将 `<PID>` 替换为实际的进程ID。\n\n**注意**: 使用 `kill -9` 强制结束进程,确保你明白该进程的功能,避免停止重要的服务。'}, {'role': 'user', 'content': '最开始我的问题是什么?'}]
运维专家: 最开始你的问题是“端口被占用怎么排查?直接给我一条命令即可。”
input Your Question:
由于对话接口是无状态的,每次推理都需要把历史聊天记录追加到 message 参数
保持记忆=把聊天记录上下文传到 message 参数
LangChain Memory 记忆
- 最简单的使用方式
ConversationBufferMemory - 根据对话次数控制记忆长度
ConversationBufferWindowMemory - 根据 Token 控制记忆长度
ConversationTokenBufferMemory - 总结对话,实现更长的记忆
ConversationSummaryMemory
LangChain ConversationBufferMemory
核心代码
memory = ConversationBuffMemory()
conversation = ConversationChain(
llm = llm,
memory = memory,
verbose = False,
)
示例
# pip install openai==0.28.1
# pip install langchain==0.0.330
from langchain.chat_models import ChatOpenAI
from langchain.chains import ConversationChain
from langchain.memory import ConversationBufferMemory
from dotenv import load_dotenv
import os
import logging
# 加载环境变量
load_dotenv()
# logging.basicConfig(level=logging.INFO)
chatgpt_api_key = os.getenv('CHATGPT_API_KEY')
llm = ChatOpenAI(
model = "gpt-4o-mini",
openai_api_key = chatgpt_api_key,
max_token = None,
timeout = None,
)
memory = ConversationBufferMemory()
conversation = ConversationChain(
llm=llm,
memory=memory,
verbose=False,
)
while True:
user_input = input("input Your Question:")
if user_input == "quit":
break
reply = conversation.predict(input=user_input)
print("当前聊天上下文:", conversation.memory)
print(f"\n\n运维专家: {reply}")
chat_memory = ChatMessageHistory(
message = [
HumanMessage(content='linux 端口占用怎么排查?直接给我一条命令即可.')
AIMessage(content='```bash\nnetstat -tuln | grep LISTEN\n```'),
AIMessage(content='有什么我可以帮助你的吗?如果你有更多关于 Linux 或其他方面的问题,随时告诉我!'),
HumanMessage(content='你刚才给我的命令是什么?'),
AUMessage(content='刚才给你的命令是用来查询 Linux 系统上正在监听的端口的。具体命令是:\n\n```bash\nnetstat -tuln | grep LISTEN\n```\n\n这个命令的作用是列出所有正在监听的TCP和UDP端口。`netstat -tuln` 显示所有的 TCP (`-t`)和 UDP (`-u`) 端口,以数字形式显示端口号 (`-n`),并且只显示监听状态的端口 (`-l`)。然后,`grep LISTEN` 用来过滤处于监听状态的端口。')
]
)
容易使用,通过传递历史消息来实现记忆。
程序退出后对话上下文不会被保存
LangChain ConversationBufferWindowMemory
memory = ConversationBuffWindowMemory(k=30) # 只记住最后 30 轮的对话
conversation = ConversationChain(
llm = llm,
memory = memory,
verbose = False,
)
LangChain ConversationTokenBufferMemory
llm = ChatOpenAI()
memory = ConversationTokenBufferMemory(llm=llm, max_token_limit=128000) # 只记住 128k 以内 token 的对话
conversation = ConversationChain(
llm = llm,
memory = memory,
verbose = False,
)
LangChain ConversationSummaryBufferMemory
llm = ChatOpenAI()
memory = ConversationSummaryBufferMemory(llm=llm, max_token_limit=128000) # 对超过 128K Token 的上下文进行总结,实现记住更多的内容
conversation = ConversationChain(
llm = llm,
memory = memory,
verbose = False,
)