Chat Completions、Memory 实战

Chat Completions

  1. 安装 Python:https://www.python.org/downloads/
  2. 安装 OpenAI Python 包:pip install --upgrade openai
  3. 申请 API Key(测试阶段可使用国内代理,有免费额度,不保证可用性)
  4. 设置环境变量:export OPENAI_API_KEY='your-api-key-here'
  5. 编写代码:https://platform.openai.com/docs/quickstart/step-3-sending-your-first-api-request

Chat Completions Demo

核心代码

completion = client.chat.completion.create(
    model = "gpt-4o-mini",
    messages = [
        {
            "role":"system",
            "content": "你现在是一个运维专家,你的工作是帮助用户解决技术问题。",
        },
        {
            "role":"user",
            "content": "linux 端口占用怎么排查?直接给我一条命令即可.",
        },
    ],
)

示例

conda install -c conda-forge openai
from openai import OpenAI
from dotenv import load_dotenv
import os
import logging

# 加载环境变量
load_dotenv()
# logging.basicConfig(level=logging.INFO)

chatgpt_api_key = os.getenv('CHATGPT_API_KEY')

client = OpenAI(
    api_key=chatgpt_api_key,
)

completion = client.chat.completions.create(
    model="deepseek-chat",
    messages=[
        {
            "role": "system",
            "content": "你现在是一个运维专家,你的工作是帮助用户解决技术问题。",
        },
        {
            "role": "user",
            "content": "linux 端口被占用怎么排查?直接给我一条命令即可。",
        },
    ],
)

print(completion.choices[0].message.content)
role=system:系统设定 Prompt
role=user:用户消息
role=assistant:AI 回复的消息

继续深入:如何基于 AI 的回答继续对话(记忆问题怎么处理)

Chat Completions + Memory

核心代码

completion = client.chat.completion.create(
    model = "gpt-4o-mini",
    messages = [
        {
            "role":"system",
            "content": "你现在是一个运维专家,你的工作是帮助用户解决技术问题。",
        },
        {
            "role":"user",
            "content": "linux 端口占用怎么排查?直接给我一条命令即可.",
        },
        {
            "role":"assistant",
            "content": "AI 的回答",
        },
        {
            "role":"user",
            "content": "继续追问",
        },
    ],
)

示例

from openai import OpenAI
from dotenv import load_dotenv
import os
import logging

# 加载环境变量
load_dotenv()
# logging.basicConfig(level=logging.INFO)

chatgpt_api_key = os.getenv('CHATGPT_API_KEY')

client = OpenAI(
    api_key=chatgpt_api_key,
)

messages = [
    {
        "role": "system",
        "content": "你现在是一个运维专家,你的工作是帮助用户解决技术问题。",
    }
]

while True:
    user_input = input("input Your Question:")
    if user_input == "quit":
        break
    messages.append(
        {
            "role": "user",
            "content": user_input,
        }
    )

    print("当前聊天上下文:", messages)

    completion = client.chat.completions.create(
        model="gpt-4o-mini",
        messages=messages,
    )

    reply = completion.choices[0].message.content
    print(f"\n运维专家: {reply}")

    messages.append(
        {
            "role": "assistant",
            "content": reply,
        }
    )
(py310) (base) root@keti:~# /root/miniconda3/envs/py310/bin/python /root/aiops/ChatCompletionsMemory/main.py
input Your Question:端口被占用怎么排查?直接给我一条命令即可。
当前聊天上下文: [{'role': 'system', 'content': '你现在是一个运维专家,你的工作是帮助用户解决技术问题。'}, {'role': 'user', 'content': '端口被占用怎么排查?直接给我一条命令即可。'}]

运维专家: 可以使用以下命令来查找被占用的端口及其对应的进程:

```bash
lsof -i :<端口号>
```

请将 `<端口号>` 替换为你要排查的具体端口号。
input Your Question:怎么解除端口占用?
当前聊天上下文: [{'role': 'system', 'content': '你现在是一个运维专家,你的工作是帮助用户解决技术问题。'}, {'role': 'user', 'content': '端口被占用怎么排查?直接给我一条命令即可。'}, {'role': 'assistant', 'content': '可以使用以下命令来查找被占用的端口及其对应的进程:\n\n```bash\nlsof -i :<端口号>\n```\n\n请将 `<端口号>` 替换为你要排查的具体端口号。'}, {'role': 'user', 'content': '怎么解除端口占用?'}]

运维专家: 要解除端口占用,可以通过以下步骤进行:

1. **查找占用该端口的进程**:
   使用以下命令找到占用特定端口的进程ID(PID):
   ```bash
   lsof -i :<端口号>
   ```

2. **结束进程**:
   一旦你得到了占用端口的进程ID,可以使用以下命令结束该进程:
   ```bash
   kill -9 <PID>
   ```
   将 `<PID>` 替换为实际的进程ID。

**注意**: 使用 `kill -9` 强制结束进程,确保你明白该进程的功能,避免停止重要的服务。
input Your Question:最开始我的问题是什么?
当前聊天上下文: [{'role': 'system', 'content': '你现在是一个运维专家,你的工作是帮助用户解决技术问题。'}, {'role': 'user', 'content': '端口被占用怎么排查?直接给我一条命令即可。'}, {'role': 'assistant', 'content': '可以使用以下命令来查找被占用的端口及其对应的进程:\n\n```bash\nlsof -i :<端口号>\n```\n\n请将 `<端口号>` 替换为你要排查的具体端口号。'}, {'role': 'user', 'content': '怎么解除端口占用?'}, {'role': 'assistant', 'content': '要解除端口占用,可以通过以下步骤进行:\n\n1. **查找占用该端口的进程**:\n   使用以下命令找到占用特定端口的进程ID(PID):\n   ```bash\n   lsof -i :<端口号>\n   ```\n\n2. **结束进程**:\n   一旦你得到了占用端口的进程ID,可以使用以下命令结束该进程:\n   ```bash\n   kill -9 <PID>\n   ```\n   将 `<PID>` 替换为实际的进程ID。\n\n**注意**: 使用 `kill -9` 强制结束进程,确保你明白该进程的功能,避免停止重要的服务。'}, {'role': 'user', 'content': '最开始我的问题是什么?'}]

运维专家: 最开始你的问题是“端口被占用怎么排查?直接给我一条命令即可。”
input Your Question:

由于对话接口是无状态的,每次推理都需要把历史聊天记录追加到 message 参数

保持记忆=把聊天记录上下文传到 message 参数

LangChain Memory 记忆

  1. 最简单的使用方式 ConversationBufferMemory
  2. 根据对话次数控制记忆长度 ConversationBufferWindowMemory
  3. 根据 Token 控制记忆长度 ConversationTokenBufferMemory
  4. 总结对话,实现更长的记忆 ConversationSummaryMemory

LangChain ConversationBufferMemory

核心代码

memory = ConversationBuffMemory()
conversation  = ConversationChain(
    llm = llm,
    memory = memory,
    verbose = False,
)

示例

# pip install openai==0.28.1
# pip install langchain==0.0.330
from langchain.chat_models import ChatOpenAI
from langchain.chains import ConversationChain
from langchain.memory import ConversationBufferMemory

from dotenv import load_dotenv
import os
import logging

# 加载环境变量
load_dotenv()
# logging.basicConfig(level=logging.INFO)

chatgpt_api_key = os.getenv('CHATGPT_API_KEY')

llm = ChatOpenAI(
    model = "gpt-4o-mini",
    openai_api_key = chatgpt_api_key,
    max_token = None,
    timeout = None,
)

memory = ConversationBufferMemory()
conversation = ConversationChain(
    llm=llm,
    memory=memory,
    verbose=False,
)

while True:
    user_input = input("input Your Question:")
    if user_input == "quit":
        break

    reply = conversation.predict(input=user_input)
    print("当前聊天上下文:", conversation.memory)
    print(f"\n\n运维专家: {reply}")
chat_memory = ChatMessageHistory(
    message = [
        HumanMessage(content='linux 端口占用怎么排查?直接给我一条命令即可.')
        AIMessage(content='```bash\nnetstat -tuln | grep LISTEN\n```'),
        AIMessage(content='有什么我可以帮助你的吗?如果你有更多关于 Linux 或其他方面的问题,随时告诉我!'),
        HumanMessage(content='你刚才给我的命令是什么?'),
        AUMessage(content='刚才给你的命令是用来查询 Linux 系统上正在监听的端口的。具体命令是:\n\n```bash\nnetstat -tuln | grep LISTEN\n```\n\n这个命令的作用是列出所有正在监听的TCP和UDP端口。`netstat -tuln` 显示所有的 TCP (`-t`)和 UDP (`-u`) 端口,以数字形式显示端口号 (`-n`),并且只显示监听状态的端口 (`-l`)。然后,`grep LISTEN` 用来过滤处于监听状态的端口。')
    ]
)

容易使用,通过传递历史消息来实现记忆。

程序退出后对话上下文不会被保存

LangChain ConversationBufferWindowMemory

memory = ConversationBuffWindowMemory(k=30) # 只记住最后 30 轮的对话
conversation = ConversationChain(
    llm = llm,
    memory = memory,
    verbose = False,
)

LangChain ConversationTokenBufferMemory

llm = ChatOpenAI()
memory = ConversationTokenBufferMemory(llm=llm, max_token_limit=128000) # 只记住 128k 以内 token 的对话
conversation = ConversationChain(
    llm = llm,
    memory = memory,
    verbose = False,
)

LangChain ConversationSummaryBufferMemory

llm = ChatOpenAI()
memory = ConversationSummaryBufferMemory(llm=llm, max_token_limit=128000) # 对超过 128K Token 的上下文进行总结,实现记住更多的内容
conversation = ConversationChain(
    llm = llm,
    memory = memory,
    verbose = False,
)