Prompt Engineering 入门和实战

什么是 Prompt?

Prompt(提示语):给人工智能模型输入文本或指令。这些指令引导模型生成特定的输出; Prompt engineering:指的是在使用生成式人工智能模型(如GPT-4)时,设计和优化输入文本(即 prompt)的过程,以便获得期望的输出。

好的 Prompt engineering = 提好的问题 = 包含好答案的上下文(参考)= 好的答案。 Prompt 决定模型输出质量。

Token

大语言模型通过 Token 来处理文本,模型理解了 Token之间的统计关系,并基于已输出的 Token 计算下一个Token 的概率分布,并选择概率最高的 Token 作为预测结果。

注意:空格也会占用 Token。

Token 统计包:https://github.com/openai/tiktoken

模型的上下文长度

Token 的输入(上下文窗口)和输出都是有限的,不同模型的限制不同。 Token 越大,可输入的内容越多。 模型回答效果并不会随着输入 Token 数量线性增长,可能会有相反作用。

Prompt Engineering

  1. 尽量给出具体的描述,避免说“不要做什么”,而是具体说明“要做什么”。
  2. 对重要事项进行排序
  3. 标准的格式,例如 markdown 语法
  4. 拆解任务,给出思路

两种提示语编写模式:Zero-shot VS few-shot

Zero-shot

模型单纯通过自然语言描述任务来回答问题

通过输入识别用户的意图,用户的意图可能是查询日志、查询指标或者运维操作。

用户输入:帮我检查一下系统是否有错误?

Few-shot

除了自然语言描述以外,再给模型一些例子参考

通过输入识别用户的意图,用户的意图可能是查询日志、查询指标或者运维操作。以下是一些例子:

Example1:
输入:日志里有多少包含 Error 关键字的日志?
意图:查询日志

用户输入:帮我检查一下系统是否有错误?

思维链 Prompt

Chain of Thought(CoT) 让模型做出一步一步的思考,生成更具备解释性的答案,一般来说可以提高问题的准确率,对于 Zero-shot 和 Few-shot 均有效。

[你的问题],让我们一步一步思考,并给每一步做出简单解释。

通用知识 Prompt

Generate Knowledge Prompting

在上下文中提供额外的知识来改善推理结果,比如把运维专家知识库的部分内容放在 system prompt 中进行问答

你现在是一名运维专家,请根据以下运维专家知识库对故障作出解释和提出修复建议。
专家知识库内容如下:

Prompt 分片(Token 长度限制)

例如,对于长文本的总结,先分片总结,然后再汇总进行总结.

程序辅助 Prompt

Program-aided Language 对于复杂的任务,可以让 LLM 生成程序并运行得出结果,一般是 Python 代码

生成一段Python代码获取当前时间戳