有个信息抽取问题,来回改了很多轮提示词。每次结果不对,第一反应都是再补一条规则。提示词越来越重,多数修改却只停留在表面,效果依然有限。

后来换了个方向:先看模型实际收到了什么。检查输入后才发现,其中混着一些与正文关系不大的内容。删掉这些内容,结果反而更好,也更稳定。

这不能证明清理输入一定比优化提示词更重要,更不能说明输入是唯一原因。它至少暴露了一个容易被忽略的排查顺序:结果不理想时,先别急着继续加约束,也要确认模型看到的内容是否真的相关。

可以把两者粗略分开:输入决定模型看到了什么;提示词负责给出任务目标、判断原则和必要边界。相比不断穷举规则,更重要的是提供合适的引导和抽象。输入若混着噪声,再细的规则也可能只是在噪声上继续修补。

直到这时才发现,之前一直盯着怎么要求模型,却没认真看过到底给了它什么。