返回首页
RadarAI··论文与技术

Dan McKinley:提示词并非真实存在,生产环境应靠评测与自动优化

中文摘要

提示词无意义,评测与自动优化才是Agent关键。

English Summary

Prompts are meaningless; evaluation and auto-optimization are key for agents.

原文节选

工程师 Dan McKinley 根据构建面向消费者的生产级 Agent 的经验提出,提示词本身不重要,可度量的自我改进系统才是关键。他建议让 Claude 生成对抗性场景、写成 pass^k 测试,再用 GEPA 等优化器自动改写提示词并用 holdout 测试防止过拟合,结合 LLM 判官和生产监控形成自改进闭环;领域专家应把精力放在构建好坏样本数据集和评测上,而不是手工打磨提示词。