Judge the Judge: Building LLM Evaluators That Actually Work with GEPA — Mahmoud Mabrouk, Agenta AI | 构建真正有效的LLM评估器：从校准到优化 —— 使用GEPA算法实战指南
https://www.youtube.com/watch?v=X4dEHRzBLmc 构建真正有效的LLM评估器：从校准到优化 —— 使用GEPA算法实战指南 通俗易懂的整体解释 这篇演讲的核心，就像它的标题“Judge the Judge”（评判裁判）一样，讲的是： 我们如何训练一个AI裁判（LLM as a judge），让它能像人类专家一样，公平、准确地评判另一个AI（比如客服机器人）的表现好坏。 想象一下，你开发了一个AI客服机器人。为了知道它干得好不好，你不能每次都找真人来看聊天记录打分，那样太慢了。于是你找了个现成的AI裁判来帮忙。但这个AI裁判可能是个“糊涂蛋”，它给出的评价
https://www.youtube.com/watch?v=X4dEHRzBLmc
这篇演讲的核心，就像它的标题“Judge the Judge”（评判裁判）一样，讲的是： 我们如何训练一个AI裁判（LLM as a judge），让它能像人类专家一样，公平、准确地评判另一个AI（比如客服机器人）的表现好坏。
想象一下，你开发了一个AI客服机器人。为了知道它干得好不好，你不能每次都找真人来看聊天记录打分，那样太慢了。于是你找了个现成的AI裁判来帮忙。但这个AI裁判可能是个“糊涂蛋”，它给出的评价和人类的判断常常不一致，导致你以为机器人表现不错，客户却在抱怨。
这篇演讲就是教你一套方法，来解决这个“糊涂裁判”的问题。作者用了一个叫 GEPA 的算法，像一个“教练”一样，去不断调整和优化AI裁判的“判罚标准”（也就是提示词Prompt），让它最终能和人类的判断保持一致。
Quelle: dev.to (dev.to). Original öffnen