演讲主题

如何打造好的Agent度量框架及踩坑指南

因为AI Agent赛道的发展日新月异，AI Agent 产品经理正在面对一个行业性困境：没有成体系的北极星指标。昨天的标准，今天可能就不再适用，耗时、完成率、赞踩反馈、交互反馈、Token效率、任务步长…似乎都重要，但是似乎都没有办法精准让PM理解什么叫做『好的智能体』。 本分享内容主要聚焦于，在迭代Skywork这款AI Agent产品的时候，我们是如何定义Agent产品的短期指标的，在这些短期指标的驱动下，有过哪些成功或失败的learning，为什么Agent产品需要长期指标，我们是如何通过实践总结出长期指标的特征的，又为什么采用『顶尖实习生』作为更长远更具象的方式，去锚定『好的智能体』。 大纲： 现在大部分智能体从产品体验层面是没有一个类似北极星的指标的，而是很多截面的细分指标； 复盘skywork踩过的坑，这种截面指标带来的问题和困境，以及如何定义『好的智能体』； 顶尖实习生和好的智能体在衡量标准上的共性，并且定义什么叫好。 听众收益： 1. 分享skywork踩过的坑和发现，避免踩同样的坑 2. 分享在实践中总结的智能体产品的终态可感知衡量维度