V2EX › 商业模式 做大模型后训练或评测的团队,请教下真有这样的需求吗? Kopei · 37 mins ago · 92 views 我司在探索一种评测方式:让模型针对结果尚未公布的真实事件,结合当时可获得的信息进行分析并给出概率预测;等结果公布后,再验证预测表现和概率校准情况。
客户可以据此识别模型判断中的偏差,比较不同模型或版本的表现,为模型选型、后训练优化和 Agent 能力改进提供真实世界的评测依据。不懂就问,这种需求对后训练或 agent 团队真实存在吗?
🙏🏻 No Comments Yet 评测 预测 模型