功能性的测评是关注大模型是否提供了预期的功能和行为比如能够通过阅读提供的帮助手册回答用户关于产品操作的问题；非功能性测评注系统或模型的性能安全性可用性等非功能方面比如回答一个问题需要多少时长能够为未来的功能集成提供更好的环境这部分有很多的指标是需要算法同学协助进行的。
以我们公司的项目为例我的功能性测评为 非功能性测评 . 确定打分指南 产品经理需要制定一套标准的打分指南能够便于对模型评分进行解释而不是过于主观的进行评分示例 完全满足要求一字不改。
直接采用。 不完全满足有小瑕疵但 克罗地亚 whatsapp 数据 受。小改之后采用。 不完全满足有大瑕疵虽然可以改但改起来也比较麻烦。不会改直接抛弃。 完全不满足都是错的都是偏题。无法用。 . 数据预处理 在我们确认目标并开始测试前需要对已有的文档进行预处理因为公司之前的文档是我写给团队内部及合作伙伴的参考操作手册 所以必然存在一些口语上的问题格式不统一等为了让大模型更好的理解企业文档中的内容所以我进行了如下操作 数据规范化mzt 缩放数值将数据缩放到特定的范围或比例例如到之间以消除不同数值范围和量纲的影响。
归一化将数据转换为具有统一比例的归一化等。 编码分类变量将分类变量转换为模型可处理的格式如使用独热编码-Ht或标签编码。 特征工程创建新的特征或修改现有特征以提高模型的性能例如通过多项式特征扩展或交互项。
降维使用主成分分析等技术减少特征的数量同时尽量保留原始数据的变异性。 解释对文档中独有的黑话进行解释避免大模型理解出现偏差。 数据清洗 去除重复记录检查文档中的重复行并删除它们以避免在分析中产生偏差。
处理缺失值识别文档中的缺失值要决定是填充它们删除它们还是保留它们。 纠正错误和异常值识别文档录入错误和异常值进行纠正/删除以保证数据的准确性。 格式统一确保文档中的内容遵循统一的格式比如日期和时间格式。