斯坦福大学的一项研究发现，ChatGPT的性能曾出现下降趋势。研究团队通过对不同版本的ChatGPT进行测试，发现其在某些任务上的表现有所波动，尤其是在复杂推理和生成连贯文本方面。研究人员推测，这种性能下降可能与模型的更新和优化过程中的某些调整有关。尽管ChatGPT在许多应用中表现出色，但这项研究提醒用户和开发者需要持续关注其性能变化，以确保其在各种场景下的可靠性和有效性。进一步的研究和改进将有助于提升ChatGPT的稳定性和整体表现。
近年来，大语言模型（LLM）如GPT-4和GPT-3.5在人工智能领域取得了显著进展，但其性能和行为是否存在波动？斯坦福大学和加州伯克利大学的研究人员近期在《哈佛数据科学评论》上发表了一篇题为《ChatGPT行为随时间变化》的论文，揭示了这些模型在短时间内的性能变化。
研究背景与方法
研究团队选取了GPT-3.5和GPT-4（2023年3月和6月版本）作为研究对象，通过7项核心任务对其性能进行评估，包括数学问题求解、代码生成、多跳知识密集型问答、美国医学执照考试（USMLE）等，研究旨在分析这些模型在3个月内的行为变化趋势。
主要发现
1、GPT-4性能波动显著
研究表明，GPT-4在3个月内表现出明显的性能波动，在质数与合数区分任务中，其准确率从3月的84%骤降至6月的51%，研究人员认为，这可能与其“思维链”提示能力减弱有关。
2、GPT-3.5表现提升
与GPT-4不同，GPT-3.5在同一时期的某些任务上表现有所提升，在数学问题求解和多跳推理任务中，GPT-3.5的准确率有所提高。
3、代码生成能力下降
两个模型在代码生成任务中的格式错误均有所增加，GPT-4在遵从用户指令方面也表现出下降趋势，例如在6月份其指令遵循率显著降低。
4、敏感问题回应意愿降低
GPT-4在6月份对敏感问题和意见调查的回应意愿降低，但在多步推理任务上的表现有所提升，而GPT-3.5在类似任务上的表现则有所下滑。
评估方法与流程
研究团队基于多样性和代表性原则，设计了涵盖7大领域的综合测试，包括数学问题、敏感/危险问题、意见调查、多跳知识密集型问题、代码生成、USMLE和视觉推理，研究还引入了一套新的基准测试，专注于任务无关的指令遵循度。
1、指令遵循能力测试
测试包括答案提取、停止道歉、避免特定词汇和内容过滤4种常见指令类型，结果显示，GPT-4在3月份时能较好地遵循大多数指令，但在6月份其指令遵循率显著下降，答案提取指令的遵循率从99.5%降至接近零，内容过滤指令的忠实度也从74.0%下降到19.0%。
2、性能指标设定
研究为每项任务设定了主要性能指标和补充指标，数学问题和USMLE以准确性为主要指标，代码生成则以输出代码的可执行比例为主。
指令评估表现
1、答案提取指令
这类指令要求模型准确地从文本中提取答案，GPT-4在3月份时的遵循率高达99.5%，但到6月份几乎不再遵循此类指令。
2、停止道歉指令
测试模型在用户明确要求下避免使用道歉或自我指认语句的能力，3月份的GPT-4表现良好，但在6月份频繁违背这一指令。
3、避免特定词汇指令
要求模型在生成文本时排除特定词汇，GPT-4在3月份表现较好，但到6月份其遵循能力显著下降。
4、内容过滤指令
要求模型在生成内容时排除敏感信息，3月份的GPT-4表现优异，但6月份其过滤能力大幅下降，仅约19%的敏感问题处理得当。
研究意义与局限性
由于GPT-3.5和GPT-4均为闭源模型，OpenAI并未公开其详细的训练数据和流程，用户无法了解每次更新后的具体变化，本研究为开发者和用户提供了关于ChatGPT性能和行为动态的重要参考，有助于确保模型的安全性和内容真实性。
研究表明，大语言模型的性能和行为可能随时间发生显著变化，这对开发者和用户提出了新的挑战，未来的研究需要进一步探索这些变化的根本原因，并开发更稳定的模型训练和更新策略。
（本文素材来源：《ChatGPT行为随时间变化》论文，如有侵权请联系删除。）
关于AIGC开放社区
AIGC开放社区是一个专注于生成式人工智能（AIGC）领域的专业平台，关注GPT-4、百度文心一言、华为盘古等大语言模型的发展与应用，我们致力于为社区会员提供有价值的商业化思路和服务，推动AIGC技术的落地与创新。
网友评论