多模态吧 关注:81贴子:270
  • 1回复贴,共1

弱智吧数据对大语言模型训练大有帮助

只看楼主收藏回复

最近的一篇论文指出,使用弱智吧问题做数据集训练大语言模型的效果大有裨益。
论文中使用弱智吧数据训练的大模型,其分数超过百科、知乎、豆瓣、小红书等平台,乃至是研究团队精心挑选的数据集,在问答、头脑风暴、分类、生成、总结、提取等8项测试中取得最高分,这甚至包括了AI代码能力。
这几乎是一件匪夷所思的事,但细想下来或许也有些道理。弱智吧问题涉及各个提问死角,把人类正常想不到的提问角度给提问了一遍,这或许正是模态缺失的大语言模型需要的。
论文名称:《COIG-CQIA: Quality is All You Need for Chinese Instruction Fine-tuning》


IP属地:广西来自Android客户端1楼2024-04-04 23:08回复
    论文地址:网页链接


    IP属地:广西来自Android客户端2楼2024-04-05 13:54
    回复