百川智能发布全链路领域增强金融大模型 Baichuan4-Finance,测试成绩领先 GPT-4o
人阅读 2024-12-24 09:29:36
12 月 23 日消息,百川智能今日发布全链路领域增强金融大模型Baichuan4-Finance,融合 100B 中英文金融知识,采用多层次质量评估体系进行筛选,由人民大学财政金融学院金融专家团队全程参与定义和评估。
在中国人民大学财政金融学院新近发布的评测体系 FLAME 以及国内开源金融评测基准 FinancelQ 上,Baichuan4-Finance 均登上榜首,金融专业能力和场景应用能力领先 GPT-4o。
Baichuan4-Finance API 现已在百川智能官网正式上线,附测试成绩如下:
FLAME-Cer 评测结果显示,Baichuan4-Finance 在银行、保险、基金、证券等多个资格认证领域的准确率均突破了 95%,整体准确率 93.62%,大幅领先 GPT-4o 和 XuanYuan3-70B-Chat,超出 GPT-4o 近 20%。
Baichuan4-Finance 在 FLAME-Sce 评测中,一级核心金融业务场景的整体可用率达 84.15%,金融数据计算、金融知识理论等场景的可用率超过 90%。
在国内开源金融评测基准 FinanceIQ 中,Baichuan4-Finance 同样超越了 GPT-4o 和 XuanYuan3-70B,整体准确率达到 79.23%,领先 GPT-4o 近 13%。