华泰证券发布研究报告称，3月30日，Bloomberg发布专为金融领域打造的大语言模型(Large Language Model，LLM)BloombergGPT，实现了LLM在金融垂直场景的加速落地。从测试结果来看，BloombergGPT在保证LLM通用性能的基础上，更加聚焦金融场景,有效实现了LLM与金融垂直领域知识的深度融合。BloombergGPT的成功，佐证了“开源模型+高质量垂直数据”LLM搭建思路的有效性，金融GPT率先在证券场景落地，同时建议关注后续GPT在银行领域的业务机会。
华泰证券主要观点如下：
模型拆解：核心突破在于构建金融训练数据集
根据论文《BloombergGPT: A Large Language Model for Finance》介绍，BloombergGPT同样基于典型的Transformer架构，与OpenAI GPT模型相同，采用了仅有解码器(decoder-only)的技术路径。对比来看，BloombergGPT的模型参数为500亿，介于GPT-2(1.5亿)与GPT-3(1,750亿)之间。不同的是， Bloomberg为强化LLM对金融垂直领域的专业理解，构建了目前最大规模的金融数据集FINPILE，通过通用文本+金融知识的混合训练，让 BloombergGPT在执行金融任务上的表现超过现有的通用LLM模型，在通用场景上的表现与现有通用LLM模型能力基本持平。
模型启示：“开源模型+垂直数据”大有可为
以GPT-3、GPT-4为代表的大语言模型均由大型的专业人工智能团队开发，并且模型训练需要大量算力。BloombergGPT的成功证明了“开源模型+高质量垂直数据”的方案，可以基于垂直领域数据打造同样具有竞争力的大语言模型。大量的高质量垂直领域知识有望弥补模型在规模上的不足，对比BloombergGPT与GPT-3可以看到，尽管BloombergGPT的模型参数相较于GPT-3较小，但得益于BloombergGPT的预训练数据增加了大量的高质量金融数据，并对预训练数据进行了一系列的清洗、标注，BloombergGPT在通用能力与GPT-3基本持平的情况下，实现了金融垂直能力的大幅增强。
金融GPT展望：掌握金融数据的厂商有望复制BloombergGPT路径
基于BloombergGPT的成功案例，该行认为，训练数据是大语言模型能力塑造的关键因素，同时，Bloomberg在论文中明确出于对数据泄露的担忧，BloombergGPT将采取与OpenAI相同的闭源方案，侧面佐证了原始的预训练数据是各家大模型竞争的重要因素。从国内的金融GPT的预期来看，金融IT厂商掌握着丰富的金融垂直知识与现有AI产品布局，基于高质量的金融数据与开源的大语言模型，同样有机会打造专属金融场景的大语言模型，实现大语言模型在金融场景的有效赋能，让大语言模型成为底层的AI操作系统。
风险提示：宏观经济波动影响;应用落地不及预期;本报告基于公开客观信息整理，不构成投资建议。
责任编辑：郭明煜
免责声明：文章内容来自互联网，本站不对其真实性负责，也不承担任何法律责任，如有侵权等情况，请与本站联系删除。
转载请注明出处：从BloombergGPT看金融GPT机遇 华泰证券：关注后续GPT在银行领域的业务机会-华泰证券gdr发行价格 https://www.yhzz.com.cn/a/1712.html