“大语言模型的兴起,让AI的大规模普惠有了更大可能。过去一段时间以来,我们的行业大模型产品得到了不少客户的肯定,切切实实帮助用户提升了各项能力。同时,客户的需求也推动了腾讯云MaaS的不断升级,我们的大模型商店也在不断‘扩容’,以满足不同企业的不同需求。”

9月7日,2023腾讯全球数字生态大会于深圳成功举办。在“行业大模型与智能应用”专场,腾讯集团高级执行副总裁、云与智慧产业事业群CEO汤道生发表主题演讲,重点分享了AI大模型等技术产品对于产业发展的深远影响,以及腾讯云行业大模型的最新战略思考、能力升级。

腾讯汤道生:拥抱行业大模型,助力产业高质量发展

腾讯集团高级执行副总裁、云与智慧产业事业群CEO汤道生

汤道生提到,行业大模型已经过了“尝鲜期”,目前正深入各类业务场景,推动企业全链条智能化。与此同时,在大模型产业化的落地过程中,客户关注的不仅是模型的大小、功能,而是更为关注如何选用并定制适合自身业务发展的模型产品。

基于客户的实际需求,腾讯云不断升级大模型精选商店,包括自研的通用大模型“混元”、20多种主流开源模型和更多行业大模型。企业可以根据自身需求选择合适的模型产品,并进行训练和精调,以满足个性化需求。

此外,汤道生还认为,模型的热潮导致各项成本攀升,拥抱大模型不能只是一时冲动,还要理性考虑落地成本。针对此,腾讯云也提供了从数据处理、多机多卡训练到硬件优化的一站式解决方案,以帮助企业高效、低成本地创建和使用大模型。同时,腾讯云TI平台还进行了全新升级,有效提升了大模型的训练速度和推理效率。

“AI大模型等产品的发展及落地将对千行百业产生‘质’的影响,我们也将持续开放产品能力、不断探索技术应用,助力产业实现更高质量的发展。”汤道生表示。

以下为演讲全文:

大家好!

欢迎来到腾讯全球数字生态大会“行业大模型与智能应用”专场,共同探讨AI驱动下的产业发展。

人工智能发展至今已经有70多年,在前几波浪潮中,AI虽然在一些产业应用中,实现了落地,但受到基础算法、算力、数据等限制,距离普遍的产业应用,还有一定距离。

大语言模型的发展,第一次让我们看到了,AI在产业中,大规模落地的可能。六个月前,很多企业惊叹于通用大模型的生成能力,迫不及待地尝试与业务结合。但很快发现,通用大模型在实际应用中,面临专业度、准确度、数据安全、成本等很多挑战。基于此,腾讯云在6月19日推出了腾讯云MaaS服务,通过“行业大模型+企业数据精调”方案,帮助产业伙伴打造适合自己的大模型产品。

三个月来,我们建设行业大模型的思路,获得了业界的普遍认可,很多企业通过我们的行业大模型,大幅提升内容生产、营销、客服能力,客户也和我们一起,挖掘出更多落地的创新应用。

技术变革和客户需求的快速发展,给行业大模型发展带来更多机遇,也推动腾讯云MaaS服务能力快速迭代,在这里,我也和大家分享一些我观察到的大模型发展趋势。

首先,行业大模型正深入各类业务场景,推动企业全链条智能化。

六个月前,客户来谈大模型,能想到的应用场景基本只是文字客服。但今天,应用场景已经快速扩展到各个领域,比如,在金融行业,大模型已经应用在开户、业务处理、风控等多个场景。

基于这些客户需求,我们尝试用大模型打造全栈产品能力,用于业务不同环节,助力企业全链条提质增效。

就拿金融行业来说,海量单据的处理是金融业务员的突出痛点,这项工作技术含量低、但又很重要,容错率低,每天都要耗费大量时间。一家国内头部商业银行找到我们,用搭载大模型能力的TI-OCR平台,只需要50张标注数据,就能识别回单、发票、申请书等多种表单,准确率超过95%,需要的数据也大大减少。不仅节约业务人员的大量时间,而且还能自动提炼核心标签,生成电子数据文件,进行后续商业分析。

而风险管理是金融业务的生命线,金融机构几个月就得升级一次风控模型,传统建模流程,耗时耗力,我们也将腾讯安全积累多年的多模态风控知识,沉淀到金融风控大模型中。金融机构通过小样本的提示,就可以根据客群和市场的变化,自动生成专属的风控模型,整个建模流程,从2周减少到2天,整体反欺诈效果提升了20%左右。

在客户服务环节,大模型的应用也不仅仅是文字对话,专属大模型与数智人的结合,让虚拟客服用拟人化的方式,与客户顺畅地实时互动;再加上基于音视频,和图像识别的人脸核身技术,就可以高效在线办理金融业务。根据行业统计,金融客服中心的运营成本中,人力成本占到60%-70%。中信建投就运用腾讯云智能的解决方案,完成了95%的新用户开户工作。

其次,随着大模型的产业落地,大家更关注如何寻找与自身业务更匹配的模型底座,训练出符合自身需求的专属模型。

这驱使我们不断升级大模型商店,提供全新的“1+N+N”服务,满足不同企业的不同需求。

“1”代表我们的腾讯混元大模型。在大会的主论坛中,我们正式公布了自研通用大模型——混元,腾讯内部多个业务和产品,已经接入测试,并取得不错的效果,更多业务和应用也正在逐步接入中。混元不仅是腾讯行业大模型的重要支撑底座,也面向行业开放。通过我们的大模型商店,客户可以利用混元,来训练自己的专属模型,并借助API开放能力,与已有业务系统无缝融合。

然后第一个“N”,是指混元之外,我们在大模型商店中,提供Llama 2、Falcon、Bloom等20多种行业最新、最流行的开源通用大模型,供客户选择。同时我们的TI平台,也已经支持这些开源模型的训练和推理。客户基于Jupyter Notebook,就可以快速启动模型精调,模型部署通过低代码操作就可以完成。

第二个“N”,指的是我们的行业大模型。在通用大模型基础上,通过行业数据再次加工,为行业客户提供更专业和精准的服务。目前我们的行业大模型,从早期的文旅、泛互、零售等领域,快速扩展到能源、消费电子、医疗等20多个行业,并覆盖生产、销售、客服等多个环节。

企业可以在大模型精选商店中,挑选合适的模型为基础,通过腾讯云智能的TI平台,导入企业独有的专业文档与企业数据,做进一步的训练与精调,快速生成更有针对性的专属大模型,更好满足企业个性化需求。同时,不管是在公有云上搭建,还是私有化部署,我们都可以做好权限管控和数据加密,让企业用户在使用模型时更放心。

再次,模型的热潮导致硬件和人力成本攀升,更多的企业意识到,拥抱大模型不能只是一时冲动,还要理性考虑落地成本,训练、推理的效率。

企业专属模型的生成,涉及到数字资产资源管理、数据标注、训练、评估、测试和部署等很多环节。同时,根据业务发展,企业模型需要不断地调优、迭代,数据处理的整个过程,也要不断地重复。

如何帮助企业高效率、低成本地用好模型?我们通过基于腾讯云TI平台的行业大模型精调解决方案,帮助模型开发者与算法工程师,一站式解决数据处理问题,保障数据高质高效、安全合规地处理;通过多机多卡训练加速能力,高效率、低成本地创建和使用大模型。

这次,我们对TI平台的工具链进行了全新升级,全新升级的太极Angel框架,通过异步调度优化、显存优化、计算优化等方式,让大模型的训练速度提升30%,推理加速比达到了2倍。

行业大模型正在走进千行百业,大量新的场景、新的需求被激活,如何低成本获取底层算力,也是企业当前面临的突出难题。在大模型的底层基础设施上,我们对服务器、网络、数据这个“铁三角”不断优化,帮助客户降本增效。

我们的新一代HCC高性能计算集群,实现了GPU算力无损释放,服务协议等级(SLA)不低于99.9%。同时基于云原生架构,实现训练和推理业务的混合部署,大量节约大模型的部署、训练成本。

我们自研的服务器机间网络——星脉,做到了业界最强的3.2T带宽、支持10万卡集群组网,让GPU之间的通信更快,拥堵更少,计算效率更高。

我们也在国内云厂商中,率先推出向量数据库,提升海量非结构化数据的存储和检索效率,让大模型预训练数据的分类、去重和清洗,实现10倍的效率提升。1个月左右的数据接入时间,3天即可完成,极大降低了企业的成本。

毫无疑问,我们正在迈入被人工智能剧烈改变的时代,AI将通过与产业深度融合,创造更大的价值。腾讯将不断开放自身的技术和能力,助力产业拥抱智能升级,实现更高质量的发展。