CPU，大模型的另一种解法

金磊 明敏 发自 凹非寺

量子位 | 公众号 QbitAI

当大模型踏入医疗行业与人类医生一较高下时，它能达到什么水平？

就在最近，医学顶刊BMJ便给出了这样一个结论：

在遵循公认的临床抑郁症治疗标准方面，先进大模型可能比医生要强！

从研究结果上来看，大语言模型（LLM）在轻度和重度抑郁症治疗方面，已经达到了公认的治疗标准。

不仅如此，它们还不会被患者的外在因素所影响（包括性别、社会阶层等等），这就比人类初级医生还要强上一点了。

这是否就意味着类LLM选手们现在可以“持证上岗”了呢？

非也，非也。

考虑到抑郁症治疗的持续性和患者病情的多样性，这项研究认为，真正的治疗过程还是需要人类医生来进行。

不过研究同样指出，LLM对于现阶段医疗可以起到辅助决策的帮助：

有可能加强初级卫生保健的决策，提高精神卫生服务的质量和公正性。

毕竟自从LLM热潮以来，包括谷歌在内的众多AI玩家，都致力于推动其在医学领域中的作用。

甚至像“男孩阅医无数，最后竟被AI成功诊出病因”这样的新闻也是频频被曝出。

那么问题来了——LLM在现实中的医疗领域，到底走到了哪一步？

LLM，已然深扎医疗

一直以来，医疗行业都被视为AI落地的重要领域。

在深度学习浪潮刚刚兴起之时，深度学习三巨头之一Hinton就说出了名言：

5年内AI可以取代放射科医生。

尽管这个表达有些激进，但它揭露了一个事实，至少在科研层面，AI和医疗的结合是非常被看好的。

在过去一段时间以来，AI医疗场景不断开拓，比如利用CV算法识别病灶、检测心电图等。科技巨头们都紧跟趋势，如微软、谷歌、IBM等都在持续投入资金，推进AI医疗落地。

尤其在ChatGPT趋势到来以后，LLM更强的学习能力、更好的迁移能力以及更深的理解能力，都为AI医疗落地打开新局面。

而且这会是一个很确定的趋势，因为技术、应用落地和行业发展都准备好了。

首先技术方面，今年是大模型爆发的一年，目前国内已经形成“百模大战”格局。

诸多大模型厂商都主打To B路线，正在加速推动大模型在各个行业的应用。还有一些厂商直接推出面向医疗的行业大模型，比如谷歌推出的Med-PaLM 2就已经在诊所实测。

所以对于医疗领域而言，当下是不缺“模”的。

其次，大模型和医疗领域也天生非常契合。

在常见的问诊、病历生成、患者病史分析等场景，都需要医生基于历史信息进行整合总结、分析判断，这正是大模型的长项。

比如利用大模型的总结摘要能力，可以快速对多类数据进行总结并形成摘要，帮医生完成繁琐、重复性高的工作，提升效率。

并且实际落地上，只需以基座大模型为底，应用专业医疗数据训练，就能得到一个强大的医疗大模型，这能从根本上加速AI医疗落地。还能在一个系统中集成多个子模型，即可快速覆盖更多场景。

再来看行业发展方面，以国内情况为例，数字化医疗、AI医疗逐渐发展为一个独立赛道，玩家们利用数据分析、自然语言处理（NLP）、结构化数据等技术，已经成功将AI引入临床诊断决策、病例数据管理等。

如惠每科技开发的面向医院的核心应用Dr.Mayson。

简单理解，这是一个能优化医院看诊、决策、预警、管理等方面的智能应用，核心目标就是让医院数字化系统运行更加丝滑流畅，提高医生诊疗效率。

它主要融入了PDCA过程管理和CDSS（临床决策支持系统）。利用机器学习、深度学习、大数据挖掘等技术，可以智能识别分析病历文书、LIS/RIS报告等患者完整病历数据；为医院构建专门的医学知识库；给医生、医技、护士、管理方提供实时智能参考与建议。

在惠每科技最新发布的CDSS 3.0架构中，新一代AI大数据处理平台已集成了医疗大模型，并已经在某合作医院的病历生成等场景中获得了医生的认可。

综上，医疗大模型应用落地路径已经比较明确。但是落地的过程却没有想象中的那般容易。

医疗大模型落地，怎么解？

医疗大模型落地目前遇到的两大核心问题，都非常具有原生性：

• 为保证患者数据安全，医院数据仅能内网使用
• 当前GPU算力紧张，医院很难负担如此高昂的采购成本

这意味着，医疗大模型需要进行私有化部署，且需要寻找一条能够针对于提升大模型算力的“性价比”道路。

所以，AI加速成为了近来业界备受关注的领域。它直接关乎大模型落地的效率和成本，行业内各大厂商的加速方案也都受到热捧。

比如刚刚提到的惠每科技便携手英特尔，在基于第四代英特尔® 至强® 可扩展处理器的基础设施上，打造了量化和非量化两种大模型推理加速方案。

如何实现？

先来看量化部分，也就是通过降低模型精度来实现加速。

以FP32量化到INT8为例，它能让GPU或CPU适应更快、更低成本的8位张量来计算卷积和矩阵乘法，可有效提高计算吞吐量。还能减少模型数据搬运所需的时间和资源，这是数据从内存移动到计算单元的必然消耗，精度从32位降低到8位，能实现4倍减少量。

同时量化也能减少内存的使用，让模型需要更少的存储空间、参数更小、缓存利用率更高。

具体实现方案上，惠每科技引入了英特尔开发和开源的BigDL-LLM大语言模型加速库，其提供对各种低精度数据格式的支持与优化，同时配合不同型号和代际的英特尔处理器内置指令集（如英特尔® AVX-512_VNNI、英特尔® AMX等）在大模型应用中可以实现较优推理加速。

使用方面，此方案提供了便捷命令和编程接口两种方法，能方便预览量化后模型性能是否符合预期；另外在性能达标的情况下，凭借BigDL-LLM提供的HuggingFace API/Langchain API，用户可以轻松将优化性能整合到部署推理服务中去。

△BigDL-LLM为医疗大模型提供推理加速

对于非量化技术路径，英特尔也能提供键值（KV）缓存、算子融合的OpenVINO™ 加速方案。

KV缓存用于通过键值对的方式存储数据，能加速和优化数据访问。算子融合是将神经网络中多个连续运算符融合成一个运算符，从而减少内存访问、提高计算效率。

在惠每科技主要使用的开源基座大模型ChatGLM上，基于英特尔® OpenVINO™ 工具套件打造的非量化方案能利用零拷贝（Zero-Copy）视图传递预分配的KV所需的内存副本空间，避免数据的多次拷贝，实现KV缓存加速；

也能引入第四代英特尔® 至强® 可扩展处理器内置的英特尔® AMX指令集，帮助ChatGLM等医疗大模型加速BF16/INT8计算，实现算子融合，在保证精度的前提下提升运算效率、加速推理；

同时OpenVINO™ 工具套件提供了在HuggingFace上的Optimum接口，让优化效果可扩展到更多医疗大模型推理应用中。

总结来看，英特尔与惠每科技联手打造的两个大模型加速方案，成功帮助医疗机构用较低成本部署了高质量大语言模型，并且为更多准备“入局”的同行们提供了一套完整教程。

更关键的是，本次合作也让我们看到了一个事实：大模型训练推理并非唯GPU一种解法，CPU也可以作为大模型在行业落地的平台。

CPU，大模型的另一种解法

或许很多人一提到大模型，刻板印象往往会是“堆GPU”。

但事实上，英特尔在通过自身的实践在证明——CPU，亦是一种解法。

例如在我们耳熟能详且经典的OCR（光学字符识别）领域，在英特尔第四代至强® ️可扩展处理器的加持之下，响应延时指标在原有基础上足足提升达25倍！

△数据来源：英特尔合作伙伴

再比如媒体娱乐场景中，尤其在AMX加速引擎加持下，英特尔能帮助个性化内容推荐速度提升达6.3倍；零售行业里，能将视频分析速度提升高达2.3倍，还有像工业缺陷检测、医疗服务也都能从容应对。

即便是在生命科学和医药等前沿探索领域，CPU也已经成为不容忽视的存在：甚至在某些场景下的表现效果比GPU还要好。

而这些案例，也只是英特尔CPU在大模型时代表现中的一隅；更重要的应当是英特尔在过去一段时间和未来，所坚持的 “走法”：不仅重视硬件产品性能的提升，对于软件优化和打造生态系统同样付出大量心血，给用户提供全流程支持。

这也是为什么在今年的Intel Innovation 2023上，英特尔敢于喊出“AI everywhere（让AI无处不在）”的口号；为什么在12月中旬即将发布的新一代至强® 可扩展处理器、产品和加速方案，充斥着“AI”和“大模型”的味道。

总而言之，CPU巨头英特尔，在大模型时代之下确实在开辟着与众不同的路数。

至于新一代至强® 可扩展处理器和其他产品又会给大模型带来怎样的性能提高，也是值得期待一波的。