11月16日,OPPO正式推出大模型安第斯,分为端侧运行、云端运行等不同参数规模,最高支持千亿参数。3天前,vivo发布了高端旗舰新品X100系列,声称是全球首个百亿大模型在终端调通的大模型手机。此前,华为、小米、荣耀等手机厂商高调宣称在端侧部署大模型。
人工智能(AI)大模型被手机厂商寄予厚望,但端侧部署对手机内置芯片提出了更高要求。如何满足大模型千百亿级参数对算力、存储和能耗要求是个大问题。在手机创新乏善可陈、市场相对低迷的当下,手机大模型还被厂商赋予了增加用户黏性等其他重大责任。炙热的大模型,手机能否承受其重?
大模型纷纷接入手机
今年7月起,AI大模型就成为手机厂商发布会的高频热词。余承东、雷军、赵明……手机厂商的CEO们纷纷为AI大模型发声;荣耀、华为、OPPO、小米、vivo、三星等手机厂商——推出自研大模型或者宣布将大模型接入手机。
7月,荣耀发布了Magic V2折叠屏手机,声称是“全球首款原生集成AI大模型的国产手机”。10月,荣耀CEO赵明宣布,荣耀Magic6系列将搭载第三代骁龙8移动平台,支持70亿参数的端侧AI大模型。
在8月的华为开发者大会上,华为常务董事、终端BG CEO余承东宣布,盘古大模型接入了华为HarmonyOS 4及华为小艺智慧助手,华为P60和Mate 60用户可以通过小艺智能助手进行体验。
同月,小米创始人、董事长兼CEO雷军发布了小米自研的MiLM两个轻量级大模型(64亿参数和13亿参数)。10月底,小米正式推出将AI大模型植入澎湃OS系统的小米14手机。
10月,OPPO宣布自主训练的AI大模型——安第斯大模型(AndesGPT)接入新小布助手AndesGPT,并于11月16日将AndesGPT能力正式接入ColorOS 14新系统。
11月,vivo一口气发布了1750亿、1300亿、700亿、70亿、10亿五个量级的自研AI“蓝心”大模型。根据vivo提供给记者的相关资料,130亿参数的蓝心大模型实现端侧跑通,1750亿参数的蓝心大模型已达到GPT-3参数水平。
相比国内手机厂商,三星和苹果两大手机巨头显然慢了半拍。三星在11月才展示出其AI大模型“高斯”,搭载其AI大模型的Galaxy S24系列手机预计要到明年上半年才发售。
苹果还未官宣其AI大模型,据分析,苹果计划最早在2024年年底将生成式AI技术整合到iPhone和iPad中。
为何要端侧部署?
当前,AI大模型接入手机有两种选择:其一是部署在云端,其二是部署在端侧。目前来看,厂商部署在端侧的都是十亿级轻量级大模型,部署在云端的则是千亿级AI大模型。大模型手机端侧部署是指直接存储在手机设备内部,仅利用芯片的算力生成结果。
“内存占用不能影响手机的正常使用和运行,同时反应速度要快,功耗还不能太高。”相关专家在接受《中国电子报》记者采访时表示。
受限于当前手机GPU和NPU硬件能力的限制,当前大部分手机端仅能运行数十亿级别轻量级的大模型,但是这些轻量级的模型训练参数较小,在一定程度上会影响结果精准输出,进而影响用户的使用体验。
为了平衡内存、执行速度、功耗三大问题,现阶段的“端云协同”是手机厂商部署大模型时的普遍选择。云端千亿级别大模型解决复杂的需要大算力、大参数模型的问题,手机端测的自研模型通常用来运行数据安全性高、需要实时反馈、网络条件较差的轻量化问题。
记者发现,vivo发布的蓝心大模型就分为千亿、百亿和十亿三个量级,70亿级大模型部署在端侧,负责解决用户的简单问题,复杂问题仍需联网向云端的千亿大模型“借智”。
记者在采访时了解到,“云端协同”成为现阶段最优方案,但智能手机端侧布局大模型是终极方案。为何端侧部署AI大模型如此重要呢?
首先,智能手机端侧AI大模型对高速网络的依赖度更低,反应更迅速。比如,高通最新的第三代骁龙8移动平台处理器能够将生成图像的时间从15秒降至不到1秒,接入AI大模型的小米14和荣耀Magic6都搭载了第三代骁龙8移动平台处理器。
此外,AI大模型部署在端侧更经济,也利于保护用户隐私。vivo副总裁、vivo AI全球研究院院长周围透露:“云端大模型成本高是个不容忽视的问题,大模型一次对话差不多要0.012元到0.015元。“如果有两三亿用户,一天用10次,一年下来要超过上百亿元的开销,高昂的成本制约了大模型的很多应用可能。”
谈到端侧AI大模型的隐私安全保护优势,小米相关负责人表示,借助AI大模型,在没有网络的环境下,用户可以通过自然语言在本地图库中完成快捷搜索,例如直接搜索“绿色的冰激凌”,AI大模型就可以帮助用户找到所有包含绿色冰激凌的图片,全程无联网充分保障了用户的隐私安全。
芯片不能承受之重?
端侧AI大模型是手机厂商们的“必争之地”,然而,AI大模型走进手机对芯片提出了更高要求。在算力、存储方面,手机芯片该如何满足端侧大模型千百亿级的参数要求呢?
高通、联发科等手机芯片企业已经开始布局。10月24日,高通发布第三代骁龙8,在端侧可运行超100亿参数的大模型,面向70亿参数的大预言模型每秒可生成20个token,在终端侧只需0.5秒就能利用Stable Diffusion完成文生图。
10月24日,高通推出第三代骁龙8芯片,在CPU上采用1+5+2的八核架构设计,具体包括一个3.3GHz的Cortex-X4超大核,五个3.2GHz的Cortex-A720大核,以及两个2.3GHz的Cortex-A530小核,相较前代CPU峰值性能提升30%,能效提升20%。
据悉,骁龙8 Gen3重新设计AI计算单元,采用全新微架构推出Hexagon NPU,最高支持45 TOPS算力,AI计算能力提升98%,能效提升40%。
联发科自然也不甘示弱,11月6日晚间,联发科发布专为生成式AI设计的第七代AI处理器 APU 790,内置硬件级生成式AI引擎,处理速度是上一代的8倍,能实现更加高速且安全的边缘AI计算。
此外,联发科官宣旗舰5G生成式AI移动芯片天玑9300。在CPU上创造性地采用了“全大核”的架构,最高频率可达3.25GHz,包含4个Cortex-X4超大核、4个主频为2.0GHz的Cortex-A720大核,峰值性能较上一代提升40%,功耗节省33%。
针对AI大模型参数大、内存大的难题,联发科大幅减少AI大模型对终端内存的占用,支持终端运行10 亿、70亿、130亿、最高可达330亿参数的AI大语言模型。
11月13日vivo发布的高端旗舰新品X100系列,作为全球首个百亿大模型在终端调通的大模型手机,首发搭载了联发科AI芯片天玑9300。
中科计算技术西部研究院战略专家王军辉表示,未来端侧AI大模型的部署“一方面要探索适合轻量级部署的模型,另一方面要推出匹配大模型的加速器,在算力、效率和能耗上找到合适的平衡点。”
尽管高通、联发科等手机芯片企业为手机AI大模型端侧部署提供了一个权宜、暂时的解决方案,但真正让AI大模型重塑手机功能和生态还有很长的路要走,现在芯片设计体系还远远达不到大模型千亿级参数对算力、存储、能耗等各方面的要求。
还要肩负其他厚望
AI大模型无论是端侧部署还是云端部署,都会给用户带来不一样的体验。
华为手机用户参加画展拍下感兴趣的画作图片,发给小艺智能助手,借助AI视觉大模型,画家和画作的相关信息立即反馈,仿佛百科全书。
撰写英文邮件毫无头绪,vivo用户可以求助“蓝心千询”自然语言对话机器人,几句简单的中文描述邮件的主要意图,文字规整的英文邮件便“跃然纸上”。
小米HyperMind思考中枢能够自主理解用户的使用偏好和生活习惯,为每天早上9点出发上班的用户,自动生成和推送通勤交通建议。
在手机同质化越发严重的当下、厂商难以挖掘新的增长点之时,AI大模型被寄予了沉甸甸的期望。
“AI大模型很难在现阶段或者近几年带动手机的销量上升。”GfK中国科技事业部资深分析师侯林接受《中国电子报》记者采访时表示,AI大模型仅能为手机锦上添花,当前还看不到颠覆性的变化。但从长期来看,AI大模型与智能手机不断磨合进步,具备用户离不开的能力时,可能会带动中国乃至全球的换机潮。
另外,AI大模型部署在端侧可能会沉淀大量用户数据在手机上,会让智能手机从标准商品走向千人千面,用户在一款手机沉淀下的数据,会增强用户与品牌之间的黏性,甚至会带动消费者购买同品牌的其他终端产品。
例如,被AI大模型加持的澎湃OS将手机、全屋智能与汽车串联起来,形成“人车家全生态”,系统将会“越用越懂用户”。用户白天在公司上班,系统会自动开启离家模式,家里的一切安防设备会自动打开;用户晚上到家后,系统将开启在家模式,智能窗帘会关闭,智能空调会根据天气和用户习惯打开到合适的温度。
此外,沉淀了用户隐私数据和语言风格的端侧AI大模型将具备更多定制化能力,或将拉动手机厂商的软性服务。