Article Focus

内容阅读与观点延展

以清晰阅读路径承载正文、上下篇与推荐内容,让深度文章浏览更加专注自然。

3G内存装下35B多模态,AI终端迎来巨变前夜内容展示

当前位置为资讯正文页面,可继续阅读上下篇或进入推荐阅读区域。

3G内存装下35B多模态,AI终端迎来巨变前夜

经常出门的人都懂一个道理:背包的容量是有限的,但你想带的东西永远比背包大。 端侧AI正在面临同样的困境。近两年,用户对端侧智能的需求快速增长:拍照后直接修图、录完视频即时摘要、会议实时提炼纪要,这些场景都需要设备本地的多模态能力。手机厂商、芯片厂商、应用开发者纷纷加码,端侧AI从旗舰专属卖点,逐步成为手机标配。 然而硬件端的空间却愈发紧张。Counterpoint的数据显示,2026年第二季度智能手机内存价格环比涨幅已突破80%。存储芯片在手机物料成本中的占比,已经从早年的10%~15%攀升到了30%~50%,部分中低端机型甚至达到60%。 另一边,IDC预计2026年中国新一代AI手机出货量将达到1.47亿台,同比增长31.6%,渗透率首次突破53%。每卖出两台新手机,就有一台搭载端侧AI。全球范围内,生成式AI手机的渗透率将在2026年达到45%,2027年突破52%,正式成为行业标配。 需求爆发式增长,但作为背包的内存成本持续走高。想要规模化落地端侧AI,单纯堆内存、堆参数的思路已经走不通。 在这个背景下, 面壁智能与OpenBMB最新发布的MiniCPM-V 4.7 给出了一种极简背包客式的解法——在保有现有背包容量的前提下把收纳做到极致。作为首个 可在端侧无损流畅运行的开源MoE多模态大模型, 35B参数的MoE多模态大模型,只用约3G内存就能在iOS、安卓等系统上流畅运行。 而往细里看,这是一套分层、有序、精打细算的收纳哲学。 如果你出门旅行过,大概懂这个感受: 带大箱子太重,带小背包装不下,勉强塞满找东西要翻半天,拉链还随时可能崩开。 端侧AI现在面临的,就是这三种包的困境。 第一种:云端的大行李箱,能力强,但带不走。 云端大模型就像一个巨大的旅行箱,什么都装得下。GPT-4V级别的多模态能力看图、读文档、做数学题、分析视频,样样精通。但问题是它需要联网、有延迟、有隐私顾虑、有成本压力。对手机、平板、车载这些终端场景来说,很多时候你需要的是随手就能用的AI,而不是每次都要托运的大箱子。 第二种:端侧小模型就像随身腰包,轻便,但装不了多少东西。 于是行业走向另一个极端:把模型做小,塞进手机里。几百M、1B、2B的端侧模型层出不穷,确实能跑、轻便,但能力也确实有限。OCR认不准复杂表格,数学题做不对,视频理解只能看个大概。就像一个腰包,装个手机钥匙钱包还行,真要出门办事,东西根本不够用。用户的感受就是,端侧AI能用,但不好用。 第三种:强行堆料的登山包,能装,但背不动。 那能不能让端侧模型再大一点?当然可以,但代价是内存。 Counterpoint的数据显示,2026年第二季度DRAM内存已经正式超越主芯片SoC,成为旗舰手机中造价最高的单一元器件。64GB DIMM价格一年内涨了约3.5倍,涨势还没停。12GB已成AI手机及格线,16GB是旗舰标配,部分机型往24GB上探。内存越堆越大,成本越堆越高,但消费者的钱包不是无限的。靠堆内存来堆AI能力,这条路越走越贵。云端的箱子带不走,端侧的腰包不够用,堆料的登山包背不动。 端侧AI,似乎卡在了一个尴尬的中间地带。 那么,什么样的端侧AI才能满足现在的市场、技术需求? 面壁智能联合清华大学提出的“密度定律”早已给出过判断:大模型能力密度约每3.5个月翻一番,每隔约100天就能用一半参数量实现当前最优性能。这意味着高效才是端侧AI的真正护城河。 而面壁智能近期发布的MiniCPM-V 4.7又提供了一种新的观察方向。MiniCPM-V 4.7最引人注目的是它把端侧可流畅运行的多模态模型上限,推到了一个此前被认为“不属于手机”的档位:35B总参数、3B激活的MoE架构,约3G内存即可在iOS、安卓系统流畅运行。 本次发布同时推出两个版本: 35B-A3B(35B总参数/3B激活) 是端侧可流畅运行的最强多模态大模型,约3G内存即可在iOS、安卓等系统上流畅运行;另一个 1B版本(1.3B参数) 则在极小体积下把OCR、数学、视频做到同尺寸第一梯队。全系列支持256K超长上下文,模型权重、推理代码和微调代码全部开源。 我们可以从以下几个视角了解一下其收纳艺术。 第一层收纳:把大模型“分装”成小包。 资深背包客都知道一个基本原则:不要用一个大包塞所有东西,而是用多个收纳袋分装,用哪个拿哪个。MoE(混合专家模型)架构,就是把这个思路用到了大模型上。传统的稠密模型像一个巨大的旅行箱,所有参数都要同时驻留内存,每次推理都得全部动用。而MoE模型把35B总参数拆成多个“专家模块”,每次推理只激活其中一小部分。在保持大模型容量与能力的同时,降低计算量和内存带宽需求。 MiniCPM-V 4.7 35B-A3B的激活参数只有3B。这就好比你有35件装备,但出门的时候身上只带3件最常用的,

about image
觉得有用?分享给朋友

让更多人看到这篇内容

推荐阅读

Search
热点新闻
羞愧吗?19岁曼联天才的完美之夜 被身边的老资格球员彻底搞砸
羞愧吗?19岁曼联天才的完美之夜 被身边的老资格球员彻底搞砸

北京时间9月17日凌晨,2026/27赛季英格兰联赛杯第3轮上演一场焦点战。红魔在主场2-0领先的情况下被布莱顿连扳3球,2-3惨遭逆转无缘晋级。此役,曼联19岁天才前锋谢伊-莱西首发出战并在第8分钟就收获进球,然而,本应属于他的完美之夜,却被身边一群老资格球员彻底搞砸。 本场比赛,莱西获得职业生涯曼联一线队第一次首发出战,而小将也没有辜负大家的期望。开场仅仅8分钟,他右路内切杀入禁区一脚抽射为曼

打破传言!分手15年,李泽楷留给梁洛施最值钱底牌,并非那套20亿豪宅
打破传言!分手15年,李泽楷留给梁洛施最值钱底牌,并非那套20亿豪宅

石澳那栋房子,香港土地注册处2026年4月的公开记录写得清清楚楚,产权人一栏登记的是李泽楷名下的公司,不是梁洛施。 装修确实花了两亿,但那笔钱没进过她的账户,她也从没签过任何赠予文件。 外界传了十几年的“20亿豪宅”,真实估值大概5亿港币,折合台币约20亿。 这套房子梁洛施和三个儿子住了十几年,但她从来没有拥有过它,她只是住在里面,住的原因是三个孩子姓李。 当年2011年那份分手声明,从头到尾只有

舍不得放下远东,是俄罗斯最大的弊病,如果放下远东,俄罗斯或许能满血复活
舍不得放下远东,是俄罗斯最大的弊病,如果放下远东,俄罗斯或许能满血复活

一个人守着金矿却没钱买铲子,最后只能捧着金子饿死。大国治理也是这样,家底厚不厚是一回事,能不能盘活是另一回事。 俄罗斯远东就是那个攥着金子的手。695万平方公里,比整个欧盟还大,地下埋着石油、天然气、木材、钻石。可这地方只有不到800万人,平均一平方公里住一个人。GDP占全国比例不到6%,基本就是一张资源提货单。你开着车跑一天,可能连个像样的镇子都撞不见。 穆拉维约夫的铜像举着望远镜站在金角湾边,

中国派兵、俄罗斯派兵,偏偏印度不肯派?
中国派兵、俄罗斯派兵,偏偏印度不肯派?

莫迪的心思,中俄看得一清二楚! 这几天,“中部2026” 战略大演习正在俄罗斯车里雅宾斯克州进行。对于这场演习,中国派出实兵分队过去参演,巴基斯坦、白俄罗斯、中亚多国也都派出部队下场。俄罗斯作为东道主,当然也派了不少兵力到车里雅宾斯克州去!这么多国家齐聚,当然让俄罗斯相当有面子。于是,就在数小时前,普京还亲自前往演习点进行视察。 然而,同为上合成员国的印度,却只派了少数军官当观察员,没有派出一兵一

双创指数半日跌超3%,全市场超5000只个股下挫,AI漫剧概念反复活跃
双创指数半日跌超3%,全市场超5000只个股下挫,AI漫剧概念反复活跃

每经AI快讯,10月15日早盘,A股市场低开后震荡调整,三大指数集体下挫,沪指失守3700点。沪深两市半日成交额9818亿,较上个交易日放量1290亿。全市场超5000只个股下跌。盘面上,题材弱势轮动,PCB骏亚科技3天2板,崇达技术、金禄电子涨停,澳弘电子19天11板续创历史新高;AI漫剧概念反复活跃,慈文传媒5连板,欢瑞世纪5天3板;白酒皇台酒业3天2板,金种子酒涨超6%;创新药贝瑞基因、华北