近日,阿里云提出的计算池化解决方案“Aegaeon ”成功入选顶级学术会议SOSP 2025 ,该方案可解决AI模型服务中普遍存在的GPU资源浪费问题,大幅提升GPU资源利用率,目前其核心技术已应用在阿里云百炼平台。
SOSP(操作系统原理研讨会)由ACM SIGOPS主办 ,是计算机系统领域顶级学术会议,平均每年收录的论文数量仅有数十篇,被誉为计算机操作系统界的“奥斯卡” ,入选论文代表了操作系统和软件领域最具代表的研究成果 。本届SOSP大会上,系统软件与AI大模型技术的融合成为新的趋势。
数据显示,在阿里云模型市场为期超三个月的Beta测试中 ,Aegaeon系统在服务数十个参数量高达720亿的大模型时,所需的英伟达H20 GPU数量从1192个减至213个,削减比例高达82%(见下图)。GPU用量削减82%意味着公司硬件采购成本将显著降低,这对于动辄使用成千上万张GPU的大型模型服务商至关重要 。
在真实的模型服务场景中 ,少数热门模型(如阿里的Qwen)承载了绝大多数用户请求,而大量不常被调用的“长尾”模型却各自独占着GPU资源。数据显示,在阿里云模型市场中 ,曾有17.7%的GPU算力仅用于处理1.35%的请求,资源闲置严重。
而Aegaeon系统通过GPU资源池化,打破了“一个模型绑定一个GPU ”的低效模式 。
Token级调度是该系统的核心创新点 ,Aegaeon多模型混合服务系统在每次生成下一个token后动态决定是否切换模型,实现精细化管理,同时 ,通过组件复用 、显存精细化管理和KV缓存同步优化等全栈技术,Aegaeon将模型切换开销降低97%,确保了token级调度的实时性 ,可支持亚秒级的模型切换响应。
据介绍,Aegaeon系统支持单GPU同时服务多达7个不同模型,相比现有主流方案提升1.5-9倍的有效吞吐量,实现2-2.5倍的请求处理能力。
如何从底层系统软件层面优化 ,以更好地支撑和赋能上层AI应用,已成为全球学术界和工业界关注的焦点 。未来AI的发展将不仅依赖于硬件算力的单纯增长,更需要通过系统级的软件创新来深度挖掘现有硬件的潜力。
推荐看股票app:今天人气排名第一的股票-H20在中国恢复销售:市场接受度如何?如何影响GPU行业生态?
配资排排网:南昌股票配资-华为将发布AI推理领域突破性成果 完善中国AI推理生态关键部分
手机上买股票:金股配资网正规平台-BAT资本开支飙升168%!机构调升阿里、“寒王”目标价 AI基建迎价值重估?
哈尔滨配资平台:股票配资平台网简配资诊治-AI泡沫风险越来越大?华尔街推荐这些“杠铃投资策略”
配资之家门户网:在手机上怎么看股票-国产GPU摩尔线程:构建新一代AI训练基础设施 致力于打造生产先进模型的“超级工厂”
股票开户配资:股票配资的论坛-【风口研报】阿里超千亿押注AI 国产算力链进入需求增长新周期
道正网app-十大配资排行_可查的实盘配资公司_配资门户网提示:文章来自网络,不代表本站观点。
道正网app-十大配资排行_可查的实盘配资公司_配资门户网㉖我们会关注市场情绪的变化,但不仅仅依赖市场情绪来做出投资决策。相反,我们会结合市场情绪、基本面和技术面分析,来形成全面的投资观点。
Wind数据显示,截至2025年4月11日收盘,上证科创板100指数强势上涨4.67%,成分股唯捷创芯上涨20.01%,...
截至2025年4月11日周五收盘,上证科创板人工智能指数强势上涨3.54%,成分股安路科技上涨11.86%,芯海科技上涨...
美团-W获南向资金连续八周净流入 本周(7月7日至7月11日)港股市场主要股指震荡上涨,恒生指数累计涨0.93%,...
近日,国际金价一举突破3000美元关口,随着金价攀升,多家银行陆续调整积存金业务。根据中国人民银行《黄金积存业务...
记者辛圆据交通运输部网站周三发布消息,交通运输部办公厅、国家发展改革委办公厅、财政部办公厅印发《202...
据北京日报,6月20日,外交部发言人郭嘉昆主持例行记者会。路透社记者提问,欧洲多国外长将于今日与伊朗外长举行会晤。俄...
上海创兴资源开发股份有限公司(证券代码:600193,简称“创兴资源”)于2025年3月21日发布公告,称其为全资子公司...
3月24日,海洋王照明科技股份有限公司(以下简称“海洋王”,002724.SZ)早盘一字跌停,此后股价拉涨,尾盘封涨停板...
近期全球金融市场波动加剧,A股市场主线不明朗,投资者风险偏好持续收敛。在此背景下,现金流ETF800(认购代码:5164...
...
据中国外汇交易中心,人民币兑美元中间价报7.1696,调升45点。...
4月6日,莲花控股发布业绩预告,公司预计2025年第一季度实现归属于上市公司股东的净利润10,000万元至12,000万...
工业富联8月10日披露半年报,公司上半年实现营业收入3607.6亿元,同比增长35.58%;归属于上市公司股东的净利...
6月20日,市场全天震荡走低,创业板指领跌。截至收盘,沪指跌0.07%,深成指跌0.47%,创业板指跌0.84%。 ...
7月15日,武汉市硚口区发布最新楼市政策,全面推行城市更新购房消费券:年内在当地城市更新片区内或危旧房收购项目,通过...