dino

22 posts
投机采样会损失大语言模型的推理精度吗?
technology

投机采样会损失大语言模型的推理精度吗?

Mitchell Stern 等人于 2018 年提出了投机采样的原型概念。这种方法后来被各种工作进一步发展和完善,包括 Lookahead Decoding、REST、Medusa 和 EAGLE,投机采样显著加快了大型语言模型 (LLM) 的推理过程。 一个重要的问题是:LLM 中的投机采样会损害原始模型的准确性吗?先说答案:不会。 标准的投机采样算法是无损的,本文将通过数学分析和实验来证明这一点。 数学证明 投机采样公式可以定义如下: 其中: 𝑟 是从均匀分布中采样的实数。是要预测的下一个token。 𝑝(𝑥) 是草稿模型给出的下一个token分布。𝑞(𝑥) 是基础模型给出的下一个token分布。

  • dino
PPIO派欧云发布下一代推理加速引擎
news

PPIO派欧云发布下一代推理加速引擎

(2024年7月28日,长春)2024年7月26至28日,由中国计算机学会(CCF)主办的“CCF Computility 2024分布式计算大会暨全国开放式分布与并行计算学术年会”在长春市举办。陈国良院士、于全院士、郑纬民院士等11位院士与学术界和产业界的1000多位顶级专家齐聚一堂,深入探讨分布式计算与算力网的最新进展,推动科技与产业的深度融合。 作为中国领先的分布式云服务商,PPIO派欧云联合创始人、董事长兼CEO姚欣受邀参会并发表题为《面向下一代人工智能的分布式智算网络建设与运营》的主题演讲,正式发布下一代分布式推理加速技术产品——派欧算力云推理加速引擎。 性价比领先,推理性能提升十倍,综合成本降低90% 派欧算力云推理加速引擎通过一系列自研推理加速算法,使大语言模型(LLM)推理性能提升10倍。同时,

PPIO CEO姚欣:AI何时跨越鸿沟,引领行业重塑?
news

PPIO CEO姚欣:AI何时跨越鸿沟,引领行业重塑?

从IBM的“深蓝”到谷歌的“阿尔法狗”,AI技术已经酝酿多年。直到ChatGPT诞生,大力终于出现奇迹,AI被迅速引爆。而今,从芯片到大模型,AI正在各行各业长驱直入,并开始对传统生产方式产生诸多颠覆迹象。 3月13日,PPIO联合创始人兼CEO姚欣受邀参与CAN TALK直播,围绕“从AI变革到产业落地:如何跨越鸿沟、穿越周期”这一话题进行了分享。身为PPTV网络电视创始人和蓝驰创投前投资合伙人,姚欣拥有数十年的互联网和移动互联网创业及从业经验,此次分享,他从创业者和投资人的双重视角,解读了AI技术的发展规律以及未来结合产业落地的路径。 “目前,新一代AI技术即AI 2.0仍处于早期阶段,技术尚不稳定、

  • dino
PPIO CEO姚欣获称「逐鹿中原·卓越河南籍商界代表」
news

PPIO CEO姚欣获称「逐鹿中原·卓越河南籍商界代表」

2023年9月,由郑州市人民政府、河南投资集团有限公司指导,郑州高新技术产业开发区管理委员会、河南颐城控股有限公司主办,河南汇科高新技术研究院有限公司、北京甲子光年科技服务有限公司承办的2023科技新生态发展大会举办。 会议期间,PPIO 联合创始人姚欣出席“逐鹿中原·卓越河南籍商界代表”授予仪式,斩获“逐鹿中原·卓越河南籍商界代表”称号! PPIO 联合创始人姚欣登台领奖(右6)此奖为表彰豫籍企业家在推动河南科技民生产业发展方面所做出的杰出贡献,仅有九位豫籍企业家入选。 本届会议以「豫商回豫 创变中原」为题,郑州市委副书记、市长何雄,河南投资集团党委书记、董事长刘新勇,

  • dino
IDC报告,PPIO边缘云市场份额增速领先
news

IDC报告,PPIO边缘云市场份额增速领先

2023年2月20日,国际数据公司IDC最新发布的《中国边缘云市场跟踪研究,2022H1》报告中,PPIO继续位列边缘计算行业前10名,作为唯一的边缘公有云服务类创业公司市场贡献新增类似的还包括阿里云、百度智能云、移动云、天翼云、华为云等大型云厂商。 来源:IDC《中国边缘云市场跟踪研究,2022H1》 报告显示,2022年,中国边缘云市场规模总计30.7亿元人民币,同比增长达到50.8%;其中边缘、公有云服务、边缘单一云服务、边缘云解决方案市场规模分别达到17.1、4.4和9.2亿元人民币。 根据最新预测,

  • dino