Thoughts, ideas, updates of PPIO.

PPIO派欧云发布全新算力云产品,助力大模型推理千倍降本
recommend

PPIO派欧云发布全新算力云产品,助力大模型推理千倍降本

2024年9月4日,由PPIO派欧云主办的“Power to Pioneers · 2024分布式云计算论坛暨 PPIO AI产品发布会”在上海召开。论坛聚焦于分布式云计算的技术创新、产业落地、市场趋势,及其对AIGC规模化应用的推动力。期间,PPIO推出全新的Serverless和模型API服务产品,进一步完善派欧算力云产品矩阵,标志着PPIO的分布式云服务从边缘云延伸到AI基础设施,将为AIGC创新企业和开发者带来更高性价比、弹性、易用的一站式AI基础设施产品和服务。张江集团党委书记、董事长袁涛;华中科技大学教授、长江学者特聘教授、中国计算机学会副理事长金海教授出席本次论坛并致辞。中国信通院云大所政企数字化转型部主任徐恩庆;上海交通大学特聘教授、中国计算机学会系统软件专委副主任、开源鸿蒙技术指导委员会主席陈海波教授分别发表精彩演讲,为分布式云产业发展贡献无尽灵感。

  • Ghost
    Ghost
投机采样会损失大语言模型的推理精度吗?
technology

投机采样会损失大语言模型的推理精度吗?

Mitchell Stern 等人于 2018 年提出了投机采样的原型概念。这种方法后来被各种工作进一步发展和完善,包括 Lookahead Decoding、REST、Medusa 和 EAGLE,投机采样显著加快了大型语言模型 (LLM) 的推理过程。 一个重要的问题是:LLM 中的投机采样会损害原始模型的准确性吗?先说答案:不会。 标准的投机采样算法是无损的,本文将通过数学分析和实验来证明这一点。 数学证明 投机采样公式可以定义如下: 其中: 𝑟 是从均匀分布中采样的实数。是要预测的下一个token。 𝑝(𝑥) 是草稿模型给出的下一个token分布。𝑞(𝑥) 是基础模型给出的下一个token分布。

  • dino
PPIO派欧云发布下一代推理加速引擎
news

PPIO派欧云发布下一代推理加速引擎

(2024年7月28日,长春)2024年7月26至28日,由中国计算机学会(CCF)主办的“CCF Computility 2024分布式计算大会暨全国开放式分布与并行计算学术年会”在长春市举办。陈国良院士、于全院士、郑纬民院士等11位院士与学术界和产业界的1000多位顶级专家齐聚一堂,深入探讨分布式计算与算力网的最新进展,推动科技与产业的深度融合。 作为中国领先的分布式云服务商,PPIO派欧云联合创始人、董事长兼CEO姚欣受邀参会并发表题为《面向下一代人工智能的分布式智算网络建设与运营》的主题演讲,正式发布下一代分布式推理加速技术产品——派欧算力云推理加速引擎。 性价比领先,推理性能提升十倍,综合成本降低90% 派欧算力云推理加速引擎通过一系列自研推理加速算法,使大语言模型(LLM)推理性能提升10倍。同时,

PPIO派欧云蝉联边缘公有云市场 TOP 10 企业
news

PPIO派欧云蝉联边缘公有云市场 TOP 10 企业

近日,国际数据公司(IDC)正式发布《中国边缘云市场跟踪研究,2023H2》报告。该报告指出,在2023年下半年,中国边缘云市场实现了显著增长,市场规模达62.6亿元人民币,同比增长率高达36.1%。在众多竞争者中,PPIO派欧云凭借卓越的市场表现和强大的竞争力,再次跻身于该领域的TOP10榜单。 在市场概况方面,报告指出,纵观2023年,互联网行业客户在降本增效诉求下加速自建流量分发与分布式音视频处理体系,以及传统行业客户持续将轻量级IT架构迁移至边缘云体系中,仍然是整个市场增长的核心驱动力。即便受到互联网流量增长见顶甚至回退、行业客户收紧IT预算影响,边缘云市场在下半年依然出现了超预期需求,成为云计算市场中重要的增长引擎。 PPIO派欧云在此次报告中荣获TOP10殊荣,充分彰显了其在边缘云领域的卓越实力和创新能力。展望未来,

PPIO CEO 姚欣:AI 行业或将迎来一次泡沫破灭,但不要悲观
recommend

PPIO CEO 姚欣:AI 行业或将迎来一次泡沫破灭,但不要悲观

7月5日,混沌AI应用探索营授课老师、PPTV创始人、PPIO派欧云联合创始人&CEO姚欣,与大家分享了AI世界相对确定的当下和充满想象力的远方,一同用前瞻性的眼光进行长期性规划,积极拥抱新技术。 混沌AI应用探索营,致力于以混沌·Light 独家一思维*探索流作为交互工具,结合AI先锋老师与企业实践案例,帮助想拥抱AI的企业管理者,用AI降本增效、产品升级,实现从“互联网+”到“AI+”。 硬件技术推动AI发展迈向不同阶段 今年三月,美国一家著名对冲基金在发布的一份报告中指出了AI发展的四个阶段。目前我们还处于专注于技术设施建设的第一阶段。即将进入的第二阶段的核心特征是使手机、电脑等设备具备AI能力。第三阶段将会演变成每个人都拥有自己独有的AI助手。第四阶段则包括自动驾驶、

五项中国信通院荣誉!PPIO派欧云以分布式技术引领算力网络服务新标杆!
news

五项中国信通院荣誉!PPIO派欧云以分布式技术引领算力网络服务新标杆!

近期,PPIO派欧云凭借其卓越的分布式计算技术,接连获得中国信通院(CAICT)、中国通信标准化协会(CCSA)五项重要殊荣,彰显了公司在技术创新和行业引领方面的实力。 7月10日,中国通信标准化协会成功举办了“2024年算网基础设施产业发展论坛”。在此次盛会上,PPIO派欧云凭借其前瞻性的“分布式云算力网络智能调度与博弈交易算法”荣获「2023年度算网基础设施优秀案例」。 2023年度算网基础设施优秀案例7月18日,由中国通信标准化协会主办的“第四届云边协同大会暨首届分布式算力论坛”也在北京顺利召开。PPIO派欧云凭借其突破性的“PPIO派欧算力云分布式算力解决方案”荣获「2024年度分布式算力“星耀”案例」。 2024年度分布式算力“星耀”案例在中国信通院云计算与大数据研究所联合百余家成员单位共同发起的“边缘算力网络推进计划暨《

PPIO CTO王闻宇解析AI出海秘籍,推理成本成为竞争焦点
news

PPIO CTO王闻宇解析AI出海秘籍,推理成本成为竞争焦点

乘着OpenAI带来的新技术变革,AI产品出海掀起了新一轮全球化之路。PPIO派欧云联合创始人&CTO王闻宇,在 2024 AICon 全球人工智能开发与应用大会,结合AI推理云的跨地域服务实践,分享了PPIO派欧云在助力本地开发者全球化业务中的技术优化实践。为企业提供借鉴。 企业出海动因分析 越来越多AI产业企业选择出海。 海外市场ToC的泛联网AI应用(APP+网站)正在高速增长。即使在中美关系角力的今天,其中出海公司也占据了很大的份额。我身边创业圈的趋势也能明显看到,之前做本地ToC APP创业者,现在基本都在做出海的应用,APP或者网页,而且很多人都在做AI原生应用。 此外,相比本地市场,出海市场在某些领域能提供更加开放宽松的竞争环境,有助于企业自由发挥。

PPIO CTO王闻宇:我们是怎么做到让AI推理成本下降数量级的?
news

PPIO CTO王闻宇:我们是怎么做到让AI推理成本下降数量级的?

算力成本高企、大模型参数越来越大、多模态模型让推理成本再提高2个数量级、推理效率低、业务场景丰富但落地链路长等一系列现实问题,成为制约AI应用广泛落地的关键因素。 如何降低算力成本,迎接推理算力爆发时代的到来? 王闻宇先生2024全球机器学习技术大会上,以《如何做到算力基建和推理优化的“软硬兼施”与创新突破》为题,对AI推理成本高企的原因进行深度剖析,并给出两个降低推理成本的有效方法。 当前,AI推理面临的首要问题是高昂的成本: 以GPT-4当前的推理价格为例,如果我们做一个粗略的估算,假设日活跃用户达到10亿,每人每天使用7,000个token(包含上下文信息),并且不考虑目前百万级脱壳的费用,每天产生的费用将高达2.1亿美金。若按365天计算,年费用将达到惊人的600亿美金。 GPT-4推理价格估算

派欧算力云全网首发4090D,实测性能可达4090的98%!
news

派欧算力云全网首发4090D,实测性能可达4090的98%!

NVIDIA 推出为中国市场量身定制的 RTX 4090D  显卡(以下简称“4090D”)。 NVIDIA 对该显卡的参数进行了特别调整。RTX 4090D 的设计严格遵循了 TPP(总处理性能)的限制,配备了14592 个 CUDA 核心,加速频率达到 2.52 GHz,并搭载了 24GB 384bit GDDR6X 显存。 参数可以做简单对比,实际性能却不能简单换算,

PPIO CEO姚欣:AI何时跨越鸿沟,引领行业重塑?
news

PPIO CEO姚欣:AI何时跨越鸿沟,引领行业重塑?

从IBM的“深蓝”到谷歌的“阿尔法狗”,AI技术已经酝酿多年。直到ChatGPT诞生,大力终于出现奇迹,AI被迅速引爆。而今,从芯片到大模型,AI正在各行各业长驱直入,并开始对传统生产方式产生诸多颠覆迹象。 3月13日,PPIO联合创始人兼CEO姚欣受邀参与CAN TALK直播,围绕“从AI变革到产业落地:如何跨越鸿沟、穿越周期”这一话题进行了分享。身为PPTV网络电视创始人和蓝驰创投前投资合伙人,姚欣拥有数十年的互联网和移动互联网创业及从业经验,此次分享,他从创业者和投资人的双重视角,解读了AI技术的发展规律以及未来结合产业落地的路径。 “目前,新一代AI技术即AI 2.0仍处于早期阶段,技术尚不稳定、

  • dino
对话PPIO CTO王闻宇:推理爆发前夕,从GPU发展角度看AIGC大时代的来临
news

对话PPIO CTO王闻宇:推理爆发前夕,从GPU发展角度看AIGC大时代的来临

随着推理创新应用的落地开花,GPU作为一种强大的计算工具,正在引领着这场数字化世界的变革。其卓越的高性能计算能力和并行处理能力为AIGC技术的发展提供了强大支持,推动了音视频内容的创新与进步。从GPU发展角度看AIGC大时代的来临 1.LiveVideoStack:王闻宇老师您好,非常高兴再次邀请到您参与采访。在上海站,您参与了【AIGC与内容生产】专题并分享了精彩的演讲,您参与其中的感受如何?有没有特别令您印象深刻的亮点或观众的提问?王闻宇:上次活动我演讲结束后,问问题的朋友非常多,很火爆,我感受到咱们大会的观众非常热情。上海站我分享的是“AIGC音视频工具分析和未来创新机会思考”这个话题,主要分析了 AIGC 与音视频的关系,并且站在全球视野,给大家分享了一些知名国外的音视频应用或App,以及他们所背后的前沿技术(

PPIO CEO姚欣获称「逐鹿中原·卓越河南籍商界代表」
news

PPIO CEO姚欣获称「逐鹿中原·卓越河南籍商界代表」

2023年9月,由郑州市人民政府、河南投资集团有限公司指导,郑州高新技术产业开发区管理委员会、河南颐城控股有限公司主办,河南汇科高新技术研究院有限公司、北京甲子光年科技服务有限公司承办的2023科技新生态发展大会举办。 会议期间,PPIO 联合创始人姚欣出席“逐鹿中原·卓越河南籍商界代表”授予仪式,斩获“逐鹿中原·卓越河南籍商界代表”称号! PPIO 联合创始人姚欣登台领奖(右6)此奖为表彰豫籍企业家在推动河南科技民生产业发展方面所做出的杰出贡献,仅有九位豫籍企业家入选。 本届会议以「豫商回豫 创变中原」为题,郑州市委副书记、市长何雄,河南投资集团党委书记、董事长刘新勇,

  • dino