算力成本高企、大模型参数越来越大、多模态模型让推理成本再提高2个数量级、推理效率低、业务场景丰富但落地链路长等一系列现实问题,成为制约AI应用广泛落地的关键因素。 如何降低算力成本,迎接推理算力爆发时代的到来? 王闻宇先生2024全球机器学习技术大会上,以《如何做到算力基建和推理优化的“软硬兼施”与创新突破》为题,对AI推理成本高企的原因进行深度剖析,并给出两个降低推理成本的有效方法。 当前,AI推理面临的首要问题是高昂的成本: 以GPT-4当前的推理价格为例,如果我们做一个粗略的估算,假设日活跃用户达到10亿,每人每天使用7,000个token(包含上下文信息),并且不考虑目前百万级脱壳的费用,每天产生的费用将高达2.1亿美金。若按365天计算,年费用将达到惊人的600亿美金。 GPT-4推理价格估算