Skip to navigationSkip to content
BizHanKook BizHanKook

“削减 AI 账单的秘诀即是盈利模式” LG Uplus 推出 AI “代币优化配方”

[BizHanKook] 尽管人工智能(AI)的使用单价在下降,但企业在 AI 运营成本上的负担却在不断增加。随着处理单一任务需多次调用模型的 AI 代理(AI Agent)普及,代币(Token)消耗量正急剧上升。LG Uplus 瞄准这一痛点,计划于明年开展企业间(B2B)代币业务。其核心战略是凭借能降低任务总处理成本的代币优化“配方”,攻略那些因成本负担而对引入 AI 犹豫不决的客户。

随着 AI 代理普及,代币成本成为企业新的负担,LG Uplus 凭借优化“配方”进军明年 B2B 代币市场,韩国三大通信公司的代币竞争日趋激烈。图为 LG Uplus 首席技术官(CTO)李尚烨于 12 日在“AI 代币优化研讨会”现场进行发表。照片=LG Uplus 提供

LG Uplus 于 12 日为媒体举办研讨会,公开了公司的优化技术及未来业务推进方向。LG Uplus 技术战略负责人李惠珍解释道:“AI 的真实成本不在于输出答案的那一刻,而在于完成整个任务所需的总成本。”代币是 AI 处理数据的基本单位,按使用量收费。据李负责人介绍,虽然过去 1~2 年间大型科技企业的代币价格下降了约 80%,但消耗量却增长了 3 倍。由于代理在输出一个结果前需经历约 20 个步骤,屏幕之外的内部推理过程往往占据了成本的 80% 以上。

LG Uplus 首席技术官(CTO)李尚烨也表示:“我们不想仅仅通过比较每 100 万代币的价格,然后宣称‘我们把价格降到了多少美元’。我们的目标是协助客户以最优成本完成其业务任务。”

少用、做小、降本运行

LG Uplus 将所谓的代币优化“秘诀”称为“配方”。这是结合其运营 AI 通话服务“ixi-O”和 AI 客服中心(AICC)等服务过程中积累的多项技术,根据任务特性进行组合的方式,主要分为三个方向。

首先,通过匹配问题难度选择模型的“模型路由(Model Routing)”和限制代理工作路径的“线束工程(Harness Engineering)”来减少代币使用。在内部验证中,一般问题的处理成本降低了 25% 以上,编码代理成本降低了 30% 以上。在编码领域,甚至获得了利用自有模型将运营成本降低约 90% 的案例。

其次是让模型变小、变快的技术。在将端侧(On-device)模型大小从 2.4~3 GB 缩减至约 800 MB 的同时,仍保持了对比云端模型 95% 以上的性能。通过小模型撰写草稿、大模型验证的方式,代币生成速度也提高了 2 倍以上。

照片从左至右依次为 LG Uplus AX 工程实验室负责人权基德、CTO 李尚烨(专务)、技术战略负责人李惠珍、主权云业务组长金贤敏正在回答记者提问。照片=姜恩京记者

此外,公司还利用将英伟达(Nvidia)及 AMD 的图形处理器(GPU)与 FuriosaAI 的神经网络处理器(NPU)组合在一起的“芯片混合(Chip Mix)”技术。例如,问题分析任务交给计算速度快的英伟达 GPU,答案生成则交给内存更大的 AMD GPU。

不拘泥于自有模型也是其特点之一。李 CTO 表示:“如果大型科技公司的轻量化模型更适合某项任务,我们也可以路由到那边提供服务。”即使在公司内部,也在保留大型科技公司编码代理前端界面的同时,仅将后端的模型调用连接点改为自有平台,从而降低成本。他解释说,这种组合本身就是业务配方。关于产品构成和定价,主权云业务组长金贤敏表示:“将并行开展合作方协作与自有基础设施建设,以降低客户的总拥有成本(TCO)。”

继“分”和“字节”之后是“代币”……三大运营商盘算各异

将代币作为新增长点的运营商并非只有 LG Uplus。随着 AI 需求重心从模型训练转向实际服务推理,如何以低廉且稳定的方式生产并供应代币,已成为重要的商业机会。

SK 电讯(SK Telecom)首席执行官(CEO)郑载宪在上月 8 日于 SKT 大厦举行的员工大会上发表“增长齿轮战略”(左图)。KT AX 业务部门长(专务)朴相元在上月 27 日的记者恳谈会上介绍 KT 的 AX 业务战略。照片=各公司提供

通信公司认为,他们过往在衡量通话及数据使用量并据此计费、运营网络及数据中心的经验,与代币业务有着高度的契合度。但各家公司的切入点各有不同:KT 侧重于整合多种模型的流通及计费平台;SK 电讯侧重于连接客户、模型与基础设施的管控;LG Uplus 则重点关注代币生产成本与运营效率。

此前,SK 电讯在上月 8 日发布的“增长齿轮战略”中提出了“代币网关”业务。这是一个管理 AI 使用模式并将其连接至合适模型与基础设施的管控中心,利用其 2300 万客户基础和支付体系。KT 也在上月 30 日推出了 AI 模型整合平台“Token Factory”。该平台可在同一处提供国内外 500 个以上的模型,并说明通过自主路由技术“自动模型路由器”和提示词压缩,可将代币使用量最多降低 25%。

需求增长极其迅猛。引用 KT 引用的 AI 模型中介平台 OpenRouter 的统计数据显示,一年内全球代币消耗量增长了约 35 倍。业内预计,在 AI 时代,代币将继“分”和“字节”之后,成为新的计量单位。

这三家公司的业务将于明年全面展开。KT 计划明年 3 月将对象扩大至个人用户,推出订阅制套餐;SK 电讯则推进与英伟达合作的“AI Factory”于明年实现商用化;LG Uplus 在负责年底与 Kakao 推出的“Everyone's AI”的模型服务并积累经验后,将于 2027 年正式开展 B2B 代币业务。

李惠珍负责人表示:“对于引入 AI 的企业来说,现在的 AI 更像是‘吞金兽’。让 AI 能够像真正的员工一样工作,这才是客户最需要的红利。”

Kang Eun-kyung

I cover and write about technology and industry.

gong@bizhankook.com
Copyright © BizHanKook. All rights reserved.