Ant Digital представляет Bai Ling Enterprise Financial LLM: новое понимание скорости и эффективности

Появление автономных агентов, таких как Agent от OpenAI, знаменует собой значительное ускорение развития приложений искусственного интеллекта, переход от простого «диалогового взаимодействия» к сложному «выполнению задач». Хотя компании быстро подхватывают эту тенденцию, они также сталкиваются с такими проблемами, как неэффективное использование вычислительных ресурсов и соблюдение требований безопасности. Достижение масштабного и устойчивого внедрения интеллектуальных агентов стало центральной задачей отрасли.

26 марта на Форуме инноваций будущей индустрии в рамках Форума Чжунгуаньцунь Чжан Пэн, генеральный директор отдела технологических инноваций в области крупных моделей компании Ant Digital, заявил в своем выступлении, что появление таких агентов революционизирует парадигму корпоративного ИИ. Этот сдвиг перенесет промышленное внедрение крупных моделей из «конкуренции по масштабу параметров» в «конкуренцию по эффективности токенов».

Чжан Пэн, генеральный директор отдела технологических инноваций в области крупных моделей компании Ant Digital, выступает на форуме Zhongguancun.

Быстрое внедрение интеллектуальных агентов отражает высокий рыночный спрос на автономное выполнение задач. Однако их внедрение в реальных промышленных условиях сопряжено с серьезными препятствиями. Часто не обладая глубоким пониманием отраслевых правил и рабочих процессов, эти агенты могут производить повторяющиеся и неэффективные вызовы инструментов при обработке сложных задач. Это приводит к потреблению токенов, которое значительно превышает фактически создаваемую ценность. Отчеты показывают, что в некоторых сценариях с высокой частотой выполнения затраты на работу агентов могут быть в десятки, а то и сотни раз выше, чем у интегрированных решений, что вызывает опасения относительно устойчивости их широкого промышленного применения.

«Основная задача на следующем этапе промышленного внедрения больших моделей заключается не в конкуренции по количеству параметров, а в постоянном повышении эффективности на один токен», — отметил Чжан Пэн. Он считает, что компании должны выбирать решения ИИ, стратегически сочетающие большие и малые модели в зависимости от конкретных сценариев и потребностей, достигая большей бизнес-ценности при меньших вычислительных затратах.

Рассмотрим в качестве примера финансовый сектор. В этой сфере ежедневно обрабатываются огромные объемы высокочастотных задач с низкой задержкой — быстрое определение намерений пользователя, извлечение ключевых данных, поиск и сортировка информации. Эти задачи требуют высокой параллельности, быстрого времени отклика и высокой точности. Хотя традиционные мощные модели инференса обладают высокой производительностью, их использование в таких сценариях часто является излишним — как «разбивать орех кувалдой» — что приводит к высоким затратам, низкой скорости и растрате ресурсов.

«То, что действительно нужно отрасли, — это решение на базе ИИ, которое гарантирует профессионализм, строгость и соответствие нормативным требованиям, обеспечивая при этом оптимальную рентабельность и скорость отклика», — пояснил Чжан Пэн. Он подчеркнул, что модели с большим количеством параметров превосходны в сложных рассуждениях и углубленном анализе, в то время как более компактные модели предлагают меньшую задержку и лучшую рентабельность для высокочастотных, более простых задач. Гибридный подход, использующий преимущества обоих типов, является ключом к более эффективному и экономичному решению реальных проблем.

На форуме в Чжунгуаньцуне компания Ant Digital представила облегченную модель для финансовой сферы под названием Ling-DT-Fin-Mini-2.5 — первую в серии Ling DT. Эта модель представляет собой облегченную архитектуру «смеси экспертов» (Mixture-of-Experts, MoE), основанную на новейшей гибридной линейной внимательной структуре Ling 2.5, оптимизированной для финансовых задач с высокой степенью параллелизма и низкой задержкой. Она сохраняет профессиональные возможности, одновременно снижая затраты на инференцию до уровня, подходящего для массового развертывания. По сравнению с основными моделями общего назначения с аналогичными возможностями она обеспечивает на 100% более высокую скорость инференции и значительно более низкие затраты на аппаратное обеспечение для обработки эквивалентных объемов задач, что дает финансовым учреждениям ощутимую экономию средств и повышение эффективности.

Действительно, по мере того как ИИ-агенты все глубже проникают в основные промышленные процессы для выполнения реальной работы, стратегия объединения больших и малых моделей становится отраслевым стандартом. Недавно сама OpenAI выпустила две более компактные модели, GPT-4o mini и nano, ориентированные на низкую задержку и высокую экономическую эффективность, чтобы служить в качестве основных агентов на уровне исполнения.

Чжан Пэн пришел к выводу, что технологический прогресс в конечном итоге должен соответствовать рациональным требованиям промышленной эффективности. На следующем этапе конкуренции эффективность токенов станет основным показателем для оценки ценности корпоративного ИИ. Ant Digital по-прежнему будет сосредоточена на AGI корпоративного уровня, планируя выпустить корпоративную версию большой модели Ling DT и отраслевые версии, ускоряя широкомасштабное развертывание интеллектуальных агентов в сложных бизнес-средах.