Дом
Расходы на корпоративный ИИ: Модели Claude стоят на 20-30 % дороже GPT при развертывании
Широко известно, что в разных семействах моделей могут использоваться разные токенизаторы. Однако исследования того, как различается процесс токенизации в этих системах, были ограничены. Все ли токенизаторы производят одинаковое количество лексем для идентичного входного текста? Если нет, то насколько существенны эти различия? Какие практические последствия они несут?
В данной статье мы исследуем эти вопросы, изучая реальные последствия вариативности токенизации. Мы представляем сравнительный анализ двух ведущих семейств моделей: ChatGPT от OpenAI и Claude от Anthropic. Хотя их рекламируемые показатели "стоимость за токен" кажутся весьма конкурентоспособными, наше тестирование показало, что на практике модели Anthropic могут быть на 20-30 % дороже моделей GPT.
Ценообразование API - Claude 3.5 Sonnet против GPT-4o
По состоянию на июнь 2024 года ценовые структуры этих двух передовых моделей близко совпадают. И Claude 3.5 Sonnet от Anthropic, и GPT-4o от OpenAI имеют одинаковую стоимость выходных токенов, в то время как Claude 3.5 Sonnet предоставляет 40-процентную скидку на входные токены.
Источник: Vantage
Скрытая неэффективность токенизации
Несмотря на более низкую стоимость входных жетонов в Anthropic, наши эксперименты с фиксированными наборами подсказок показывают, что GPT-4o неизменно обеспечивает более экономичные общие затраты, чем Claude Sonnet-3.5.
Чем объясняется это несоответствие?
Токенизатор Anthropic обычно разделяет одинаковый входной текст на большее количество лексем по сравнению с подходом OpenAI. Это означает, что для одних и тех же подсказок модели Anthropic генерируют значительно большее количество лексем, чем их аналоги OpenAI. Следовательно, хотя стоимость ввода одного токена в Claude 3.5 Sonnet кажется ниже, увеличение объема токенов часто сводит на нет эту экономию, что приводит к увеличению общих затрат при практической реализации.
Эта скрытая стоимость возникает из-за методологии кодирования токенов Anthropic, которая часто требует больше токенов для представления эквивалентного контента. Инфляция количества токенов существенно влияет как на операционные расходы, так и на эффективность контекстного окна.
Вариации токенизации в зависимости от домена
Токенизатор Anthropic обрабатывает различные контентные домены с разной эффективностью, что приводит к непостоянному увеличению количества токенов по сравнению с моделями OpenAI. Исследовательское сообщество ИИ зафиксировало аналогичные различия в токенизации. Мы проверили наши результаты на трех известных доменах: статьи на английском языке, код на языке Python и математический контент.
Домен Входные данные модели Токены GPT Токены Клода % Накладные расходы на токены Английские статьи 
Дополнительные практические последствия различий в токенизацииПомимо прямых затрат, неэффективность токенизатора косвенно влияет на использование контекстного окна. Хотя модели Anthropic рекламируют контекстное окно на 200 тыс. токенов по сравнению со 128 тыс. в OpenAI, многословность токенизатора может фактически уменьшить эффективное полезное пространство в моделях Anthropic. Это создает потенциальное несоответствие между рекламируемыми размерами контекстного окна и их практической, эффективной емкостью.
Детали реализации токенизации
В моделях GPT используется кодирование пар байтов (BPE), которое объединяет часто встречающиеся пары символов для формирования токенов. Последние модели GPT специально используют токенизатор o200k_base с открытым исходным кодом. Фактические токены, используемые GPT-4o в токенизаторе tiktoken, находятся в открытом доступе.
JSON {#reasoning "o1-xxx": "o200k_base","o3-xxx": "o200k_base",# chat"chatgpt-4o-": "o200k_base","gpt-4o-xxx": "o200k_base",# например, gpt-4o-2024-05-13 "gpt-4-xxx": "cl100k_base",# например, gpt-4-0314 и т.д., плюс gpt-4-32k "gpt-3.5-turbo-xxx": "cl100k_base",# например, gpt-3.5-turbo-0301, -0401 и т. д.}
К сожалению, подход Anthropic к токенизации остается менее прозрачным, поскольку их токенизатор не так легко доступен, как у GPT. Anthropic представил API для подсчета токенов в декабре 2024 года, но в более поздних версиях 2025 года эта функция была упразднена.
Согласно Latenode, "Anthropic использует уникальный токенизатор, имеющий всего 65 000 вариантов токенов, по сравнению со 100 261 вариантом OpenAI для GPT-4". Общедоступный блокнот Colab содержит код на языке Python для анализа различий в токенизации между моделями GPT и Claude. Еще один инструмент, взаимодействующий с распространенными общедоступными токенизаторами, подтверждает наши выводы.
Для предприятий, использующих ИИ, возможность точно оценить количество токенов, не обращаясь к API реальных моделей, очень важна для прогнозирования затрат и составления бюджета.
Важнейшие сведения
- Конкурентная цена Anthropic содержит скрытые расходы:
Хотя Claude 3.5 Sonnet предлагает на 40 % более низкую стоимость входных токенов, чем GPT-4o, это кажущееся преимущество может быть обманчивым из-за фундаментальных различий в токенизации текста. - Скрытая неэффективность токенизации:
Антропные модели по своей природе производят больше токенов. Для организаций, обрабатывающих значительные объемы текста, понимание этого различия имеет решающее значение для точной оценки затрат на развертывание. - Производительность токенизации в зависимости от домена:
Выбирая между моделями OpenAI и Anthropic, внимательно оцените типичный входной контент. Если в задачах, связанных с естественным языком, разница в стоимости может быть минимальной, то в технических или структурированных доменах затраты на использование моделей Anthropic могут быть значительно выше. - Эффективная емкость контекстного окна:
Из-за многословности токенизации Anthropic рекламируемое контекстное окно объемом 200 КБ может предоставлять меньше практического полезного пространства, чем 128 КБ OpenAI, что может привести к разрыву между заявленным и реальным объемом контекста.
Anthropic не ответила на запрос VentureBeat о комментарии к моменту публикации. Мы обновим эту статью, если они предоставят ответ.
Связанная статья
Сатья Наделла готов использовать новые возможности, предоставляемые соглашением с OpenAI
В среду аналитик с Уолл-стрит напрямую спросил генерального директора Microsoft Сатью Наделлу, как изменения в партнерстве с OpenAI повлияют на финансовые результаты компании.Наделла охарактеризовал новое соглашение как выгодное для всех сторон. “Мы
OpenAI описывает экономику искусственного интеллекта с участием государственных инвестиционных фондов, налогами на роботов и четырехдневной рабочей неделей
В то время как правительства пытаются справиться с экономическими последствиями появления сверхинтеллектуальных машин, компания OpenAI опубликовала ряд предложений по формированию политики, в которых
Грег Брокман рассказывает, как Илон Маск покинул OpenAI
В конце августа 2017 года ключевые фигуры OpenAI — на тот момент небольшой некоммерческой исследовательской лаборатории — собрались, чтобы обсудить, как создать коммерческую структуру для продвижения
Рекомендации по связанным специальным темам
Бизнес
Лучшее программное обеспечение для проверки договоров с помощью ИИ: мгновенное выявление юридических лазеек и рисков несоблюдения нормативных требований
Откройте для себя лучшее программное обеспечение 2026 года для анализа договоров с помощью ИИ на сайте XIX.AI. В нашем тщательно отобранном списке лидеров представлены мощные инструменты, которые мгновенно выявляют юридические лазейки и риски несоответствия нормативным требованиям. Сравните бесплатные и платные варианты с помощью реальных тестов и еженедельно обновляемых рейтингов. Найдите решение, которое кардинально изменит ваш подход к безопасному и эффективному анализу договоров. Ознакомьтесь с исчерпывающим руководством прямо сейчас.
10 инструментов
xix.ai
Создание анимации
Генератор аниме на основе искусственного интеллекта для Donghua: Создание персонажей для веб-романов и аватаров для комиксов
Откройте для себя лучшие генераторы аниме на основе искусственного интеллекта 2026 года для создания донхуа. Наш список, составленный специально для вас, включает мощные инструменты, позволяющие создавать потрясающих персонажей для веб-новелл и комиксов. Сравните бесплатные и платные варианты на основе реальных тестов. Найдите идеального помощника в творчестве и превратите свои истории в жизнь сегодня на сайте XIX.AI.
10 инструментов
xix.ai
Создание комиксов
Лучшие инструменты для автоматической раскраски манги с помощью ИИ: нанесение плоских цветов без ошибок в цветовом решении
Откройте для себя лучшие инструменты для автоматической раскраски манги с помощью ИИ в 2026 году на сайте XIX.AI. В нашем тщательно составленном списке представлены самые популярные и революционные решения, которые наносят плоские цвета без единой ошибки в цветовом соответствии, что значительно повышает вашу продуктивность. Изучите сравнения бесплатных и платных версий, результаты реальных тестов и еженедельно обновляемые рейтинги, чтобы найти идеальный вариант для себя. Воспользуйтесь преимуществами ИИ уже сегодня.
10 инструментов
xix.ai
письмо
Лучшие программы для создания персонажей в жанре научной фантастики: генерация последовательных мотиваций персонажей и их роковых недостатков
Откройте для себя 20 лучших инструментов 2026 года для создания персонажей с помощью искусственного интеллекта, которые помогут вам придать своим героям глубину. В тщательно подобранном списке XIX.AI представлены самые популярные и революционные инструменты, способные генерировать правдоподобные мотивации и роковые недостатки персонажей. Сравните бесплатные и платные варианты на основе реальных тестов. Раскройте свой потенциал в области создания историй уже сейчас.
10 инструментов
xix.ai
Бизнес
Лучшее ПО для оптимизации цен с помощью ИИ: отслеживание конкурентов и автоматическая корректировка цен в магазине
Откройте для себя лучшее программное обеспечение 2026 года для оптимизации цен с помощью ИИ на сайте XIX.AI. В нашем тщательно подобранном списке представлены высокооцененные, революционные инструменты, которые отслеживают конкурентов и автоматически корректируют цены в вашем магазине для получения максимальной прибыли. Сравните бесплатные и платные варианты на основе реальных тестов. Получите преимущество в ценообразовании уже сейчас.
10 инструментов
xix.ai
код
Лучшие системы проверки кода на основе ИИ: автоматизация обеспечения соответствия стандартам чистого кода и рефакторинг файлов в устаревших репозиториях
Откройте для себя 20 лучших рецензентов кода на базе ИИ 2026 года на XIX.AI. В нашем тщательно составленном списке представлены высокооцененные, революционные инструменты для автоматизации проверки соответствия стандартам чистого кода и рефакторинга файлов в устаревших репозиториях. Сравните бесплатные и платные варианты с помощью реальных тестов и еженедельно обновляемых рейтингов. Получите преимущество ИИ уже сегодня.
10 инструментов
xix.ai
Комментарии (0)
Широко известно, что в разных семействах моделей могут использоваться разные токенизаторы. Однако исследования того, как различается процесс токенизации в этих системах, были ограничены. Все ли токенизаторы производят одинаковое количество лексем для идентичного входного текста? Если нет, то насколько существенны эти различия? Какие практические последствия они несут?
В данной статье мы исследуем эти вопросы, изучая реальные последствия вариативности токенизации. Мы представляем сравнительный анализ двух ведущих семейств моделей: ChatGPT от OpenAI и Claude от Anthropic. Хотя их рекламируемые показатели "стоимость за токен" кажутся весьма конкурентоспособными, наше тестирование показало, что на практике модели Anthropic могут быть на 20-30 % дороже моделей GPT.
Ценообразование API - Claude 3.5 Sonnet против GPT-4o
По состоянию на июнь 2024 года ценовые структуры этих двух передовых моделей близко совпадают. И Claude 3.5 Sonnet от Anthropic, и GPT-4o от OpenAI имеют одинаковую стоимость выходных токенов, в то время как Claude 3.5 Sonnet предоставляет 40-процентную скидку на входные токены.
Источник: Vantage
Скрытая неэффективность токенизации
Несмотря на более низкую стоимость входных жетонов в Anthropic, наши эксперименты с фиксированными наборами подсказок показывают, что GPT-4o неизменно обеспечивает более экономичные общие затраты, чем Claude Sonnet-3.5.
Чем объясняется это несоответствие?
Токенизатор Anthropic обычно разделяет одинаковый входной текст на большее количество лексем по сравнению с подходом OpenAI. Это означает, что для одних и тех же подсказок модели Anthropic генерируют значительно большее количество лексем, чем их аналоги OpenAI. Следовательно, хотя стоимость ввода одного токена в Claude 3.5 Sonnet кажется ниже, увеличение объема токенов часто сводит на нет эту экономию, что приводит к увеличению общих затрат при практической реализации.
Эта скрытая стоимость возникает из-за методологии кодирования токенов Anthropic, которая часто требует больше токенов для представления эквивалентного контента. Инфляция количества токенов существенно влияет как на операционные расходы, так и на эффективность контекстного окна.
Вариации токенизации в зависимости от домена
Токенизатор Anthropic обрабатывает различные контентные домены с разной эффективностью, что приводит к непостоянному увеличению количества токенов по сравнению с моделями OpenAI. Исследовательское сообщество ИИ зафиксировало аналогичные различия в токенизации. Мы проверили наши результаты на трех известных доменах: статьи на английском языке, код на языке Python и математический контент.
| Домен | Входные данные модели | Токены GPT | Токены Клода | % Накладные расходы на токены |
| Английские статьи | Дополнительные практические последствия различий в токенизации Помимо прямых затрат, неэффективность токенизатора косвенно влияет на использование контекстного окна. Хотя модели Anthropic рекламируют контекстное окно на 200 тыс. токенов по сравнению со 128 тыс. в OpenAI, многословность токенизатора может фактически уменьшить эффективное полезное пространство в моделях Anthropic. Это создает потенциальное несоответствие между рекламируемыми размерами контекстного окна и их практической, эффективной емкостью. Детали реализации токенизацииВ моделях GPT используется кодирование пар байтов (BPE), которое объединяет часто встречающиеся пары символов для формирования токенов. Последние модели GPT специально используют токенизатор o200k_base с открытым исходным кодом. Фактические токены, используемые GPT-4o в токенизаторе tiktoken, находятся в открытом доступе. К сожалению, подход Anthropic к токенизации остается менее прозрачным, поскольку их токенизатор не так легко доступен, как у GPT. Anthropic представил API для подсчета токенов в декабре 2024 года, но в более поздних версиях 2025 года эта функция была упразднена. Согласно Latenode, "Anthropic использует уникальный токенизатор, имеющий всего 65 000 вариантов токенов, по сравнению со 100 261 вариантом OpenAI для GPT-4". Общедоступный блокнот Colab содержит код на языке Python для анализа различий в токенизации между моделями GPT и Claude. Еще один инструмент, взаимодействующий с распространенными общедоступными токенизаторами, подтверждает наши выводы. Важнейшие сведения
Anthropic не ответила на запрос VentureBeat о комментарии к моменту публикации. Мы обновим эту статью, если они предоставят ответ. |
Сатья Наделла готов использовать новые возможности, предоставляемые соглашением с OpenAI
В среду аналитик с Уолл-стрит напрямую спросил генерального директора Microsoft Сатью Наделлу, как изменения в партнерстве с OpenAI повлияют на финансовые результаты компании.Наделла охарактеризовал новое соглашение как выгодное для всех сторон. “Мы
OpenAI описывает экономику искусственного интеллекта с участием государственных инвестиционных фондов, налогами на роботов и четырехдневной рабочей неделей
В то время как правительства пытаются справиться с экономическими последствиями появления сверхинтеллектуальных машин, компания OpenAI опубликовала ряд предложений по формированию политики, в которых
Грег Брокман рассказывает, как Илон Маск покинул OpenAI
В конце августа 2017 года ключевые фигуры OpenAI — на тот момент небольшой некоммерческой исследовательской лаборатории — собрались, чтобы обсудить, как создать коммерческую структуру для продвижения
Откройте для себя лучшее программное обеспечение 2026 года для анализа договоров с помощью ИИ на сайте XIX.AI. В нашем тщательно отобранном списке лидеров представлены мощные инструменты, которые мгновенно выявляют юридические лазейки и риски несоответствия нормативным требованиям. Сравните бесплатные и платные варианты с помощью реальных тестов и еженедельно обновляемых рейтингов. Найдите решение, которое кардинально изменит ваш подход к безопасному и эффективному анализу договоров. Ознакомьтесь с исчерпывающим руководством прямо сейчас.
10 инструментов
xix.ai
Откройте для себя лучшие генераторы аниме на основе искусственного интеллекта 2026 года для создания донхуа. Наш список, составленный специально для вас, включает мощные инструменты, позволяющие создавать потрясающих персонажей для веб-новелл и комиксов. Сравните бесплатные и платные варианты на основе реальных тестов. Найдите идеального помощника в творчестве и превратите свои истории в жизнь сегодня на сайте XIX.AI.
10 инструментов
xix.ai
Откройте для себя лучшие инструменты для автоматической раскраски манги с помощью ИИ в 2026 году на сайте XIX.AI. В нашем тщательно составленном списке представлены самые популярные и революционные решения, которые наносят плоские цвета без единой ошибки в цветовом соответствии, что значительно повышает вашу продуктивность. Изучите сравнения бесплатных и платных версий, результаты реальных тестов и еженедельно обновляемые рейтинги, чтобы найти идеальный вариант для себя. Воспользуйтесь преимуществами ИИ уже сегодня.
10 инструментов
xix.ai
Откройте для себя 20 лучших инструментов 2026 года для создания персонажей с помощью искусственного интеллекта, которые помогут вам придать своим героям глубину. В тщательно подобранном списке XIX.AI представлены самые популярные и революционные инструменты, способные генерировать правдоподобные мотивации и роковые недостатки персонажей. Сравните бесплатные и платные варианты на основе реальных тестов. Раскройте свой потенциал в области создания историй уже сейчас.
10 инструментов
xix.ai
Откройте для себя лучшее программное обеспечение 2026 года для оптимизации цен с помощью ИИ на сайте XIX.AI. В нашем тщательно подобранном списке представлены высокооцененные, революционные инструменты, которые отслеживают конкурентов и автоматически корректируют цены в вашем магазине для получения максимальной прибыли. Сравните бесплатные и платные варианты на основе реальных тестов. Получите преимущество в ценообразовании уже сейчас.
10 инструментов
xix.ai
Откройте для себя 20 лучших рецензентов кода на базе ИИ 2026 года на XIX.AI. В нашем тщательно составленном списке представлены высокооцененные, революционные инструменты для автоматизации проверки соответствия стандартам чистого кода и рефакторинга файлов в устаревших репозиториях. Сравните бесплатные и платные варианты с помощью реальных тестов и еженедельно обновляемых рейтингов. Получите преимущество ИИ уже сегодня.
10 инструментов
xix.ai
