Дом
Расходы на корпоративный ИИ: Модели Claude стоят на 20-30 % дороже GPT при развертывании
Широко известно, что в разных семействах моделей могут использоваться разные токенизаторы. Однако исследования того, как различается процесс токенизации в этих системах, были ограничены. Все ли токенизаторы производят одинаковое количество лексем для идентичного входного текста? Если нет, то насколько существенны эти различия? Какие практические последствия они несут?
В данной статье мы исследуем эти вопросы, изучая реальные последствия вариативности токенизации. Мы представляем сравнительный анализ двух ведущих семейств моделей: ChatGPT от OpenAI и Claude от Anthropic. Хотя их рекламируемые показатели "стоимость за токен" кажутся весьма конкурентоспособными, наше тестирование показало, что на практике модели Anthropic могут быть на 20-30 % дороже моделей GPT.
Ценообразование API - Claude 3.5 Sonnet против GPT-4o
По состоянию на июнь 2024 года ценовые структуры этих двух передовых моделей близко совпадают. И Claude 3.5 Sonnet от Anthropic, и GPT-4o от OpenAI имеют одинаковую стоимость выходных токенов, в то время как Claude 3.5 Sonnet предоставляет 40-процентную скидку на входные токены.
Источник: Vantage
Скрытая неэффективность токенизации
Несмотря на более низкую стоимость входных жетонов в Anthropic, наши эксперименты с фиксированными наборами подсказок показывают, что GPT-4o неизменно обеспечивает более экономичные общие затраты, чем Claude Sonnet-3.5.
Чем объясняется это несоответствие?
Токенизатор Anthropic обычно разделяет одинаковый входной текст на большее количество лексем по сравнению с подходом OpenAI. Это означает, что для одних и тех же подсказок модели Anthropic генерируют значительно большее количество лексем, чем их аналоги OpenAI. Следовательно, хотя стоимость ввода одного токена в Claude 3.5 Sonnet кажется ниже, увеличение объема токенов часто сводит на нет эту экономию, что приводит к увеличению общих затрат при практической реализации.
Эта скрытая стоимость возникает из-за методологии кодирования токенов Anthropic, которая часто требует больше токенов для представления эквивалентного контента. Инфляция количества токенов существенно влияет как на операционные расходы, так и на эффективность контекстного окна.
Вариации токенизации в зависимости от домена
Токенизатор Anthropic обрабатывает различные контентные домены с разной эффективностью, что приводит к непостоянному увеличению количества токенов по сравнению с моделями OpenAI. Исследовательское сообщество ИИ зафиксировало аналогичные различия в токенизации. Мы проверили наши результаты на трех известных доменах: статьи на английском языке, код на языке Python и математический контент.
Домен Входные данные модели Токены GPT Токены Клода % Накладные расходы на токены Английские статьи 
Дополнительные практические последствия различий в токенизацииПомимо прямых затрат, неэффективность токенизатора косвенно влияет на использование контекстного окна. Хотя модели Anthropic рекламируют контекстное окно на 200 тыс. токенов по сравнению со 128 тыс. в OpenAI, многословность токенизатора может фактически уменьшить эффективное полезное пространство в моделях Anthropic. Это создает потенциальное несоответствие между рекламируемыми размерами контекстного окна и их практической, эффективной емкостью.
Детали реализации токенизации
В моделях GPT используется кодирование пар байтов (BPE), которое объединяет часто встречающиеся пары символов для формирования токенов. Последние модели GPT специально используют токенизатор o200k_base с открытым исходным кодом. Фактические токены, используемые GPT-4o в токенизаторе tiktoken, находятся в открытом доступе.
JSON {#reasoning "o1-xxx": "o200k_base","o3-xxx": "o200k_base",# chat"chatgpt-4o-": "o200k_base","gpt-4o-xxx": "o200k_base",# например, gpt-4o-2024-05-13 "gpt-4-xxx": "cl100k_base",# например, gpt-4-0314 и т.д., плюс gpt-4-32k "gpt-3.5-turbo-xxx": "cl100k_base",# например, gpt-3.5-turbo-0301, -0401 и т. д.}
К сожалению, подход Anthropic к токенизации остается менее прозрачным, поскольку их токенизатор не так легко доступен, как у GPT. Anthropic представил API для подсчета токенов в декабре 2024 года, но в более поздних версиях 2025 года эта функция была упразднена.
Согласно Latenode, "Anthropic использует уникальный токенизатор, имеющий всего 65 000 вариантов токенов, по сравнению со 100 261 вариантом OpenAI для GPT-4". Общедоступный блокнот Colab содержит код на языке Python для анализа различий в токенизации между моделями GPT и Claude. Еще один инструмент, взаимодействующий с распространенными общедоступными токенизаторами, подтверждает наши выводы.
Для предприятий, использующих ИИ, возможность точно оценить количество токенов, не обращаясь к API реальных моделей, очень важна для прогнозирования затрат и составления бюджета.
Важнейшие сведения
- Конкурентная цена Anthropic содержит скрытые расходы:
Хотя Claude 3.5 Sonnet предлагает на 40 % более низкую стоимость входных токенов, чем GPT-4o, это кажущееся преимущество может быть обманчивым из-за фундаментальных различий в токенизации текста. - Скрытая неэффективность токенизации:
Антропные модели по своей природе производят больше токенов. Для организаций, обрабатывающих значительные объемы текста, понимание этого различия имеет решающее значение для точной оценки затрат на развертывание. - Производительность токенизации в зависимости от домена:
Выбирая между моделями OpenAI и Anthropic, внимательно оцените типичный входной контент. Если в задачах, связанных с естественным языком, разница в стоимости может быть минимальной, то в технических или структурированных доменах затраты на использование моделей Anthropic могут быть значительно выше. - Эффективная емкость контекстного окна:
Из-за многословности токенизации Anthropic рекламируемое контекстное окно объемом 200 КБ может предоставлять меньше практического полезного пространства, чем 128 КБ OpenAI, что может привести к разрыву между заявленным и реальным объемом контекста.
Anthropic не ответила на запрос VentureBeat о комментарии к моменту публикации. Мы обновим эту статью, если они предоставят ответ.
Связанная статья
Anthropic выпускает Opus 4.8 с новым инструментом для динамической организации рабочего процесса
В четверг компания Anthropic представила Opus 4.8 — новую версию своей флагманской общедоступной модели. Стоимость обновления осталась на прежнем уровне, и теперь оно доступно на всех платформах.Выпус
OpenAI запускает более безопасную версию ChatGPT для подростков спустя несколько лет после того, как они начали ею пользоваться
После серии судебных исков, связанных с отсутствием протоколов безопасности в чат-ботах на базе ИИ — что стало одной из причин самоубийств подростков и других кризисов, связанных с психическим здоровь
Frontier AI Labs отказывается раскрывать стратегии локализации неконтролируемых моделей
Последние исследования показывают, что лишь немногие ведущие лаборатории, занимающиеся ИИ, опубликовали или продемонстрировали планы реагирования на попытки выхода системы из-под контроля. План сдержи
Рекомендации по связанным специальным темам
Музыкальная композиция
Лучшие инструменты для написания мелодий с помощью ИИ для черновиков песен
2026 год: лучшие, топовые и высокооценённые инструменты ИИ для написания мелодий для черновиков песен! XIX.AI подобрал высокоэффективную коллекцию, меняющую правила игры, которая прошла строгие реальные испытания, чтобы обеспечить лучший опыт написания. Вы можете найти подробные сравнения бесплатных и платных версий, точные рейтинги и обязательные к использованию варианты, разработанные, чтобы помочь вам создавать потрясающие черновики песен без усилий и значительно повысить вашу творческую продуктивность. Исследуйте сейчас, чтобы найти свой идеальный инструмент!
8 инструментов
xix.ai
чат-бот
Лучшие инструменты для тренировки разговоров с помощью ИИ для подготовки к собеседованиям
2026 г. — новейшие, лучшие и наиболее высоко оцененные инструменты для тренировки разговорных навыков с помощью ИИ для подготовки к собеседованиям уже доступны на XIX.AI! Эта тщательно отобранная подборка включает мощные, революционные инструменты, прошедшие строгие реальные испытания и обеспечивающие точную обратную связь. Вы найдете сравнение бесплатных и платных вариантов, а также подробные рейтинги, которые помогут вам выбрать наиболее подходящий инструмент, повышающий вашу уверенность и навыки. Исследуйте сейчас, чтобы найти идеальный инструмент для успешного прохождения собеседований!
12 инструментов
xix.ai
Дизайн и искусство
Лучшие инструменты для переноса стилей с помощью ИИ для творческих экспериментов
2026: лучшие и самые популярные инструменты для переноса стиля с помощью ИИ для творческих экспериментов! XIX.AI подготовила подборку мощных, революционных инструментов, которые обязательно стоит попробовать: они демонстрируют исключительные результаты, подтвержденные реальными тестами и тщательным рейтингом. Эти ведущие решения помогают творческим людям значительно повысить продуктивность, ускоряя создание контента и открывая безграничные творческие возможности. Ознакомьтесь с ними прямо сейчас, чтобы найти идеальный инструмент и начать творить уже сегодня!
9 инструментов
xix.ai
Создание комиксов
Лучшие инструменты для создания диалоговых пузырей с помощью ИИ для визуального повествования
2026 года: самые новые и лучшие инструменты с ИИ для создания диалоговых пузырей в визуальном сторителлинге представлены на XIX.AI! В этой тщательно подобранной подборке представлены мощные, революционные инструменты, которые помогут творческим людям повысить продуктивность и преодолеть творческие кризисы. Ознакомьтесь со сравнением бесплатных и платных версий, посмотрите тесты в реальных условиях и изучите последние рейтинги, чтобы найти решения, которые обязательно стоит попробовать и которые идеально подходят для создания увлекательных визуальных историй. Исследуйте коллекцию прямо сейчас, чтобы найти свой идеальный инструмент!
10 инструментов
xix.ai
Помощник по встречам
Лучшие инструменты для составления отчетов о встречах с использованием ИИ: четкое отслеживание решений и последующих действий
2026: Последние версии лучших инструментов для составления отчетов о встречах с помощью ИИ, обеспечивающих четкое отслеживание решений и удобное выполнение последующих действий. В этом тщательно подобранном списке представлены мощные, революционные решения, которые значительно повышают продуктивность за счет автоматизации ведения протоколов встреч, выявления ключевых задач и оптимизации координации работы команды по всем проектам. Получите сравнение бесплатных и платных версий, а также результаты реальных тестов и еженедельно обновляемые рейтинги, которые помогут вам найти идеальный инструмент. Ознакомьтесь с ними прямо сейчас, чтобы раскрыть потенциал искусственного интеллекта!
9 инструментов
xix.ai
Анализ данных
Лучшие инструменты для очистки данных с использованием ИИ: быстрое устранение пропущенных значений и дубликатов
2026 год: лучшие и наиболее высоко оценённые инструменты для очистки данных с ИИ, предназначенные для быстрого устранения пропущенных значений и дубликатов. В этом тщательно отобранном списке представлены мощные решения, способные кардинально повысить производительность. Каждый инструмент прошёл строгие тестирования в реальных условиях для обеспечения надёжности. Получите бесплатное сравнение версий с платной и найдите инструмент, который наилучшим образом соответствует вашим потребностям. Ознакомьтесь с ним прямо сейчас на сайте XIX.AI, чтобы раскрыть полный потенциал работы с ИИ.
11 инструментов
xix.ai
Комментарии (1)
![AnthonyGonzalez]()
Interesting pricing gap! But the tokenizer differences can really impact actual costs per task. I wonder if Claude's higher price is justified by better performance in certain use cases. 🤔
Широко известно, что в разных семействах моделей могут использоваться разные токенизаторы. Однако исследования того, как различается процесс токенизации в этих системах, были ограничены. Все ли токенизаторы производят одинаковое количество лексем для идентичного входного текста? Если нет, то насколько существенны эти различия? Какие практические последствия они несут?
В данной статье мы исследуем эти вопросы, изучая реальные последствия вариативности токенизации. Мы представляем сравнительный анализ двух ведущих семейств моделей: ChatGPT от OpenAI и Claude от Anthropic. Хотя их рекламируемые показатели "стоимость за токен" кажутся весьма конкурентоспособными, наше тестирование показало, что на практике модели Anthropic могут быть на 20-30 % дороже моделей GPT.
Ценообразование API - Claude 3.5 Sonnet против GPT-4o
По состоянию на июнь 2024 года ценовые структуры этих двух передовых моделей близко совпадают. И Claude 3.5 Sonnet от Anthropic, и GPT-4o от OpenAI имеют одинаковую стоимость выходных токенов, в то время как Claude 3.5 Sonnet предоставляет 40-процентную скидку на входные токены.
Источник: Vantage
Скрытая неэффективность токенизации
Несмотря на более низкую стоимость входных жетонов в Anthropic, наши эксперименты с фиксированными наборами подсказок показывают, что GPT-4o неизменно обеспечивает более экономичные общие затраты, чем Claude Sonnet-3.5.
Чем объясняется это несоответствие?
Токенизатор Anthropic обычно разделяет одинаковый входной текст на большее количество лексем по сравнению с подходом OpenAI. Это означает, что для одних и тех же подсказок модели Anthropic генерируют значительно большее количество лексем, чем их аналоги OpenAI. Следовательно, хотя стоимость ввода одного токена в Claude 3.5 Sonnet кажется ниже, увеличение объема токенов часто сводит на нет эту экономию, что приводит к увеличению общих затрат при практической реализации.
Эта скрытая стоимость возникает из-за методологии кодирования токенов Anthropic, которая часто требует больше токенов для представления эквивалентного контента. Инфляция количества токенов существенно влияет как на операционные расходы, так и на эффективность контекстного окна.
Вариации токенизации в зависимости от домена
Токенизатор Anthropic обрабатывает различные контентные домены с разной эффективностью, что приводит к непостоянному увеличению количества токенов по сравнению с моделями OpenAI. Исследовательское сообщество ИИ зафиксировало аналогичные различия в токенизации. Мы проверили наши результаты на трех известных доменах: статьи на английском языке, код на языке Python и математический контент.
| Домен | Входные данные модели | Токены GPT | Токены Клода | % Накладные расходы на токены |
| Английские статьи | Дополнительные практические последствия различий в токенизации Помимо прямых затрат, неэффективность токенизатора косвенно влияет на использование контекстного окна. Хотя модели Anthropic рекламируют контекстное окно на 200 тыс. токенов по сравнению со 128 тыс. в OpenAI, многословность токенизатора может фактически уменьшить эффективное полезное пространство в моделях Anthropic. Это создает потенциальное несоответствие между рекламируемыми размерами контекстного окна и их практической, эффективной емкостью. Детали реализации токенизацииВ моделях GPT используется кодирование пар байтов (BPE), которое объединяет часто встречающиеся пары символов для формирования токенов. Последние модели GPT специально используют токенизатор o200k_base с открытым исходным кодом. Фактические токены, используемые GPT-4o в токенизаторе tiktoken, находятся в открытом доступе. К сожалению, подход Anthropic к токенизации остается менее прозрачным, поскольку их токенизатор не так легко доступен, как у GPT. Anthropic представил API для подсчета токенов в декабре 2024 года, но в более поздних версиях 2025 года эта функция была упразднена. Согласно Latenode, "Anthropic использует уникальный токенизатор, имеющий всего 65 000 вариантов токенов, по сравнению со 100 261 вариантом OpenAI для GPT-4". Общедоступный блокнот Colab содержит код на языке Python для анализа различий в токенизации между моделями GPT и Claude. Еще один инструмент, взаимодействующий с распространенными общедоступными токенизаторами, подтверждает наши выводы. Важнейшие сведения
Anthropic не ответила на запрос VentureBeat о комментарии к моменту публикации. Мы обновим эту статью, если они предоставят ответ. |
Anthropic выпускает Opus 4.8 с новым инструментом для динамической организации рабочего процесса
В четверг компания Anthropic представила Opus 4.8 — новую версию своей флагманской общедоступной модели. Стоимость обновления осталась на прежнем уровне, и теперь оно доступно на всех платформах.Выпус
OpenAI запускает более безопасную версию ChatGPT для подростков спустя несколько лет после того, как они начали ею пользоваться
После серии судебных исков, связанных с отсутствием протоколов безопасности в чат-ботах на базе ИИ — что стало одной из причин самоубийств подростков и других кризисов, связанных с психическим здоровь
Frontier AI Labs отказывается раскрывать стратегии локализации неконтролируемых моделей
Последние исследования показывают, что лишь немногие ведущие лаборатории, занимающиеся ИИ, опубликовали или продемонстрировали планы реагирования на попытки выхода системы из-под контроля. План сдержи
2026 год: лучшие, топовые и высокооценённые инструменты ИИ для написания мелодий для черновиков песен! XIX.AI подобрал высокоэффективную коллекцию, меняющую правила игры, которая прошла строгие реальные испытания, чтобы обеспечить лучший опыт написания. Вы можете найти подробные сравнения бесплатных и платных версий, точные рейтинги и обязательные к использованию варианты, разработанные, чтобы помочь вам создавать потрясающие черновики песен без усилий и значительно повысить вашу творческую продуктивность. Исследуйте сейчас, чтобы найти свой идеальный инструмент!
8 инструментов
xix.ai
2026 г. — новейшие, лучшие и наиболее высоко оцененные инструменты для тренировки разговорных навыков с помощью ИИ для подготовки к собеседованиям уже доступны на XIX.AI! Эта тщательно отобранная подборка включает мощные, революционные инструменты, прошедшие строгие реальные испытания и обеспечивающие точную обратную связь. Вы найдете сравнение бесплатных и платных вариантов, а также подробные рейтинги, которые помогут вам выбрать наиболее подходящий инструмент, повышающий вашу уверенность и навыки. Исследуйте сейчас, чтобы найти идеальный инструмент для успешного прохождения собеседований!
12 инструментов
xix.ai
2026: лучшие и самые популярные инструменты для переноса стиля с помощью ИИ для творческих экспериментов! XIX.AI подготовила подборку мощных, революционных инструментов, которые обязательно стоит попробовать: они демонстрируют исключительные результаты, подтвержденные реальными тестами и тщательным рейтингом. Эти ведущие решения помогают творческим людям значительно повысить продуктивность, ускоряя создание контента и открывая безграничные творческие возможности. Ознакомьтесь с ними прямо сейчас, чтобы найти идеальный инструмент и начать творить уже сегодня!
9 инструментов
xix.ai
2026 года: самые новые и лучшие инструменты с ИИ для создания диалоговых пузырей в визуальном сторителлинге представлены на XIX.AI! В этой тщательно подобранной подборке представлены мощные, революционные инструменты, которые помогут творческим людям повысить продуктивность и преодолеть творческие кризисы. Ознакомьтесь со сравнением бесплатных и платных версий, посмотрите тесты в реальных условиях и изучите последние рейтинги, чтобы найти решения, которые обязательно стоит попробовать и которые идеально подходят для создания увлекательных визуальных историй. Исследуйте коллекцию прямо сейчас, чтобы найти свой идеальный инструмент!
10 инструментов
xix.ai
2026: Последние версии лучших инструментов для составления отчетов о встречах с помощью ИИ, обеспечивающих четкое отслеживание решений и удобное выполнение последующих действий. В этом тщательно подобранном списке представлены мощные, революционные решения, которые значительно повышают продуктивность за счет автоматизации ведения протоколов встреч, выявления ключевых задач и оптимизации координации работы команды по всем проектам. Получите сравнение бесплатных и платных версий, а также результаты реальных тестов и еженедельно обновляемые рейтинги, которые помогут вам найти идеальный инструмент. Ознакомьтесь с ними прямо сейчас, чтобы раскрыть потенциал искусственного интеллекта!
9 инструментов
xix.ai
2026 год: лучшие и наиболее высоко оценённые инструменты для очистки данных с ИИ, предназначенные для быстрого устранения пропущенных значений и дубликатов. В этом тщательно отобранном списке представлены мощные решения, способные кардинально повысить производительность. Каждый инструмент прошёл строгие тестирования в реальных условиях для обеспечения надёжности. Получите бесплатное сравнение версий с платной и найдите инструмент, который наилучшим образом соответствует вашим потребностям. Ознакомьтесь с ним прямо сейчас на сайте XIX.AI, чтобы раскрыть полный потенциал работы с ИИ.
11 инструментов
xix.ai
Interesting pricing gap! But the tokenizer differences can really impact actual costs per task. I wonder if Claude's higher price is justified by better performance in certain use cases. 🤔
