Алекс Гетманранние сигналы об ИИ
Алекс Гетман @alexgetmancom · · Обновлено

Тесты и сравнения

Закончил эксперимент с ClaudeCut.

Хотел понять, сколько моей подписки Claude за $20 реально уходит на работу, а сколько съедает сам Claude Code.

Скриншот терминала с бенчмарком ClaudeCut: сравнение стоимости задач 'обзор' и 'трассировка' с обычным Claude Code, показывающее ~45–52% экономию и стартовый контекст 895 vs 17,625 токенов.

Я оставил один инструмент для работы через терминал, системный промпт на 36 токенов и ограничил размер контекста. На старте получилось 895 токенов против 17.6k у обычного Claude Code.

Потом прогнал оба варианта на одном и том же репозитории. Одна задача была на понимание структуры проекта и точек входа. Вторая на поиск по коду: найти, где загружается конфиг, точную строку и объяснить, что происходит при ошибках. По три прогона на каждую задачу.

В моих тестах ClaudeCut вышел примерно в два раза дешевле по внутреннему счётчику Claude Code, при этом ответы были сопоставимы. На задаче с поиском по коду он ещё и сделал меньше шагов.

Ещё прогнал длинные сессии с несколькими сжатиями контекста. После сжатия ClaudeCut возвращался примерно к 14k токенов, обычный Claude Code к ~36k.

Это пока не финальный бенчмарк. Повторов мало, длинные сессии нужно прогнать ещё несколько раз, но на подписке за $20 я уже почти упёрся в лимиты, поэтому открыл репозиторий. Если пользуетесь Claude Code, прогоните тесты на своём проекте и пришлите результаты.

Люди в ответах ещё натолкнули меня на Pi + Claude Agent SDK. Там можно намного сильнее контролировать инструменты, промпты и сжатие контекста. Это хочу следующим сравнить с ClaudeCut.

Инструкция по установке, бенчмарки и методология тут:

github.com/alexgetmancom/claudecut

ClaudeAnthropicClaude CodeУправление контекстомАгентские harness
English versionMarkdown

Разборы

По теме

Я кастрировал Claude Code. Вырезал из него почти всё и оставил только самый минимум: читать, смотреть, писать. Теперь при старте он загружает меньше 2k токенов контекста. Контекстное окно я тоже ограничил 200k токенов, чтобы он раньше делал compaction, а не сжирал лимиты…
ClaudeAnthropicClaude CodeУправление контекстомАгентские harness
Claude Code добавил автоматическое сжатие неактивных сессий, и это может сэкономить ОЧЕНЬ много токенов. Представьте, что у вас есть сессия с контекстом на 500 тысяч токенов. Вы возвращаетесь к работе спустя полтора часа, срок действия кэша уже истёк, и Claude приходится заново…
ClaudeAnthropicClaude CodeУправление контекстомКеширование промптов
OpenClaw снова можно использовать с подпиской Claude Система работает через Claude Code CLI, а большая часть возможностей OpenClaw доступна через MCP: браузер, память, сессии, сабагенты, кроны и т.д. Но это всё ещё не 1:1 с нативным OpenClaw: контекстом и сжатием истории…
ClaudeAnthropicClaude CodeOpenClawАгентские harnessMCP
Разрушители мифов JetBrains проверили скилл Ponytail для Claude Code До этого они разобрали Caveman. Обещанные 65% экономии токенов превратились в 8,5% без снижения расходов. Затем проверили RTK с заявленной экономией до 90%. На деле часть задач стала дороже. В новом разборе…
ClaudeAnthropicJetBrainsClaude CodeАгентские harness