Алекс Гетманранние сигналы об ИИ
RU
Алекс Гетман @alexgetmancom · · Обновлено

Тесты и сравнения

Sonnet 5.5 Max даже превосходит Opus 5.5 Max в Terminal-Bench, при этом оставаясь близко к Opus по остальным показателям

Sonnet 5.5 Max даже превосходит Opus 5.5 Max в Terminal-Bench, при этом оставаясь близко к Opus по остальным показателям. А по сравнению с GPT Sol разрыв в соотношении цена/производительность выглядит довольно жестоким.

График Terminal-Bench 4.0 показывает, что Sonnet 5.5 Max (синяя линия) превосходит Opus 5.5 Max (оранжевая линия) по точности при высокой стоимости, в то время как GPT-5.6 Sol (серая линия) значительно уступает.
График FrontierCode v1.1 демонстрирует, что Sonnet 5.5 (синяя линия) достигает высоких баллов при низкой стоимости, но уступает Opus 5.5 (оранжевая линия) на высоких уровнях, в то время как GPT-6 Sol (серая линия) показывает умеренные результаты.
График CursorBench 4.0 показывает, что Opus 5.5 Max (оранжевая линия) лидирует при высокой стоимости, в то время как Sonnet 5.5 Max (синяя линия) близко следует за ним, а GPT-5.6 Sol (серая линия) уступает в производительности.
График AA-Briefcase v1.1 показывает, что Sonnet 5.5 Max (синяя линия) и Opus 5.5 Max (оранжевая линия) имеют схожие результаты при высокой стоимости, в то время как GPT-6 Sol (серая линия) значительно уступает по Elo.
AnthropicOpenAIClaudeGPT
English versionMarkdown

Разборы

По теме