Новый график с прямыми линиями от наших любимых METR 👏
Предыдущий оказался насыщен (в нём не было более сложных и длинных задач для оценки), его давно не обновляли.
Его нарисовали как результат работы сотрудников METR в Anthropic (но это не совсем то же самое, к чему призывал Dario), гораздо больше деталей тут: https://metr.org/blog/2026-11-05-anthropic-ai-rd-acceleration-assessment/
«Мы представили компании Anthropic подробный отчет о нашей оценке объемом около 100 страниц. В публичной версии Anthropic отредактировала большую часть доказательств, которые мы сочли наиболее информативными. В результате общественности приходится полагаться на наше суждение больше, чем мы считаем оптимальным».
Главный вывод: начиная с октября 2025 года, показатели эффективности внутренних моделей растут примерно вдвое быстрее, чем в предыдущий период. Также аудиторы убедились, что это — не результат закидывания бОльшим количеством мощностей.
![As of October 2026, benchmark scores appear to be growing at 1.9x their pre-October 2025 rate [95% CI 1.5×-2.8×] - when including recent internal models. AECI aggregates benchmark scores; this fit uses new Anthropic internal models and benchmarks. The estimate is sensitive to assumptions about benchmark difficulty and benchmark composition, and it could overstate acceleration if Anthropic's historical progress was unusually low. 3 Opus 3.5 Sonnet 3.5 Sonnet New 3.7 Sonnet Opus 4 Sonnet 4.5 Opus 4.5 Opus 4.6 Mythos Pre. Early Mythos Pre. Mythos Model 2 Early Model 2 Model 3 Early Model 3 Model 4 AECI 190 180 170 - 160 - 150 - 140 - 130- 120 •Opus 5.5 • Mythos 5.1 • Opus 5 Opus 4.8 Opus 4.7 Apr 2024 Color: public internal Fill: • frontier O not frontier Fit: trend before Oct 2025: +15/yr trend after Oct 2025: +29/yr Jul Oct Jan 2025 Apr Jul Oct Jan 2026 Apr Jul Date snapshot available to most Anthropic employees Oct • METR](https://media-moera-blog.s3.amazonaws.com/2M5Ygo9d3AwXUlik2dDutPeyyEg_1793907727.jpg?response-cache-control=private%2C%20max-age%3D259200&X-Amz-Algorithm=AWS4-HMAC-SHA256&X-Amz-Date=20261117T043541Z&X-Amz-SignedHeaders=host&X-Amz-Credential=AKIAW3MEBNDN4PRSIX5F%2F20261117%2Fus-east-1%2Fs3%2Faws4_request&X-Amz-Expires=259200&X-Amz-Signature=94ccb28015a23843b625ab697f3e5e28d5b7d8ef383b724864c817ef490d0af5)