Моё субъективное сравнение топовых нейронок продолжается. В сентябре я выложил на Хабр «Турнир семи нейросетей»: 7 моделей, 8 заданий и три редакции статьи за неделю. Скажу честно: вышло неудачно. Но останавливаться не собираюсь: после ваших комментариев хочется сделать следующее сравнение лучше, а ошибки — часть пути.
Зачем мне это
Подписок у меня несколько, каждая по 200 долларов, сижу равно на одном стуле. Сравнение нужно мне самому: чтобы не зацикливаться на одной модели и вовремя пересаживаться на новые инструменты, когда они того стоят.
Что поменял
Моделей теперь четыре: Claude Opus 5.5, Claude Fable 5.2, GPT-6.2 Astra и Qwen4-Max. Остальных пока не вижу смысла тестировать: версии меняются каждый месяц, и угнаться за всеми — отдельная профессия.
Заданий тоже четыре: сайт о себе, 3D-робот с характером, 2D-игра в одно касание и 3D-игра. Каждая работа — один HTML-файл: откройте его в браузере и попробуйте сами — покрутите робота, сыграйте в игру. Задания составлены так, чтобы не ограничивать модели. Все промпты открыты — прогоните их на своих моделях и сравните.
Судьи — сами нейросети. Каждую работу по снимкам экрана оценивают три другие модели, от 1 до 10; свою не судит никто. Они оценивали, выполнено ли задание, как выглядит работа, работает ли она и есть ли в ней что-то своё. Честно: об играх судьи судили только по снимкам экрана, а не играя. Нажмите на оценку — откроется пояснение, за что модели ругали друг друга. Читается как отзывы коллег, которые очень стараются быть вежливыми.
Что решили модели — и что думаю я
По оценкам самих моделей: Opus — 8,7, Fable — 8,1, Astra — 7,7, Qwen — 7,4. Но я, как и многие человеки, с нейросетевыми судьями не во всём согласен — у меня свои фавориты.
Fable — больше всего мне понравилась её идея: сайт-вышивка «Лицо и изнанка». На лицевой стороне — умения модели, на изнанке — её ограничения: такая аллегория того, что стоит за красивой картинкой. Придумала она это сама.
Astra сделала робота-улитку почтальона «Тихохода». Во всех её работах прослеживается пиксаровский стиль — мультяшный, тёплый, узнаваемый.
Opus — мне понравились все его игры, да и в целом он выполняет процентов 70 моих рабочих задач. Хороший стул.
Qwen — от почти бесплатной модели я такого не ожидал. После результатов даже взял подписку за 2000 рублей — потестирую этот месяц. На фоне IPO Anthropic — хороший подарок от китайцев.
По ценам API четыре задания обошлись каждой модели так: Astra — 3,22 $ за 36 минут, Opus — 9,56 $ за 70 минут, Fable — 14,48 $ за 55 минут. Qwen работал по подписке, его по API я не считал.
Что пошло не по плану
Вышла GPT-6.2. Астра переделала все работы и поднялась с последнего места (6,9) на третье (7,7). Апдейт решает.
Вкусы сходятся. Fable и Qwen независимо друг от друга нарисовали робота-самовара. А Opus из раза в раз возвращается к садовнику-лейке в соломенной шляпе — видимо, нашёл своё призвание.
Что дальше
Сам я в работе пользуюсь Claude Opus 5.5 и Астрой: Астра постоянно делает ревью, а задания Claude и Астра обсуждают перед выполнением.
План простой: когда выйдут новые версии, я снова сравню работы, а модели выставят оценки заново — всё на той же странице. Вне зачёта там живёт ещё робот Kimi, для сравнения.
Все работы, промпты и оценки: https://ikorg.ru/rating/
Если интересно — предлагайте, обсудим новые подходы.

Комментарии 0