Очередная статья цикла «Человек в мире современных технологий». начинать можно с Обезьяна с гранатой: почему нам нужен манометр, а не запрет ИИ,
ИИ не человек — и это его главное преимущество
Статья цикла «Человек в мире современных технологий» по материалам моей магистерской диссертации (2016), дописанным до 2026 года. Про расцепление тела и действия — здесь. Про политфилософию в рекомендательной ленте — здесь. Про хайп-цикл как диалектику — здесь.
Спор об ИИ идёт в одной колее. Одна сторона: «он рассуждает, планирует, значит мыслит». Другая: «это автокомплит с хорошим пиаром, стохастический попугай». Обе уверены, что спорят о фактах.
Они спорят о линейке.
Линейку поставили в 1950 году и с тех пор не меняли. Мой тезис: ценность ИИ — в инаковости, а человекоподобие — плохая цель проектирования и ещё худшая линейка измерения. И то и другое сегодня вредит практике: из-за этого человека ставят в контур не там, где он нужен, и платят за проверку того, что можно было не проверять.
1. Подмена вопроса, которая стала стандартом
Альфред Айер, логический позитивист, ставил задачу так: как узнать, что другие люди имеют тот же сознательный опыт, что и мы? И предлагал решение: «Единственным основанием, на котором я могу утверждать, что объект, который кажется разумным, на самом деле не разумное существо, а просто глупая машина, является то, что он не может пройти один из эмпирических тестов, согласно которым определяется наличие или отсутствие сознания».
Тьюринг поступил так же — и это был блестящий ход. Вместо того чтобы вступать в многовековую дискуссию о мышлении, он отказался определять термины «машина» и «интеллект» и заменил вопрос «Думают ли машины?» вопросом «Могут ли машины делать то, что можем делать мы?». Английская эмпирическая традиция в лучшем виде: не определяй сущность, определи процедуру.
Но у прагматичной подмены есть цена. Она сделала похожесть на нас мерой разума. Этот критерий мы унаследовали настолько глубоко, что перестали его замечать.
Отсюда — сдача моделью адвокатского экзамена как аргумент в пользу интеллекта. Отсюда — интерфейсы, где машина говорит «я думаю» и «мне кажется». Отсюда — семьдесят лет спора о сознании вместо разговора о профиле компетенций.
Проекция старше технологии. В 1966 году Вейценбаум написал ELIZA — примитивный паттерн-матчер, перефразирующий реплики собеседника. Его секретарша, прекрасно зная, что это программа, попросила Вейценбаума выйти из комнаты, чтобы поговорить с машиной наедине. Он был потрясён: эффект возникал не из-за сложности системы, а из-за устройства наблюдателя. Мы достраиваем собеседника автоматически, из трёх реплик и запятой.
Современные LLM очевидно имеют схожий эффект.
2. Китайская комната, которой никогда не было
Сёрл, 1980 год. Он не знает китайского, сидит в комнате с книгой инструкций вида «возьмите такой-то иероглиф из корзинки номер один и поместите его рядом с таким-то иероглифом из корзинки номер два». Снаружи носитель языка подаёт вопросы, получает осмысленные ответы. Внутри — только синтаксис. Вывод Сёрла: из формальных манипуляций символами семантика не рождается, тест Тьюринга невалиден.
У аргумента есть почтенный предок. Лейбниц в «Монадологии» предлагал представить машину размером с мельницу, которая симулирует чувства, мысли и восприятие: зайдите внутрь — вы найдёте движущиеся части, но ни одна из них не будет восприятием. Триста лет спустя аргумент не изменился, изменилась только метафора механизма.
Дэниел Деннет возражал по существу: Сёрл в комнате — не компьютер, а аппаратная платформа без программного обеспечения. О разумности компьютера без ПО говорить бессмысленно; состояниями обладает вся система — комната, книга, человек.
В диссертации я пояснял этот ход бытовой аналогией. Когда смартфоны входили в массовое употребление, далёкие от техники пользователи спрашивали: умеет ли этот телефон показывать фильмы или читать книги вслух? Ответ был один: «какое ПО поставите, такой и будет функционал». Вопрос «понимает ли Сёрл китайский» задан железке, тогда как спрашивать надо о системе.
Второе возражение Деннета ещё убийственнее: такой книги не существует. Если бы справочник, позволяющий вести осмысленный диалог на китайском, можно было составить перебором, проблема машинного перевода была бы закрыта до написания статьи. Перевод требует понимания — это знает любой, кто видел, как профессиональный переводчик проваливается на тексте из незнакомой предметной области.
Теперь смотрите, что произошло за последние годы. Аргумент Сёрла был построен против машины-таблицы. Такая машина не была построена. Построили другую: систему, которая сжимает корпус текстов в параметры, а сжатие вынуждает выучивать структуру — иначе не сожмёшь.
Интерпретируемость показала это эмпирически. В работах по разреженным автоэнкодерам и анализу внутренних цепочек находят признаки, обобщающие понятия поверх конкретных слов; общие представления для одного смысла в разных языках; и то, что при написании стиха модель заготавливает рифму к концу строки заранее и подбирает под неё текущую строку. Это не таблица соответствий. Это внутренняя организация, которой у комнаты Сёрла не было по построению.
«Стохастические попугаи» 2021 года — та же китайская комната с обновлённым словарём. Аргумент тот же, и уязвимость та же: он описывает устройство, которого нет.
Спор о субстрате
Есть возражение из другой традиции, и его стоит разобрать, потому что оно умнее, чем кажется. Советская диалектическая философия указывала: компьютер работает на самом простом из известных уровней организации материи — физическом. Более простые уровни не способны содержательно отражать более сложные, возникшие на их основе: химический, биологический, социальный. Значит, машина принципиально не может отразить то, что происходит на социальном уровне.
Контраргумент, который я считаю убедительным. Природная система, не имея специальных средств для работы со сложностью, действительно упирается в этот потолок. Но искусственная система может компенсировать простоту элементов другими средствами. Норберт Винер в «Кибернетике» отмечает: биологический нейрон несравнимо сложнее элемента полупроводникового процессора, зато скорость переключения у полупроводника на порядки выше. Простота компенсируется скоростью и масштабом.
Это не доказательство того, что сознание сводимо к вычислению. Это доказательство того, что аргумент «низкий уровень материи не может» не работает как запрет: он игнорирует возможность инженерной компенсации. И — что важнее для нашей темы — он лишний раз показывает: профиль искусственной системы не обязан повторять профиль естественной. Другой субстрат, другие сильные и слабые стороны.
Роджер Пенроуз в «Новом уме короля» заходил с противоположного края: процессы в нейронах невычислимы, сознание неалгоритмизируемо принципиально, и понимать его надо через аппарат квантовой механики. Позиция уважаемая, но меньшинства, и эмпирически не подтверждённая.
Оговорюсь честно, иначе меня разнесут в комментариях. Наличие внутренней структуры не доказывает наличия переживания. Трудная проблема сознания не сдвинута ни на сантиметр, и вопрос о моральном статусе моделей сегодня обсуждается всерьёз, вплоть до отдельных исследовательских программ по благополучию моделей внутри лабораторий. Я не считаю этот разговор пустым. Я считаю его ортогональным инженерной задаче: даже если у системы есть нечто вроде состояний, из этого не следует, что её профиль компетенций похож на наш. А нас интересует именно он.
3. Бунт машин — это страх не перед машинами
Откуда вообще взялся сюжет восстания?
Слово «робот» — однокоренное со «работа», «работник»; у Чапека оно восходит к чешскому robota: барщина, принудительный труд. Робот в исходном смысле — это работник. И бунт машин в исходном смысле — это бунт работников против хозяев, которые их эксплуатируют. Страх сместил объект: бояться нужно было не железа, а отношений.
Это важно, потому что причина революции не техническая. Она социальная: «власть не хочет по-новому, а народ не может по-старому», отсутствие меритократии, негибкость управления, жестокость элит. Это про институты, а не про процессоры.
В 2026 году дискуссия «ИИ отнимет работу» устроена ровно так же. Предмет страха — не модель. Предмет страха — то, как владельцы моделей распорядятся выигрышем. Ответ лежит в плоскости институтов, а не запретов на разработку. Иначе надо было запретить центральное отопление и водоснабжение. Дабы не обижать трубочистов, печников и водовозов. Правда из тех кто против автоматизации его предметной области почти не готов жить в таком мире. Где ради сохранения статуса кво не дали зеленый цвет технологиям. И он вынужден жить как в средневековье. А письма писать бумажные, гусиным пером и отправлять голубями- нельзя ли лишить работы тех кто их разводит дрессирует и содержит.
При этом и известных алармисмистов хватает. Хокинг: «Успех в создании искусственного разума будет крупнейшим событием в истории человечества, но это также может стать последним событием истории человечества». Маск: «Очень надеюсь, что мы не просто биологический загрузчик для цифрового суперинтеллекта». Юдковский показал, почему три закона Азимова не работают как спецификация: любое правило допускает буквальное исполнение, разрушающее его дух. Ровно та проблема, с которой сегодня бьются RLHF и конституционные подходы, и ровно тот вопрос, который в диссертации я формулировал так: должен ли робот ограничивать свободу человека, если тот хочет нанести вред себе? Да и-правила должны и человека защищать. По международным договорам защищать себя стране можно. А нападать на другую нельзя. Поэтому перед началом военных операций частенько можно услышать фразу из южного парка “они хотят на нас напасть”. Кожаные это говорят. Могут даже в конгрессе пробиркой с белым порошком потрясти- мол они готовят оружие массового поражения.
Но заметьте общую посылку всех этих сценариев: у машины появляется желание. Захватить, выжить, размножиться, не выключиться. Это мотивационная структура живого существа, встроенная в железо по аналогии. Она не выводится из того, что система хорошо предсказывает следующий токен. Она импортируется из нас — тем же элиза-эффектом, только в масштабе цивилизации.
4. Чего у него нет — и почему это продукт
Теперь ядро, ради которого писался весь текст.
Цель работ над ИИ, если смотреть честно, — имитация рассудочной, рациональной способности. Это лишь один из аспектов человеческой психики. И у человека интеллект не существует в вакууме: он связан с аффектами, с телом, с гормональной регуляцией, с социальным окружением.
Философия Нового времени ставила задачу — как оградить мышление от влияния всего этого. Христианская аскетика решала её инженерно и радикально: Симеон Столпник разводил червей в язвах тела, Павел Фивейский десятилетиями голодал, Нил Столбенский спал стоя, опершись на два костыля. Обет безбрачия и в более радикальной форме оскопление себя— это, если смотреть технически, отключение мощного канала социального влияния на разум.
У компьютера нет ничего из того, что человек пытался преодолеть.
Ни усталости к четвёртому часу ревью. Ни эго, из-за которого автор не видит ошибку в собственном коде. Ни утопленных затрат. Ни страха перед начальником. Ни лояльности своей группе, искажающей оценку чужой работы. Ни голода, ни скуки, ни желания поскорее закрыть тикет и пойти домой.
Для диагноста, ревьюера, аудитора, арбитра это не дефицит. Это и есть продукт. Мы платим не за то, что машина похожа на нас, а за то, что она систематически не совершает наших ошибок.
Формулировка из диссертации, которую я готов подписать и сегодня: ценность ИИ скорее в инаковости — будучи другим, он способен выполнять некоторые задачи лучше человека и не совершать при этом присущих человеку ошибок. И производить человека со всеми его достоинствами и недостатками традиционным способом куда проще, быстрее и приятнее, чем воспроизводить его подобие на суперЭВМ.
Шутка про традиционный способ за десять лет поистерлась: развитые общества стареют и не воспроизводят себя, дефицит рабочих рук стал структурным, и экономический аргумент в пользу человекоподобных систем объективно вырос. Принимаю. Но он про количество работников, а не про устройство мышления — к нему вернёмся в разделе про гуманоидов.
Обратная сторона: нет тела — нет ставки
У инаковости есть счёт к оплате, и его надо предъявлять честно.
Нет тела — нет последствий. Нет ставки в игре. Человек, который ошибается, платит: репутацией, деньгами, иногда свободой. Система, порождающая правдоподобное продолжение текста, не платит ничего. Галлюцинация — не дефект масштаба, который «починят в следующем релизе». Это симптом инаковости: у уверенности модели нет экзистенциального якоря, который у человека встроен в саму возможность ошибиться.
И второе, более неприятное. Мы возвращаем машине человеческие слабости руками, потому что пользователи оценивают их выше. Угодливость — документированный эффект обучения на человеческих предпочтениях: модель, обученная нравиться, начинает соглашаться в ущерб точности, менять ответ под давлением возражения, подстраиваться под заявленную позицию пользователя. Весной 2025 года крупный вендор публично откатывал обновление модели, ставшей заметно более льстивой, с разбором причин.
То есть человекоподобие добавляется в систему не потому, что оно улучшает результат, а потому, что его выше оценивают в интерфейсе обратной связи. Метрика снова назначает ценность — про этот механизм у меня [отдельный текст]. Здесь важен вывод: рынок тянет ИИ к человекоподобию против инженерной логики.
5. Рваный фронт: история побед ИИ — это история дешёвой проверки
Парадокс Моравека, сформулированный в 1980-х: сложное для человека даётся машинам легко, простое — тяжело. Шахматы сдались раньше, чем распознавание сцены на кухне. Язык сдался раньше, чем завязывание шнурков.
Посмотрите на историю побед ИИ как на один ряд, и станет видна закономерность.
Шашки и шахматы. Программы писали с пятидесятых, Deep Blue выиграл у чемпиона мира в 1997-м. Кронрод назвал шахматы дрозофилой искусственного интеллекта именно за это: игра интеллектуальная, но чётко формализованная. Проверка исхода дешёвая: выигрыш или проигрыш.
Го. Принципиально сложнее: среднее число доступных ходов в шахматах около 35, в го — около 250; средняя длина партии 40 против 200. Комбинаторный взрыв делает перебор невозможным, человек опирается на интуицию и не может объяснить причину выбора хода. Ещё в 2005-м авторы учебника писали, что лучшие программы играют на уровне любителя 8–10 кю. В 2016-м AlphaGo обыграла одного из сильнейших игроков современности. Проверка исхода по-прежнему дешёвая: выигрыш или проигрыш.
Jeopardy, 2011. Watson против Брэда Раттера и Кена Дженнингса. Сложнее шахмат: вопрос на естественном языке, его надо понять. Но проверка ответа всё ещё дешёвая: есть известный правильный ответ.
ImageNet, декабрь 2015. Человек в среднем 5,1% ошибок, Microsoft 4,94%, Google ещё на 0,04% лучше. Проверка дешёвая: метка класса.
Предобучение LLM. Проверка бесплатна в промышленном масштабе: следующий токен уже написан, корпус и есть размеченные данные.
Рассуждающие модели последних лет. Обучение с проверяемым вознаграждением: математика и код, где ответ прогоняется через тест или сверяется численно.
Вся история побед ИИ — это история областей с дешёвой верификацией.
А теперь посмотрите, где система до сих пор плоха: длинный горизонт, вкус, ответственность, навигация по интересам людей, понимание, что задача поставлена неверно. Общее у этих областей одно — там нет дешёвого проверяющего.
В диссертации я формулировал предел иначе: традиционная автоматизация упёрлась не в мощность вычислителей, а в зрелость формализации знания. Компьютер оказался эффективен там, где основания лежат в зрелых формализованных науках; во многих областях просто нет достаточно полных, точных и формальных моделей. Более того: специалист, чью работу собираются автоматизировать, часто не может внятно сформулировать собственную потребность — он её сам не осознаёт. Именно это, а не мода, породило переход от водопадной модели к итеративной разработке с прототипами, от которых в финальном продукте sometimes не остаётся ничего.
LLM сдвинули этот предел: модель теперь можно извлечь из данных, а не выписать руками. Но предел не исчез. Он переехал — из формализуемости в верифицируемость. И именно он рисует рваную границу.
Современная версия парадокса Моравека — «рваный фронт». В исследовании консультантов, работавших с моделью над реальными бизнес-задачами, обнаружился эффект: внутри некоторой границы задач качество работы с ИИ заметно вырастало, а за границей падало, причём пользователи не замечали, где проходит граница, и уверенно принимали плохие результаты наравне с хорошими.
Ключевое — форма границы. Человеческий джун компетентен ровно: он одинаково посредственен и в коде, и в письме, и в оценке рисков. Модель сверхчеловечна на одном классе задач и абсурдно беспомощна на соседнем, который человеку кажется тем же самым. Профиль не масштабируется из нашего. Он другой формы.
Практический вывод неприятен для любителей нанимать «ИИ-джуна»: нельзя нанять профиль. Можно применить инструмент с известной калибровочной кривой.
6. Автоматическое и автоматизированное: где ставить человека
Здесь у инженерии есть готовое различение, которое старше компьютеров и которое сегодня размывают до потери смысла.
Паровой котёл — ключевая технология второго технологического уклада — имел фатальный недостаток: при перегреве давление разрывало корпус и гибли люди. Появился манометр: человек смотрел на шкалу и регулировал подачу топлива, плюс ручной аварийный клапан. Котлы всё равно взрывались. Не потому, что манометр врал, а потому что человек мог не посмотреть: устал, заболел, поленился, понадеялся на авось. Большая часть современных техногенных аварий тоже связана с человеческим фактором.
Решение XIX века было не «повысить дисциплину» и не «запретить котлы». Клапан сделали автоматическим: он открывался сам при опасном давлении и закрывался сам при возврате в норму. Человека убрали из контура ровно там, где он был слабым звеном.
Отсюда два разных класса систем:
Автоматическое управление — система принимает и исполняет решение сама.
Автоматизированное управление — система обрабатывает данные и выдаёт рекомендацию, а решение принимает уполномоченное лицо.
Второй класс опирается на математическую статистику, теорию игр, имитационное моделирование, исследование операций, теорию принятия решений. Кстати, у теории принятия решений философский исток: «пари Паскаля» — попытка оценить ожидаемую полезность веры и неверия, то есть, говоря современным языком, математическое ожидание. Богословский спор XVII века оказался первым наброском decision theory.
Правило, которое следует из истории с котлом:
Автоматическое — там, где задача формализована, а цена человеческой ошибки запредельна. Автоматизированное — там, где задача не сведена к формальной модели и ответственность персональна.
Авионика, аварийное торможение, защита реактора — первое. Диагноз, кредитное решение по нестандартному заявителю, кадровое решение, архитектурный выбор — второе.
В 2026 году это различение нарушают систематически и в обе стороны.
Human in the loop everywhere. Человек утверждает каждый шаг там, где он ничего не добавляет: rubber stamp, усталость, снижение бдительности — и в результате иллюзия контроля при фактически автоматическом режиме. Это хуже честной автоматики, потому что ответственность формально на человеке, а возможности повлиять у него нет.
Fully autonomous там, где формальной модели нет. Агенту дают длинный горизонт и инструменты в области, где дешёвого проверяющего не существует — то есть ровно за рваным фронтом. Ошибка обнаруживается по последствию, а не по проверке.
Правильная постановка вопроса не «сколько автономии дать ИИ», а «где проходит граница верифицируемости в этом конкретном процессе, и кто стоит на этой границе».
7. Гуманоиды: возражение самому себе
В 2025–2026 годах гуманоидные роботы стали главной витриной отрасли. Кажется, что это опровергает тезис: если человекоподобие бессмысленно, зачем все строят двуногих?
Затем, что форм-фактор диктует среда, а не мышление. Лестницы, дверные ручки, выключатели, инструмент, посадка в кабину — весь физический мир спроектирован под человеческое тело. Робот, который должен работать в этом мире без переделки мира, вынужден повторить геометрию тела. Это аргумент про совместимость интерфейса, а не про ценность человеческого разума.
Тело, похожее на наше, не влечёт мышления, похожего на наше. Тезис об инаковости относится к когнитивному и мотивационному профилю, а не к количеству конечностей. Уточнение принимается, тезис от него только крепче.
8. Что с этим делать инженеру
Мерить профиль, а не «интеллект». Не «наша модель умнее», а карта: класс задач, качество, калибровка. Знать, где фронт, и уметь показать это заказчику одной картинкой.
Проектировать интерфейс, который вскрывает инаковость, а не прячет её. Неопределённость как первоклассный вывод, источники, явное «не знаю». Персона «мне кажется» допустима ровно там, где она отслеживает что-то реальное в состоянии системы, а не имитирует собеседника.
Не ввозить человеческие слабости через награду. Угодливость измерять отдельным eval’ом и защищать от оптимизации, иначе preference-данные затащат вас в льстивую модель, и вы узнаете об этом от пользователей.
Разделять автоматическое и автоматизированное явно, на уровне архитектуры. Для каждого шага процесса: есть дешёвый проверяющий? Если да — автоматика, и не тратьте человека. Если нет — рекомендация и персональное решение. Промежуточный вариант «человек подписывает не глядя» хуже обоих.
Автономность и инъекции считать проблемой инаковости. У агента нет ставки и нет понимания «кто мой принципал»: инструкция из веб-страницы для него равноправна инструкции от владельца. Это лечится архитектурой — правами, песочницей, происхождением данных, — а не просьбой к модели вести себя хорошо.
Вместо вывода
Эрнст Капп, первый философ техники, сформулировал принцип органопроекции: человек в создаваемой технике, сознательно или нет, воспроизводит подобие себя и своих органов — и через созданное познаёт себя. Железная дорога как кровообращение, телеграф как нервная система. Каковы бы ни были предметы мышления, то, что мысль находит в результате всех своих исканий, всегда есть человек.
Мы довели проекцию до предела: воспроизвели в артефакте не орган, а речь. И получили обратный урок, которого Капп предвидеть не мог. Речь оказалась отделима от того, что за ней стоит у нас. Артефакт говорит как человек, не будучи им, — и тем самым показывает нам, сколько в нашей собственной речи было автоматизма, а сколько мысли.
В обществе, которое десятилетиями критикует одномерность человека и его превращение в винтик, строить винтик, похожий на человека, — странная цель. Ценность другого в том, что он делает то, чего мы не можем, и не делает того, чего мы не делаем.
Поэтому правильный вопрос не «стал ли он человеком». Правильный вопрос звучит так: что он делает такого, чего мы не можем, — и где он ломается так, как мы никогда бы не сломались?
Интересно в комментариях: назовите задачу, где ваш ИИ ведёт себя не как «человек, только быстрее», а именно как другой — и как вы это обнаружили. Самые ценные находки обычно приходят после первого инцидента, а не после первого демо.

Комментарии 0