В чём суть гипотезы об ограничениях ИИ
Гипотеза, разобранная в статье на Хабре, звучит так: предел возможностей искусственного интеллекта задают не видеокарты и не объём датасета, а физика. Стремление к самосохранению, эмоции и волю автор связывает с гомеостазом диссипативных структур. Такая система удерживает себя в упорядоченном, неравновесном состоянии за счёт непрерывного потока энергии извне. Цифровой алгоритм этот режим воспроизвести не может. Вывод: ИИ останется инструментом, который человек направляет. Считать быстрее он будет, собственных целей не обретёт.
Дальше важная оговорка, без которой текст ниже читается неправильно. Это научно-популярное рассуждение, а не подтверждённый результат и не новость о релизе. Тезис «гомеостаз диссипативных структур нельзя запрограммировать» - позиция автора, а не согласие научного сообщества. Проверить его экспериментом пока нечем: нет прибора, который измеряет наличие воли или внутренних состояний, ни у модели, ни у человека.
Конструкция держится на трёх опорах:
- Неравновесная термодинамика Пригожина - объясняет, как из хаоса возникает порядок в системах, далёких от равновесия, и почему такой порядок живёт только при постоянном притоке энергии.
- Принцип Моравека - про то, что самые трудные для человека вещи (логика, счёт) даются машинам легче лёгкого, а «простые» (движение, восприятие, эмоции) сопротивляются автоматизации.
- Гипотеза мира РНК - описывает происхождение жизни из самореплицирующихся молекул: самосохранение возникает на химическом уровне, задолго до нервной системы.
Практикам тема интересна по конкретной причине. Если гипотеза верна хотя бы частично, ждать от LLM собственных мотивов и страха отключения не стоит, а значит, и безопасность агентов строят на других допущениях: не «договориться с моделью», а ограничить её доступ и проверять действия. Если гипотеза неверна, часть инженерных решений придётся пересматривать. Разница в выводах огромная, поэтому аргументы стоит разобрать по частям.
Диссипативные структуры и гомеостаз: от ячеек Бенара до живых организмов
Диссипативная структура - это устойчивая упорядоченная форма, которая существует за счёт рассеяния (диссипации) энергии. Уберите поток энергии, и структура распадётся за секунды. Термин ввёл Илья Пригожин, получивший в 1977 году Нобелевскую премию по химии за работы по неравновесной термодинамике. Его ключевой тезис: вдали от равновесия система может самопроизвольно снижать свою энтропию, если компенсирует это ростом энтропии в окружающей среде.
Ячейки Бенара как пример самоорганизации
Классическая демонстрация - опыт Анри Бенара. Тонкий слой вязкой жидкости подогревают снизу и охлаждают сверху. Пока разность температур мала, тепло переносится теплопроводностью, и снаружи ничего не видно. При переходе через критическое значение числа Рэлея (для слоя с жёсткими границами это примерно 1708) жидкость теряет устойчивость, и внутри возникают правильные шестиугольные конвекционные ячейки: горячая жидкость поднимается по центру, холодная опускается по краям.
Ключевая деталь: координаты ячеек никто не задавал, алгоритма для них не писал. Упорядоченность появилась из-за нелинейности и притока энергии. Это самоорганизация в чистом виде. Отключите нагрев, и структура исчезнет: порядок поддерживался перепадом температур, а не памятью системы о самой себе.
Сторонники гипотезы проводят прямую аналогию: живой организм - та же диссипативная структура, только на несколько порядков сложнее. Человек удерживает себя в упорядоченном состоянии примерно 2,5 миллиарда секунд жизни, постоянно рассеивая энергию: около 100 Вт тепла в покое и до 1000 Вт при интенсивной нагрузке. Мозг при этом потребляет порядка 20 Вт, что сопоставимо с энергосберегающей лампой.
Гомеостаз как основа самосохранения
Гомеостаз - способность удерживать внутренние параметры в узких пределах, несмотря на изменения среды. Температура ядра тела держится около 36,6 °C, pH крови - в диапазоне 7,35-7,45, концентрация глюкозы - в единицах миллимоль на литр. Отклонение за границы запускает реакцию: дрожь, потоотделение, выброс гормонов, изменение поведения.
Дальше начинается самое спорное место гипотезы. Автор связывает с гомеостазом не одну физиологию, а ещё и эмоции с волей: страх, голод, тревога, желание оказываются сигналами о том, что параметры уходят от нормы, а воля - механизмом, который заставляет систему их возвращать. Самосохранение тогда превращается в следствие физики: система, потерявшая способность удерживать себя, просто перестаёт существовать.
В цифровой системе аналога нет. Модель не имеет обмена веществ, её состояние - это веса на диске и тензоры в памяти, они не требуют непрерывного притока энергии для поддержания себя в равновесии. Отключение питания не уничтожает структуру: после загрузки из чекпоинта она восстановится до последнего бита. Терять нечего, защищать нечего. Любой инстинкт самосохранения у LLM придётся прописать явно, текстом в промпте или функцией в коде. И тогда он останется имитацией, потому что за ним нет физической необходимости.
Почему ИИ не может обрести волю, эмоции и адекватность
Цепочка рассуждения выглядит так. Воля нужна, чтобы что-то сохранять. Сохранять имеет смысл только то, что может быть потеряно. У цифровой системы терять нечего, поскольку её структура не поддерживается непрерывным потоком энергии и восстанавливается из чекпоинта. Значит, воля не возникнет как внутренняя потребность, её можно лишь имитировать. Эмоции в этой логике - сигналы отклонения параметров от нормы. У модели нет ни параметров, которые надо удерживать, ни нормы, за нарушение которой наступает физическое разрушение. Остаётся имитация в тексте.
Слово «адекватность» автор использует в бытовом смысле: соответствие поведения реальности, вытекающее из физической включённости в неё. Человек ошибается и получает обратную связь телом: обжёгся, упал, проголодался. Модель получает обратную связь через метрику на валидационной выборке и оценки людей. Отсюда вывод гипотезы: ИИ может быть точным, полезным и убедительным, но адекватным в этом узком смысле не станет.
Принцип Моравека и парадокс сложности
Ганс Моравек в 1988 году описал странность, которую позже назвали парадоксом Моравека. Чем «выше» когнитивная задача, тем проще её автоматизировать. Шахматы, доказательство теорем, разбор формальной логики поддались машинам в числе первых. Распознавание лица матери, ходьба по неровной поверхности, удержание равновесия потребовали огромных ресурсов и сотен миллионов лет эволюции.
Автор распространяет эту логику на эмоции и волю: они тоже отточены эволюцией на низком уровне, а не выведены алгоритмом. Здесь нужна аккуратность. Моравек говорил о трудности автоматизации, а не о её невозможности. Переход от «трудно» к «принципиально невозможно» - дополнительный шаг, и он требует доказательств, которых в гипотезе нет. Скорее это сильный аргумент против ожиданий «быстро и дёшево», чем доказательство физического запрета.
Гипотеза мира РНК как аргумент о биологической природе самосохранения
Термин «мир РНК» предложил Уолтер Гилберт в 1986 году, а каталитические РНК (рибозимы) открыли Томас Чек и Сидни Альтман, получившие за это Нобелевскую премию по химии в 1989 году. Каталитический центр рибосомы тоже построен на РНК, что подкрепляет идею: репликация и катализ когда-то обходились одной молекулой.
Схема происхождения самосохранения получается пошаговой. Самореплицирующаяся РНК конкурирует за нуклеотиды. Молекулы, которые случайно получают липидную оболочку, реже разрушаются. Оболочка требует синтеза, синтез требует энергии, появляется примитивный метаболизм. Молекула, которая удерживает внутреннюю среду в подходящих пределах, живёт дольше и оставляет больше копий. Так стремление к самосохранению вырастает из химии и термодинамики, а не из вычислений.
Аргумент красиво звучит и плохо переносится на вывод. Из того, что явление впервые появилось в химической системе, не следует, что его нельзя воспроизвести на другом носителе. Счёт когда-то существовал только в нейронных сетях человека, а теперь отлично работает на кремнии. Значит, история происхождения сама по себе ничего не запрещает. Она лишь показывает, насколько глубоко в физику уходят корни обсуждаемого свойства.
Физические ограничения ИИ: вычисления, энергия и энтропия
У цифровых вычислений есть собственный набор физических лимитов, и они не выдуманы автором гипотезы. Принцип Ландауэра, сформулированный Рольфом Ландауэром в 1961 году, задаёт минимальную энергию стирания одного бита информации: kT ln2, что при комнатной температуре даёт около 2,9 × 10⁻²¹ Дж. Логически необратимые операции обязаны рассеивать тепло, обратимая логика в теории позволяет уйти ниже, но реальные схемы до этого не добрались.
Разрыв между пределом и практикой огромен. Типичная операция в современном кремнии тратит пикоджоули, то есть на много порядков больше предела Ландауэра. Дальше включаются инженерные ограничения: плотность мощности кристалла, отвод тепла, пропускная способность шин, задержка сигнала, стоимость электричества и охлаждения для дата-центра. Масштабирование моделей упирается в них задолго до того, как упрётся в термодинамику.
| Параметр | Живая система | Цифровой ИИ |
|---|---|---|
| Источник порядка | Поток энергии из среды: питание, кислород, солнечный свет | Электричество из сети, подаётся при работе |
| Поддержание состояния | Непрерывный метаболизм, обмен веществ | Заряды в памяти, обмена веществ нет |
| Потеря структуры | Смерть при прекращении потока энергии | Выключение питания, состояние восстанавливается из чекпоинта |
| Реакция на сбой | Боль, стресс, гормональный ответ | Исключение в логе, повторный запуск |
| Энергия на единицу работы | Мозг около 20 Вт | Ускоритель от сотен ватт до киловатт |
Таблица показывает главное расхождение. Биологическая система существует, пока через неё течёт энергия, и её упорядоченность оплачивается этой энергией ежемоментно. Цифровая система хранит структуру даром: выключенный сервер не теряет веса модели. Отсюда разные режимы работы и разные ограничения. Прогресс ИИ это не отменяет, но переносит его в другую плоскость: быстрее, дешевле, точнее, при этом без внутренней мотивации.
Контраргументы и альтернативные взгляды
Позиция автора гипотезы не единственная, и в научном сообществе она скорее маргинальна. Аргументы против неё начинаются с простого наблюдения: у нас нет способа измерить сознание и волю даже у другого человека. Мы судим о них по поведению и словам. Если критерий поведенческий, то вопрос о ИИ переходит из физики в методологию, и однозначного ответа не даёт.
Может ли ИИ обрести сознание: аргументы за и против
За. Функционализм и принцип множественной реализуемости Хилари Патнэма утверждают, что важен не носитель, а организация процессов. Теория глобального рабочего пространства Бернарда Баарса и теория интегрированной информации Джулио Тонони описывают сознание через структуру связей, а такую структуру в принципе можно повторить на другой физической основе. Отдельно звучит аргумент эмерджентности: масштаб иногда даёт свойства, которых не было у меньших систем, и на этом строятся разговоры о сильном ИИ и AGI.
Против. Джон Сёрл с его китайской комнатой и биологическим натурализмом настаивал, что синтаксис не порождает семантику, а сознание требует специфической биологической причинности. Сторонники воплощённого познания добавляют: без тела, метаболизма и непрерывного взаимодействия со средой внутренних состояний не возникает. Гипотеза о гомеостазе диссипативных структур - радикальная версия этой же линии.
Что тут важно для практика: ни одна сторона не может поставить решающий эксперимент. Обсуждение гонки к самоулучшающемуся ИИ и связанных с ней рисков идёт именно в этой зоне неопределённости, и полезно понимать, что сценарии строятся на допущениях, а не на измерениях. Разбор позиции Джейкоба Коксона о гонке к самоулучшающемуся ИИ показывает, какие меры обсуждают в США и Великобритании и почему самосовершенствование отличается от обычных агентов.
Практические выводы для разработчиков и пользователей AI
Даже если относиться к гипотезе скептически, из неё следуют разумные инженерные привычки. Они полезны независимо от того, кто прав в философском споре.
- Не приписывать модели внутренних состояний. Реплики вроде «мне не нравится этот запрос» - статистика по обучающим данным и стиль ответа. Если агент отказывается выполнять команду, смотреть нужно на промпт, набор инструментов и правила, а не на настроение.
- Ограничивать доступ, а не договариваться. Файловая система, сеть, ключи API, платежи и рабочие аккаунты - то, что реально удерживает агента в рамках. Разбор инцидентов с Claude Code и мер контроля даёт конкретные примеры такой дисциплины.
- Помнить, что автономность растёт от среды, а не от размера модели. Агент становится самостоятельным, когда получает доступ к внешнему миру и механизм обратной связи, а не когда параметров становится больше. Архитектурный разбор автономного ИИ в замкнутой системе объясняет, почему без внешней среды попытки создать живого агента буксуют.
- Держать человека в контуре на критичных шагах. По разбору AI-Manual, генерация кода закрывает около 20% инженерной работы, остальное - постановка задачи, проверка и ответственность за результат. Верификация остаётся за человеком, и материал о роли инженера-верификатора показывает, как это выглядит на практике.
- Тестировать сценарии отказа. Полезно заранее проверить, что произойдёт, если модель выдаст неверный формат, зациклится или начнёт тратить бюджет на вызовы API. Это дешевле, чем разбираться с последствиями на проде.
Для локальных LLM и RAG-систем вывод простой: ждать от модели эмоционального интеллекта в человеческом смысле не приходится, а вот управляемость и предсказуемость настраиваются руками. Температура, системный промпт, схемы валидации ответов, лимиты на длину контекста и на количество шагов агента дают больше, чем любые ожидания «проснувшегося» разума.
Итог: аргументированная точка зрения, а не приговор
Гипотеза утверждает, что воля, эмоции и адекватность вырастают из гомеостаза диссипативных структур, а такой гомеостаз не переносится в алгоритм. Опоры у неё реальные: неравновесная термодинамика Пригожина, ячейки Бенара как пример самоорганизации, принцип Моравека, гипотеза мира РНК, принцип Ландауэра. Слабые места тоже видны: перенос «трудно» в «невозможно», отсутствие критерия проверки, игнорирование функционалистских аргументов и эмерджентности.
Практический смысл для тех, кто работает с AI, сводится к трём пунктам. Ожидания от LLM стоит держать в рамках инструмента, а не собеседника с собственной волей. Контроль над агентами строится на доступе, логировании и проверках, а не на предположении о внутренних мотивах. Физические лимиты вычислений существуют, но сегодня узким местом остаются энергия, память и деньги, а не запрет из термодинамики.
Оригинал рассуждения опубликован на Хабре, и его полезно прочитать целиком: там больше деталей про переход от ячеек Бенара к биологии. Относитесь к нему как к аргументированной точке зрения одного автора. AI-Manual продолжит следить за темой границ развития ИИ и за тем, какие из этих аргументов подтвердятся на практике, а какие останутся красивой теорией.