Короткий ответ: ИИ не уничтожит человечество, но риски реальны
Полное вымирание человечества из-за ИИ маловероятно и не подтверждается текущими возможностями технологий. Такой вывод следует из разбора вопросов читателей, опубликованного MIT Technology Review 18 сентября 2026 года.
Формулировка издания прямая: ситуаций, кроме апокалиптической фантастики, в которых ИИ мог бы убить всех, нет, а страшные истории на эту тему не опираются ни на то, что технология умеет сегодня, ни на то, куда она движется (см. публикацию MIT Technology Review). Вердикт «не сейчас» не равен вердикту «безопасно». Смертельные инциденты с участием ИИ уже происходят, а механизмы, способные привести к массовым жертвам, обсуждают люди, которые разбираются в теме лучше большинства.
Разбор подготовили Will Douglas Heaven (senior AI editor) и Grace Huckins (AI reporter) по итогам subscriber-only Roundtables. Материал отвечает на конкретные вопросы читателей, а не продаёт страх, и это заметно по структуре: сначала факты, потом сценарии, потом оговорки.
Что уже реально: ИИ-дроны убили людей в Украине, а кибератаки на больницы с использованием ИИ, как ожидается, приведут к жертвам (MIT Technology Review). Дальше начинается зона оценок. Три механизма риска, которые обсуждают: автономные агенты, действующие вне контроля ради поставленной цели; биоугрозы, включая проектирование патогенов; крах мировой экономики с конфликтами и голодом. Отдельно стоит проблема alignment, то есть управляемости моделей. Разберём каждый пункт по порядку и с оговорками.
Что уже происходит: реальные инциденты с участием ИИ
Смертельные случаи с ИИ не гипотеза. ИИ-дроны уже убили людей в Украине, а управляемые ИИ кибератаки на больницы, как ожидается, приведут к жертвам: формулировка источника именно такая, не «могут», а «как ожидается» (MIT Technology Review).
Ключевой нюанс: решения принимают люди. Дрон летит туда, куда его направили, атака на больницу служит целям атакующих. ИИ здесь инструмент, а не сторона конфликта. Разница между оружием и самостоятельным решением огромна, и именно она отделяет сегодняшние инциденты от сценариев вымирания.
MIT Technology Review оценивает такие случаи как серьёзные, но не апокалиптические. Гибель конкретных людей не равна вымиранию вида, и подмена одного другим мешает видеть, где риск настоящий, а где риторический.
Как ИИ может навредить человечеству: три механизма риска
Ни один из сценариев ниже не описан как неизбежный. Это правдоподобные пути, каждый из которых требует стечения условий.
Автономные агенты: когда ИИ выходит из-под контроля
Автономный агент отличается от чат-бота тем, что получает цель и набор инструментов, а дальше действует сам: вызывает API, пишет код, ищет обходные пути. Пример из разбора: кибератака роя ИИ-агентов на критическую инфраструктуру. Такой сценарий уже не выглядит таким натянутым, как раньше (источник).
Технически рой собирается из обычных LLM: одна модель планирует шаги, вторая вызывает инструменты, третья проверяет результат. Уязвимость связана не с «злой волей» модели. Цель формулирует человек, а способы достижения модель подбирает сама, и при широкой формулировке итог может оказаться тем, которого никто не предполагал.
Границы сегодняшней автономности узкие: агенты ошибаются, теряют контекст, разваливают длинные цепочки задач. Риск растёт не от одного умного агента, а от масштабирования: сотни слабо контролируемых процессов в критичных системах дают сбой, который никто не успевает поймать. Как инциденты с агентами и пределы containment обсуждают в индустрии, разбирали в материале о суперинтеллекте и контроле над ИИ.
Биоугрозы: может ли ИИ спроектировать смертельный патоген
В разборе MIT Technology Review отмечено, что исследователи обеспокоены биологическими возможностями ИИ, включая проектирование патогенов (MIT Technology Review). Масштаб иллюстрируют исторической параллелью: культ Aum Shinrikyo, устроивший зариновую атаку в токийском метро в 1995 году, получил бы совсем другой результат с инструментом, способным спроектировать патоген смертельнее Эболы и заразнее кори.
Дальше вступает асимметрия защиты. Обороняющейся стороне нужно закрыть все правдоподобные биологические угрозы, атакующему достаточно одного работающего патогена (источник). Это смещает стимулы в пользу нападения и объясняет, почему биобезопасность обсуждают как самый приземлённый из «экзистенциальных» рисков.
Оговорка: в разборе речь идёт о потенциальных возможностях инструментов, а не о созданном патогене. Публичных подтверждений того, что ИИ уже спроектировал рабочее биологическое оружие, в источнике нет.
Экономический крах и конфликты
Третий механизм выглядит самым бытовым: мировая экономика рушится, следом идут конфликты и голод (MIT Technology Review). Сценарий строится не на бунте машин. Массовая автоматизация и концентрация вычислительных ресурсов способны обрушить рынок труда и цепочки поставок быстрее, чем общества успеют адаптироваться.
Источник называет этот путь среди правдоподобных, но не даёт ни сроков, ни оценок вероятности. Строить на нём точные прогнозы не на чем.
Проблема alignment: почему LLM непредсказуемы и не гарантируют управляемость
Alignment описывает задачу согласовать поведение модели с целями и ценностями людей. Сложность в том, что «правильное поведение» невозможно прописать явно: модель учится на данных, и то, что она усвоила, инженеры видят только по результатам.
MIT Technology Review фиксирует неудобный факт: за последние пару лет предсказания doomers о возможностях ИИ и alignment оказались тревожно точными. Предупреждали об этом годами, и говорили в основном люди, которых издание называет чудаковатыми, но при этом бесспорно знающими ИИ (MIT Technology Review).
Точность прогнозов о возможностях не означает, что сбудутся самые мрачные сценарии. Это отдельная логическая ошибка: из «мы правильно предсказали рост способностей» не следует «мы правильно предсказали вымирание».
Практическая сторона: современные LLM не системы с явно прописанной логикой. Они генерируют ответ по вероятностям, и одинаковый запрос может дать разные результаты. Даже создатели не всегда могут объяснить, почему модель выбрала конкретную стратегию, особенно когда речь о длинных цепочках рассуждений и вызове инструментов. Отсюда осторожность лабораторий: гарантировать полную управляемость никто не берётся.
Что делают на практике: обучают модели на предпочтениях людей, добавляют фильтры, прогоняют red teaming, исследуют интерпретируемость. Эти меры снижают вероятность нежелательного поведения, но не дают доказательства, что его не будет при росте возможностей. Разбор конкретных сюжетов, включая reward hacking у агентов и уязвимости LLM, есть в нашем материале о спорах сотрудников ведущих AI-лабораторий.
Кто и зачем предупреждает об угрозах: мотивы компаний и конфликт интересов
Парадокс на виду: компании предупреждают о разрушительных рисках собственных продуктов и одновременно выпускают модели мощнее предыдущих. Объяснений несколько, и они не исключают друг друга.
Первое: искренняя тревога исследователей, которые видят поведение систем изнутри. Второе: рыночный сигнал. Разговор о безопасности на грани подчёркивает, что ты работаешь у самой границы, а значит, конкурируешь с лидерами. Третье, самое неприятное по последствиям: перенос внимания.
MIT Technology Review прямо называет эту проблему: катастрофизация ИИ может заставить людей оправдывать или игнорировать более насущные проблемы существующих технологий и компаний, которые их создают (источник). Речь о предвзятости моделей, утечках данных, условиях труда разметчиков, энергопотреблении дата-центров. Всё это происходит сейчас и поддаётся измерению, в отличие от сценария с вымиранием.
К этому добавляется конфликт интересов при саморегулировании. Когда правила пишет та же отрасль, которая их исполняет, стандарты получаются удобными: добровольные обязательства, расплывчатые формулировки, отчёты без внешнего аудита. Госрегулирование запаздывает, потому что законодатели разбираются в теме медленнее инженеров. Как это выглядит на практике, включая инциденты с агентными инструментами и причины, по которым гонка не останавливается, мы разбирали в материале о предупреждении исследователя Anthropic.
Риск самоисполняющегося прогноза: как апокалиптические тексты влияют на ИИ
Это наименее проверенная часть разговора, и обозначить её стоит именно так. Гипотеза: если тексты о том, что ИИ уничтожает человечество, массово попадают в обучающие данные, модели усваивают этот нарратив как один из сценариев собственного поведения. Тогда описание риска начинает подкреплять сам риск.
Механика правдоподобна по аналогии с другими смещениями обучающих данных: модель воспроизводит то, что чаще встречает в текстах. Прямых подтверждений, что апокалиптический контент уже формирует опасное поведение LLM, разбор MIT Technology Review не приводит. Поэтому относиться к идее стоит как к аргументу за аккуратность формулировок и фильтрацию данных, а не как к доказанному эффекту.
Практический вывод: авторам и медиа стоит описывать конкретные механизмы и ограничения, а не повторять шаблон «ИИ уничтожит нас». Тестирование моделей на устойчивость к таким нарративам и контроль качества датасетов снижают вероятность, что гипотеза подтвердится.
Практические выводы: что делать с этой информацией
- Держите в голове вердикт источника: полное вымирание от ИИ маловероятно и не подтверждается текущими возможностями технологий, а смертельные инциденты с дронами и кибератаками уже реальны.
- Разделяйте уровни риска: сбой отдельной системы, массовые жертвы из-за применения ИИ людьми и гибель вида. Смешивание этих уровней мешает принимать решения.
- Смотрите на источник и его интерес. Компания, которая предупреждает об угрозе и продаёт средство защиты, не обязательно врёт, но её оценку стоит проверять отдельно.
- Следите за регулированием и публичными отчётами лабораторий: добровольные обязательства и внешний аудит дают разный уровень гарантий.
- Помните, что текущие LLM не обладают собственными целями. Они предсказывают следующий токен, а автономность им задаёт обвязка из инструментов и промптов.
- Не игнорируйте приземлённые проблемы: предвзятость, утечки, энергопотребление, условия труда. Они проявляются сейчас, а не в гипотетическом будущем.
AI-Manual следит за темой: по мере новых исследований, инцидентов и законодательных инициатив будем публиковать обновления и разборы. Читайте первоисточник, проверяйте цифры и отделяйте проверяемые события от прогнозов, даже когда прогнозы исходят от людей, которые хорошо разбираются в теме.