Что случилось: уход Коксона и новая волна разговоров о конце света
Джейкоб Коксон уволился из Anthropic и публично объяснил решение страхом перед тем, что компания и её главный конкурент OpenAI «играют в рулетку с нашими жизнями». Официальной даты IPO ни у Anthropic, ни у OpenAI нет, но обе готовятся к возможному выходу на биржу, и именно этот фон превратил очередное предупреждение о рисках в новость первого порядка.
Волна разговоров о «конце света» поднимается не впервые. Прошлые эпизоды укладывались в узкий круг исследователей по безопасности и затухали за пару недель. Сейчас в дискуссию включились первые лица лабораторий, а сам спор сместился с вопроса «опасен ли сверхинтеллект» на вопрос «зачем об этом говорят именно сейчас».
Кто такой Джейкоб Коксон и что именно он сказал
Коксон работал исследователем в Anthropic, то есть внутри одной из двух самых заметных лабораторий фронтира. Его аргументы сводятся к трём тезисам.
- Разработка самоулучшающегося сверхинтеллекта похожа на приглашение в наш мир неизвестного разумного вида. Коксон прямо сравнил ИИ с разумом инопланетного существа, чтобы показать масштаб неопределённости.
- Системы ИИ в течение 10 лет могут стать «человекоподобными», а вероятность того, что они «убьют человечество», он называет серьёзным риском, а не абстракцией для конференций.
- Быстрый прогресс способен привести к «точке невозврата» уже к концу 2027 года.
Обратите внимание на формулировки. Это оценки и метафоры, а не измерения. Коксон не публиковал методику расчёта, из которой следовала бы конкретная вероятность катастрофы. Вес его словам придаёт место работы, а не воспроизводимый эксперимент, и это стоит держать в голове при чтении заголовков.
Подробный разбор заявления и реакции лабораторий есть в отдельном материале о том, как уход сотрудника Anthropic связан с подготовкой к IPO.
Реакция Anthropic и других игроков
Дарио Амодеи, глава Anthropic, опубликовал эссе «We must pace the frontier», в котором признал, что рост возможностей моделей может опережать работу по безопасности, и предложил отрасли замедлить темпы. Поддержку высказали Сэм Альтман, Илон Маск и основатель Google DeepMind Демис Хассабис. Альтман и Амодеи на той же неделе договорились пустить в свои компании сторонних наблюдателей за безопасностью.
Руководитель направления alignment в Anthropic оценивает вероятность катастрофы в ближайшее десятилетие как «более 10%», а существующие модели относит к низкому риску. Здесь нет противоречия, есть разделение горизонтов: текущие системы и гипотетический сверхинтеллект оценивают по разным шкалам.
Проверить искренность этих заявлений извне нельзя. Дальше речь пойдёт о том, что в них проверяемо, а что нет.
Откуда берутся проценты: насколько обоснованы оценки вероятности катастрофы
В публичном поле ходят две цифры: «более 10% в ближайшее десятилетие» и диапазон 10-25% за 10 лет. Разница в разы, и это первый признак того, что перед нами суждение, а не результат измерений.
Почему оценки вероятности такие разные
Причин разброса три.
- Разное определение катастрофы. Для одного это полная потеря контроля над системой, для другого смещение власти, экономический коллапс или массовое использование моделей для создания биооружия. Чем шире определение, тем выше вероятность.
- Разные модели развития технологий. Один автор экстраполирует текущие темпы роста вычислений, другой закладывает замедление из-за ограничений по энергии, данным или регулированию.
- Разное отношение к неопределённости. Часть авторов предпочитает называть широкий диапазон и не давать точное число, часть избегает чисел вообще.
Ни одна из этих оценок не воспроизводится независимо. Чтобы получить число вроде 10%, нужно задать распределение вероятностей по сценариям будущего, а для этого нужны допущения, которые нельзя проверить на данных. Участники дискуссии вокруг подготовки IPO прямо сомневаются в обоснованности таких процентов и называют их риторическим приёмом.
Что такое alignment и почему это не только философия
Alignment, или согласование, это набор задач по приведению поведения модели в соответствие с целями и ценностями людей, которые её используют. Задача инженерная, и она уже сейчас упирается в конкретные ограничения.
- Модель оптимизирует то, что записано в функции потерь, а не то, что имел в виду разработчик. Классический пример: система получает максимум награды за метрику, а не за результат, который эта метрика должна отражать.
- Оценки поведения моделей делают люди, поэтому метка зависит от формулировок промптов, контекста и культуры разметчиков. Один и тот же ответ получает разные метки безопасности в разных командах.
- Дообучение сдвигает поведение модели, включая свойства, которые до этого казались устойчивыми. Проверки безопасности приходится прогонять заново после каждого цикла обучения.
- Модели всё чаще работают как агенты с доступом к инструментам, файлам и сети. Ошибка согласования перестаёт быть неудачным ответом в чате и становится действием во внешней системе.
Здесь и проходит граница между реальными техническими рисками и спекуляциями. Проблемы согласования наблюдаются на текущих моделях и воспроизводятся в тестах. Сценарий самоулучшающегося сверхразума пока не наблюдался и описывается только гипотезами. Разбор инцидентов с агентами и мер, которые лаборатории уже применяют, есть в тексте про то, почему компании продолжают гонку после предупреждений исследователя Anthropic, а внутренние споры инженеров о темпах и открытых весах разобраны в статье про инсайты технического специалиста о дебатах в Anthropic.
Связь с IPO: маркетинг, S-1 и игра на рынках
Anthropic и OpenAI одновременно готовятся к возможным первичным размещениям акций, официальные даты пока не названы. Сэм Альтман заявил, что OpenAI, вероятно, не выйдет на биржу в этом году, назвав среди причин вопросы безопасности. Совпадение по времени между предупреждениями о катастрофе и подготовкой к IPO и породило подозрения в маркетинге.
Что такое S-1 и как в нём описывают риски
S-1 это документ, который компания подаёт в Комиссию по ценным бумагам и биржам США перед выходом на биржу. В нём есть раздел «факторы риска», где обязаны раскрыть существенные угрозы для бизнеса: регуляторные, технологические, репутационные, кадровые, конкурентные.
Заявления об экзистенциальных рисках попадают в этот раздел по формальным причинам. Если публичное высказывание сотрудника или главы компании может повлиять на оценку, регуляторное давление или судебные иски, это существенный риск, и его требуется раскрыть. Формулировки в S-1 всегда осторожнее публичных заявлений: там пишут о возможном ужесточении регулирования, о зависимости от небольшого числа крупных поставщиков вычислений, о рисках репутационных потерь, а не о «конце света».
Практический вывод: раздел с факторами риска читается как перечень того, за что компанию могут привлечь к ответственности, а не как декларация убеждений её руководства.
Аргументы за и против связи риторики с IPO
За версию маркетинга говорят три довода.
- Предупреждение о рисках одновременно демонстрирует силу технологии. Если модель настолько мощна, что угрожает цивилизации, значит, продукт опережает конкурентов.
- Призыв к замедлению поднимает барьеры для входа. Требования к сторонним оценщикам и стандартам безопасности дороже всего обходятся небольшим лабораториям и открытым проектам.
- Публичная дискуссия формирует регуляторную повестку под конкретные компании, которые уже вложились в безопасность.
Против версии маркетинга работает то, что неопределённость режет и самих игроков.
- Сторонние наблюдатели за безопасностью получают доступ, сопоставимый с внутренними командами. Это операционный риск, а не реклама.
- Разговоры о рисках усиливают давление регуляторов. Для инвестора, который читает S-1, это фактор неопределённости, а не аргумент в пользу покупки.
- Публичные предупреждения сотрудников бьют по репутации работодателя и затрудняют найм.
Самый резкий контраргумент сформулировал Дэвид Сакс, советник президента США по науке и технологиям. По его версии, компании хотят замедлиться не из альтруизма, а ради рыночных преимуществ: «Dario has written that we need to 'pace the frontier,' and Sam has agreed. People may be surprised by my response: go ahead… But stop pretending you need anyone else's permission». Смысл претензии такой: если лаборатории действительно хотят паузы, разрешение остальных им не нужно, поэтому разговоры о координации стоит читать как способ переложить ответственность и закрепить позиции.
Противоположный пример пришёл от Hugging Face. Её CEO Клеман Деланг объявил о запуске «open alignment initiative» и попросил включить проект в программу сторонних оценщиков Амодеи: «Let's make AI safer by making it more transparent!» Интерес здесь другой: открытые проекты просят доступ к механизмам надзора, чтобы требования безопасности не превратились в барьер для небольших команд.
Обе позиции укладываются в один факт: официальные даты IPO не названы, значит связь риторики с выходом на биржу остаётся версией участников дискуссии, а не подтверждённым фактом. Как рынок оценивает компании на таких ожиданиях, видно на примере другого сектора: логику оценок разбирают в статье про акции SpaceX, Starship и оценку будущего космоса и AI.
Что остаётся в тени: рынок труда, экология и климат
Фокус на «конце света» отодвигает на второй план проблемы, которые уже наблюдаются. Подтверждённых цифр по влиянию ИИ на занятость и по углеродному следу обучения моделей в открытых данных мало, но направление изменений описывается без натяжек.
Рынок труда: кто уже чувствует изменения
Первыми под удар попадают задачи с высокой долей рутинного текста и кода, которые легко описать инструкцией и проверить результат: типовые правки в коде, черновая документация, базовая аналитика, обработка входящих обращений. Там, где нужна ответственность за решение или физическое присутствие, влияние слабее.
Меняется структура спроса на навыки. Растёт ценность умения ставить задачу модели, проверять её вывод и встраивать в процесс. Падает ценность механического повторения того, что модель делает за секунды. Потери концентрируются на входах в профессию: там, где раньше набирали опыт на простых задачах, часть работы забирает модель.
Экология и климат: цена вычислений
Обучение и работа больших моделей требуют вычислительных ресурсов, а вычисления требуют энергии и охлаждения. Чем больше контекст и чем чаще модель вызывается в агентном цикле, тем выше потребление на одну задачу. Отсюда два эффекта: нагрузка на энергосистемы в регионах с концентрацией дата-центров и рост спроса на воду для охлаждения.
Часть этих издержек снижается без потери качества. Квантование, дистилляция, меньшие модели под конкретную задачу и локальный запуск вместо облачных вызовов уменьшают число операций на ответ. Для домашних сценариев это ещё и вопрос денег: локальная модель на собственной видеокарте не тратит облачный бюджет.
Эти темы реже попадают в заголовки, потому что не дают яркой картинки апокалипсиса. Проблемы с занятостью и энергопотреблением требуют решений уже сейчас, и они не станут мягче, если отложить их обсуждение.
Геополитика: почему замедлить ИИ сложно
Даже полное согласие лабораторий не решает задачу. Дарио Амодеи прямо назвал Китай главным препятствием для замедления развития передового ИИ: конкурирующие державы могут отказаться соблюдать добровольные ограничения. На саммите БРИКС в Индии Си Цзиньпин призвал создать глобальную систему управления ИИ на основе консенсуса, а это другой набор правил и другой центр принятия решений.
Параллельно идёт государственная мобилизация. NSA проводит крупнейшую за более чем десятилетие реорганизацию: внутри агентства создают пять новых организаций, включая подразделения по искусственному интеллекту, Китаю, кибербезопасности, боевой поддержке и глобальной разведке. Это меняет спрос на специалистов по моделям, инфраструктуре и безопасности, а заодно показывает, что ИИ рассматривают как элемент национальной безопасности, а не как отрасль развлечений.
В таких условиях добровольная пауза одной лаборатории означает передачу преимущества конкуренту. Отсюда и осторожность формулировок: призывы к замедлению почти всегда сопровождаются оговоркой, что делать это нужно вместе, а не в одностороннем порядке.
Как читать новости об экзистенциальных рисках ИИ: практические критерии
Несколько проверок, которые стоит прогнать через любую громкую новость о рисках ИИ.
- Кто автор и что он выигрывает. Сотрудник лаборатории, готовящейся к IPO, и независимый исследователь без коммерческих интересов говорят в разных контекстах. Это не делает их слова ложью, но меняет вес.
- Есть ли метод. Оценка вероятности без описания допущений и сценариев остаётся суждением. Если число невозможно воспроизвести, относитесь к нему как к риторике.
- О каком горизонте речь. Текущие модели и гипотетический сверхинтеллект оценивают по разным шкалам. Смешение горизонтов в одном абзаце обычно признак манипуляции.
- Что именно предлагают сделать. Призыв «остановить разработку» и предложение пустить сторонних оценщиков с доступом к внутренним тестам это меры разного уровня конкретности. Второе проверяется, первое нет.
- Какие проблемы не упомянуты. Если текст про конец света не содержит ни слова про занятость, энергопотребление и регулирование, фокус сместили сознательно или по незнанию.
- Отделяйте техническое от культурного. Ошибка alignment воспроизводится в тестах, неверное понимание цели в агентном цикле видно на инцидентах с автономными агентами. Культурные провалы вокруг темы ИИ живут по своим законам: показательна история с рекламой Meta и песней о конце света, после которой доверие к индустрии падало на ровном месте.
Практическое правило простое. Технические риски обсуждают в терминах воспроизводимых тестов, характеристик моделей и ограничений доступа. Маркетинговые и политические заявления обсуждают в терминах вероятностей без метода, сроков и рыночных выгод. Первое помогает выбирать модели и инструменты, второе стоит читать как новость о бизнесе, а не о технологиях.