В своём первом подробном интервью после основания Safe Superintelligence Inc. (SSI) Илья Суцкевер - легендарный исследователь, соавтор архитектуры трансформера и бывший главный научный сотрудник OpenAI- поделился радикальными взглядами на природу машинного интеллекта, эволюцию обучения и путь к безопасному искусственному суперинтеллекту (ИСИ). Мы собрали самые провокационные инсайды из трёхчасовой беседы.

Суцкевер выделяет три ключевых периода в развитии ИИ:
«От 2012 до 2020 года - это была эпоха исследований. От 2020 до 2025 - эпоха масштабирования. А сейчас мы возвращаемся к исследованиям, только с гораздо большими компьютерами».

Инсайд: Слово «масштабирование» (scaling) стало настолько мощным инструментом языкового влияния на мышление, что «высосало весь воздух из комнаты» - все компании начали делать одно и то же. Но сейчас, когда вычислительные мощности достигли критической массы, преимущество вновь перейдёт к тем, кто найдёт фундаментально новые подходы.

Ключевой тезис: Простое увеличение параметров, данных и вычислений уже не принесёт прорыва. Как отмечает Суцкевер: «Если бы мощности были больше в тысячу раз - всё было бы иначе, но не трансформировано. Мы вернёмся к состоянию, где важны идеи, а не только ресурсы».

RL (Reinforcement Learning ) - обучение с подкреплением считается одним из трех основных путей к созданию сильного ИИ. Но трудности, с которыми сталкивается эта область машинного обучения, и методы, которыми ученые пытаются бороться с этими трудностями, наводят на мысль что, возможно, с самим этим подходом имеются фундаментальные проблемы.

Одна из самых тревожных проблем современных моделей - неспособность стабильно исправлять собственные ошибки при обучении с подкреплением (RL):
«Ты говоришь модели: „Исправь этот баг“. Модель отвечает: „Боже мой, ты так прав!“ - и выпускает второй баг. Ты указываешь на новый баг - она возвращает первый. И так по кругу. Это просто невозможно объяснить традиционными моделями обучения».

Причины феномена:

• Узкая фокусировка после RL-тренинга: Модель становится «слишком единомысленной», теряя гибкость мышления.
• Бедность условий обучения: Компании добавляют в тренировочный микс лишь новые «условия» (conditions), не продумывая их разнообразие системно.
• Отсутствие функций ценности (value functions): Модель получает обратную связь только в конце задачи, а не на каждом шаге мышления.

Решение Суцкевера: Внедрение продвинутых функций ценности, которые позволят модели оценивать качество своих промежуточных решений - как человек, который понимает: «Этот путь ведёт в тупик» - ещё до того, как дойдёт до конца.

Суцкевер проводит провокационную аналогию между обучением ИИ и человеческим развитием:
«Представьте двух студентов. Первый потратил тысячи часов на решение олимпиадных задач по программированию - стал чемпионом. Второй практиковался всего сотню часов. Кто лучше справится с реальной работой программиста? Скорее всего, второй - потому что его навыки генерализуются».

• ✅ Сила: Огромный объём данных даёт модели «бесплатные» 10 000 часов практики по множеству дисциплин.
• ❌ Слабость: Невозможно понять, какие именно данные формируют конкретное поведение модели. «Предобучение очень трудно анализировать, потому что модель опирается на данные непрозрачным образом».

Революционная идея: Вместо того чтобы генерировать всё больше узкоспециализированных задач для RL, нужно брать вдохновение у эволюции - создавать условия, где модель учится адаптироваться, а не просто оптимизировать под конкретную метрику.

Суцкевер выделяет фундаментальное различие между людьми и ИИ:
«Ребёнок учится водить машину за 10–60 часов практики. Модели требуют миллионов примеров для освоения даже простых навыков. Но дело не в „предустановках“ эволюции - в языке, математике и кодировании у людей нет врождённых преимуществ. Дело в качестве обучения».

Три ключевых преимущества человеческого обучения:

1. Робастность: Люди обобщают знания на радикально новые ситуации.
2. Несупервизированность: Ребёнок учится через взаимодействие с миром, а не через верифицированные метки.  Развитие происходит через активное взаимодействие со средой, а не через пассивное потребление информации.
3. Внутренние функции ценности: У нас есть встроенные эмоции и интуиция, которые служат «компасом» при принятии решений без внешней награды.

Провокационный вывод: «Если люди проявляют выдающиеся способности в сферах, которые не существовали до последних тысячелетий (кодирование, абстрактная математика), это доказывает: у нас есть фундаментальные принципы машинного обучения, которые мы ещё не понимаем».

Суцкевер критикует распространённое представление об ИИ как о системе, которая «знает всё»:
«Мы не должны строить суперинтеллект, который сразу умеет выполнять любую работу. Мы должны создать супер-эффективный алгоритм обучения - „пятнадцатилетнего“, который может стать программистом, врачом или учёным, обучаясь на практике».

Два пути к суперинтеллекту:

• Путь 1: Рекурсивное самосовершенствование - алгоритм учится улучшать сам себя.
• Путь 2 (более вероятный): Массовое развёртывание агентов, которые учатся на реальных задачах в экономике, а затем объединяют свои знания.

«Даже без рекурсивного самосовершенствования - если у вас есть миллионы инстансов модели, которые одновременно осваивают все профессии человечества и обмениваются опытом - вы получите функциональный суперинтеллект».

Важное уточнение:
Суцкевер подчёркивает, что безопасность первых интеллектуальных систем требует, чтобы они обладали эмпатией ко всей сентиентной жизни - не только к людям, но и ко всем существам, способным чувствовать и субъективно переживать. Эмпатия здесь - не просто эмоциональная реакция, а фундаментальная адаптация, позволяющая распознавать сигналы страдания и дискомфорта у других. Такой подход вытекает изсентиоцентризма: мораль должна учитывать интересы всех чувствующих существ, а не только человека. Без этой способности система рискует причинять вред непреднамеренно, игнорируя то, что лежит вне её узкой функциональной цели. Поэтому эмпатия становится не опцией, а необходимым условием истинной безопасности.

«Это необходимое условие для моделирования других существ так же эффективно, как мы моделируем самих себя».

В отличие от других фронтовых лабораторий, SSI делает ставку на долгосрочные исследования:
«Мы сейчас сфокусированы исключительно на исследованиях. Ответ на вопрос „как мы заработаем деньги?“ раскроется сам собой - когда у нас будет технологическое превосходство».

Ключевые отличия подхода SSI:

• Отказ от гонки за краткосрочными продуктами в пользу фундаментальных прорывов в генерализации.
• Акцент на «понимании надёжной генерализации» как главной нерешённой задаче ИИ.
• Убеждённость, что текущие методы «пройдут определённое расстояние, а затем иссякнут» - нужен принципиально новый подход.

Реалистичный прогноз Суцкевера:

• «Появление систем, способных учиться как люди, ожидается через 5-20 лет. Но когда прорыв случится - все компании быстро конвергируют к единой стратегии безопасности».

«Мы сейчас сфокусированы исключительно на исследованиях. Ответ на вопрос „как мы заработаем деньги?“ раскроется сам собой - когда у нас будет технологическое превосходство».

Ключевые отличия подхода SSI:

• Отказ от гонки за краткосрочными продуктами в пользу фундаментальных прорывов в генерализации.
• Акцент на «понимании надёжной генерализации» как главной нерешённой задаче ИИ.
• Убеждённость, что текущие методы «пройдут определённое расстояние, а затем иссякнут» - нужен принципиально новый подход.

Реалистичный прогноз Суцкевера:
«Появление систем, способных учиться как люди, ожидается через 5-20 лет. Но когда прорыв случится - все компании быстро конвергируют к единой стратегии безопасности».

Одна из самых глубоких идей интервью - связь между человеческими эмоциями и архитектурой ИИ:
«Эмоции - это то, как эволюция реализовала функции ценности. Когда у человека повреждён эмоциональный центр мозга, он не может принимать решения - часами выбирает носки. Это показывает: эмоции делают нас эффективными агентами».

Парадокс эволюции: Как геном «зашивает» сложные социальные желания (любовь, стремление к признанию), если у них нет простого сенсорного триггера вроде запаха еды?

Суцкевер признаёт: 
«Я не знаю хорошей гипотезы, как это работает. Это намного сложнее, чем подключить дофамин к обонятельному рецептору. Возможно, эволюция как-то кодирует локации в мозге для высоких концепций - но люди с удалённой половиной мозга всё равно сохраняют социальные эмоции. Загадка остаётся».

Вывод для ИИ:
Создание ИИ с «внутренним компасом» - не роскошь, а необходимость для безопасного суперинтеллекта. Без функций ценности, аналогичных эмоциям, система будет либо неэффективной, либо непредсказуемой.

«Мы говорим о системах, которых ещё не существует. Их трудно вообразить - как людям 2010 года было трудно представить сегодняшний ИИ. Но когда ИИ начнёт ощущаться мощным - все компании станут гораздо более параноидальными в вопросах безопасности. Показать миру реальный прогресс - иногда лучший способ ускорить ответственное развитие».

Для создания обзора эксклюзивного интервью с Ильёй Суцкевером о будущем суперинтеллекта от 25 нояб. 2025 г., я использовал транскрибацию аудио в текст от сервиса Таймлист с последующей аналитической обработкой.

Ссылка на видео на английском: https://www.youtube.com/watch?v=aR20FWCCjAs