Сверхразум и мягкая сингулярность

Мы прошли горизонт событий; взлет начался. Человечество близится к созданию цифрового сверхразума, и, по крайней мере, пока, это гораздо менее странно, чем кажется.

Роботы еще не ходят по улицам, и большинство из нас не разговаривают с ИИ весь день. Люди по-прежнему умирают от болезней, мы по-прежнему не можем легко полететь в космос, и есть многое о Вселенной, чего мы не понимаем.

И все же недавно мы создали системы, которые во многих отношениях умнее людей и способны значительно увеличить производительность людей, которые их используют. Самая сложная часть работы уже позади; научные открытия, которые привели нас к таким системам, как GPT-4 и o3, были достигнуты с большим трудом, но они позволят нам продвинуться очень далеко.

ИИ внесет свой вклад в мир во многих отношениях, но прежде всего — выгоды для качества жизни от ускорения научного прогресса и повышения производительности труда благодаря ИИ будут огромны; будущее может быть намного лучше, чем настоящее. Научный прогресс является главным двигателем общего прогресса; очень интересно подумать о том, как много мы еще можем достичь.

Сотни миллионов людей полагаются на него каждый день для выполнения все более важных задач; небольшая новая возможность может иметь огромное положительное влияние; небольшое несоответствие, умноженное на сотни миллионов людей, может иметь огромное негативное влияние.

В 2025 году появились программные агенты, способные выполнять реальную когнитивную работу; написание компьютерного кода больше не будет прежним. В 2026 году, вероятно, появятся системы, способные выявлять новые идеи. В 2027 году могут появиться роботы, способные выполнять задачи в реальном мире.

Множество людей смогут создавать программное обеспечение и искусство. Но мир хочет гораздо большего в этих областях, и эксперты, вероятно, по-прежнему будут намного лучше новичков, если они будут использовать новые инструменты. В целом способность одного человека сделать в 2030 году гораздо больше, чем в 2020 году, будет поразительным изменением, и многие люди поймут, как извлечь из этого выгоду.

В самых важных аспектах 2030-е годы, возможно, не будут сильно отличаться от предыдущих. Люди по-прежнему будут любить свои семьи, проявлять свою креативность, играть в игры и купаться в озерах.

Но в некоторых очень важных аспектах 2030-е годы, вероятно, будут сильно отличаться от любого предыдущего периода. Пока мы не знаем, насколько мы сможем превзойти интеллект человека, — но скоро это узнаем.

В 2030-х годах интеллект и энергия — идеи и способность воплощать идеи в жизнь — станут чрезвычайно доступными. Долгое время эти два фактора были основными ограничителями прогресса человечества; с достаточным интеллектом и энергией (а также эффективным управлением) мы теоретически можем получить все, что угодно.

Уже сейчас мы живем в мире невероятного цифрового интеллекта, и после первоначального шока большинство из нас вполне к этому привыкли. Очень быстро мы переходим от удивления тем, что ИИ может создать прекрасно написанный абзац, к вопросу, когда он сможет создать прекрасно написанный роман; или от удивления тем, что он может ставить спасающие жизнь медицинские диагнозы, к вопросу, когда он сможет разработать лекарства; или от удивления тем, что он может создать небольшую компьютерную программу, к вопросу, когда он сможет создать совершенно новую компанию. Так происходит сингулярность: чудеса становятся рутиной, а затем — обычным делом.

Передовой ИИ интересен по многим причинам, но, пожалуй, самое важное тут тот факт, что мы можем использовать его для более быстрого исследования ИИ. Возможно, мы сможем открыть новые вычислительные субстраты, лучшие алгоритмы и кто знает, что еще. Если мы сможем провести исследования, занимавшие десятилетия, за год или месяц, то темпы прогресса, очевидно, будут совсем другими.

С этого момента инструменты, которые мы уже создали, помогут нам найти новые научные идеи и создать более совершенные системы ИИ. Конечно, это не то же самое, что система ИИ, полностью автономно обновляющая свой собственный код, но тем не менее это зародышевая версия рекурсивного самосовершенствования.

Существуют и другие самоусиливающиеся циклы. Создание экономической ценности запустило цепную реакцию построения сложной инфраструктуры для работы этих все более мощных систем ИИ. И роботы, которые могут строить других роботов (и в некотором смысле дата-центры, которые могут строить другие дата-центры), не так уж далеки.

Если нам придется изготовить первый миллион гуманоидных роботов старым способом, но затем они смогут сами управлять всей цепочкой поставок — добывать и перерабатывать полезные ископаемые, водить грузовики, управлять заводами и т. д., — для создания большего количества роботов, которые смогут строить еще больше заводов по производству микросхем, центров обработки данных и т. д., то темпы прогресса, очевидно, будут совсем другими.

По мере автоматизации производства в дата-центрах стоимость интеллектуальных технологий в конечном итоге должна приблизиться к стоимости электроэнергии. (Люди часто интересуются, сколько энергии потребляет запрос chatgpt; средний запрос потребляет около 0,34 ватт-часа, что примерно соответствует энергии, потребляемой духовкой за чуть более одной секунды или высокоэффективной лампочкой за пару минут. Он также потребляет около 0,000085 галлона воды, что примерно соответствует одной пятнадцатой чайной ложки.)

Темпы технологического прогресса будут продолжать ускоряться, и люди по-прежнему будут способны адаптироваться практически ко всему. Будут очень сложные моменты, такие как исчезновение целых категорий профессий, но, с другой стороны, мир будет становиться настолько богаче так быстро, что мы сможем серьезно рассматривать новые политические идеи, которые раньше были для нас недоступны. 

Если история может служить нам ориентиром (смена профессий после промышленной революции — хороший недавний пример), то мы найдем новые занятия и новые желания и быстро освоим новые инструменты. Ожидания будут расти, но возможности будут расти столь же быстро — мы все получим лучшее будущее. Мы будем создавать друг для друга все более замечательные вещи. У людей есть важное и любопытное преимущество перед ИИ: мы запрограммированы заботиться о других людях, о том, что они думают и делают, а машины нас не очень интересуют.

Сельский житель, живший тысячу лет назад, посмотрел бы на то, чем занимаются многие из нас, и сказал бы, что у нас фальшивые профессии, и подумал бы, что мы просто играем в игры, чтобы развлечься, поскольку у нас есть много еды и невообразимая роскошь. Я надеюсь, что мы посмотрим на профессии через тысячу лет и подумаем, что они очень фальшивые, но я не сомневаюсь, что они будут казаться невероятно важными и приносящими удовлетворение людям, которые ими занимаются.

Темпы достижения новых чудес будут огромными. Сегодня даже трудно представить, что мы откроем к 2035 году; может быть, в один год мы решим проблемы физики высоких энергий, а в следующий начнем колонизацию космоса; или в один год мы сделаем прорыв в материаловедении, а в следующий создадим настоящие интерфейсы мозг–компьютер с высокой пропускной способностью. Многие люди будут жить так же, как и раньше, но, по крайней мере, некоторые, вероятно, решат «подключиться».

Такое будущее трудно представить. Пережить это будет не просто, но вполне посильно. С релятивистской точки зрения сингулярность происходит постепенно, а слияние происходит медленно. Мы поднимаемся по длинной дуге экспоненциального технологического прогресса; она всегда выглядит вертикальной, если смотреть вперед, и плоской, если смотреть назад, но на самом деле это одна плавная кривая. (Вспомните 2020 год и то, как бы тогда звучало заявление о том, что к 2025 году появится нечто похожее на AGI*, по сравнению с тем, как на самом деле прошли последние пять лет.)

Наряду с огромными преимуществами существуют серьезные проблемы, с которыми необходимо справиться. Нам действительно нужно решить вопросы безопасности как с технической, так и с социальной точки зрения, но затем, учитывая экономические последствия, крайне важно открыть широкий доступ к суперинтеллекту. Лучший путь вперед может быть примерно таким:

1. Решить проблему согласования, то есть надежно гарантировать, что системы ИИ будут учиться и действовать в соответствии с тем, чего мы действительно хотим в долгосрочной перспективе (ленты социальных сетей являются примером несогласованного ИИ; алгоритмы, которые их питают, невероятно эффективны в том, чтобы заставить вас продолжать прокручивать ленту и четко понимать ваши краткосрочные предпочтения, но они делают это, используя что-то в вашем мозгу, что перекрывает ваши долгосрочные предпочтения).
2. Затем сосредоточиться на том, чтобы сделать сверхинтеллект дешевым, широкодоступным и не слишком сконцентрированным в руках какого-либо человека, компании или страны. Общество устойчиво, креативно и быстро адаптируется. Если мы сможем использовать коллективную волю и мудрость людей, то, хотя мы и будем делать много ошибок, и некоторые вещи пойдут действительно не так, как хотелось бы, мы все равно будем быстро учиться и адаптироваться и сможем использовать эту технологию, чтобы получить максимальные преимущества и минимальные недостатки. 

Мы (вся отрасль, а не только OpenAI) создаем мозг для всего мира. Он будет чрезвычайно персонализированным и простым в использовании для всех; нас будут ограничивать только хорошие идеи. Долгое время технические специалисты в стартап-индустрии высмеивали «идейщиков» — людей, у которых была идея и которые искали команду для ее реализации. Теперь мне кажется, что их час пробил.

OpenAI сейчас — это многое, но прежде всего мы — компания, занимающаяся исследованиями в области сверхинтеллекта. Перед нами много работы, но большая часть пути уже освещена, а темные участки быстро исчезают. Мы чрезвычайно благодарны за то, что можем заниматься тем, чем занимаемся.

Интеллект, который слишком дешев, чтобы его нужно было оценивать, вполне достижим. Это может показаться безумным, но если бы мы сказали вам в 2020 году, что будем там, где находимся сегодня, это, вероятно, прозвучало бы еще более безумным, чем наши текущие прогнозы на 2030 год.

Давайте плавно, экспоненциально и без происшествий продвигаться к суперинтеллекту.

Сэм Альтман

* Аrtificial general intelligence — универсальный ИИ, способный решать любые задачи.