Как ИИ изменит мир?

thumbnailUrl

How will AI change the world?

Explore the current limitations of artificial intelligence and the possibility of creating human-compatible technology. -- In the coming years, artificial intelligence is probably going to change your life— and likely the entire world. But people have…Как ИИ изменит мир? - 3927758

PT5M

True

2022-12-06T20:44:25+03:00

embedUrl

Источник

В ближайшие годы искусственный интеллект, вероятно, изменит вашу жизнь и, вероятно, весь мир. Но людям трудно договориться о том, как именно. Ниже приведены выдержки из интервью, в котором известный профессор компьютерных наук и эксперт по искусственному интеллекту Стюарт Рассел помогает отделить смысл от чепухи.



Есть большая разница между тем, чтобы попросить человека что-то сделать, и тем, чтобы поставить это в качестве цели системе ИИ. Когда вы просите человека принести вам чашку кофе, вы не имеете в виду, что это должно быть миссией его жизни, и ничто другое во вселенной не имеет значения. Даже если им придется убить всех остальных в Starbucks, чтобы принести вам кофе до того, как он закроется, они должны это сделать. Нет, это не то, что вы имеете в виду. Все остальное, о чем мы заботимся друг о друге, должно учитываться и в вашем поведении.



И проблема с тем, как мы сейчас создаем системы ИИ, заключается в том, что мы ставим перед ними фиксированную цель. Алгоритмы требуют от нас указать все в цели. А если вы скажете, можем ли мы исправить закисление океанов? Да, у вас может быть каталитическая реакция, которая делает это очень эффективно, но она потребляет четверть кислорода в атмосфере, что, по-видимому, заставит нас умереть довольно медленно и неприятно в течение нескольких часов.



Итак, как нам избежать этой проблемы? Вы можете сказать: «Хорошо, но поаккуратнее указывайте цель — не забывайте об атмосферном кислороде». А потом, конечно, какой-то побочный эффект реакции в океане отравляет всю рыбу. Ладно, я имел в виду и не убивать рыбу. А потом, а как же водоросли? Не делайте ничего, что приведет к гибели всех водорослей. И так далее и тому подобное.



И причина того, что мы не должны делать этого с людьми, заключается в том, что люди часто знают, что они не знают всего того, что нас волнует. Если вы попросите человека принести вам чашку кофе, а вы оказались в отеле «Жорж Санд» в Париже, где кофе стоит 13 евро за чашку, вполне разумно вернуться и сказать, ну, это 13 евро, ты уверен, что хочешь его, или я мог бы пойти в соседний дом и взять его? И это совершенно нормальное поведение человека. Чтобы спросить, я собираюсь перекрасить ваш дом — ничего, если я сниму водосточные трубы, а затем поставлю их обратно? Мы не думаем об этом как о чем-то очень сложном, но в системах ИИ этого нет, потому что то, как мы их строим сейчас, они должны знать полную цель. Если мы создадим системы, которые знают, что они не знают, какова цель, тогда они начнут демонстрировать такое поведение, например спрашивать разрешения, прежде чем избавиться от всего кислорода в атмосфере.



Во всех этих смыслах контроль над системой ИИ исходит из неуверенности машины в том, какова истинная цель. И когда вы строите машины, которые с уверенностью верят, что у них есть цель, вот тогда вы и получаете такого рода психопатическое поведение. И я думаю, что мы видим то же самое у людей.



Что произойдет, когда ИИ общего назначения ударит по реальной экономике? Как все меняется? Можем ли мы адаптироваться? Это очень старый момент. Удивительно, но у Аристотеля действительно есть отрывок, где он говорит: смотрите, если бы у нас были полностью автоматизированные ткацкие станки и медиаторы, которые могли бы щипать лиру и воспроизводить музыку без участия человека, тогда нам не понадобились бы рабочие.



Эта идея, которую, я думаю, Кейнс назвал технологической безработицей в 1930 году, очень очевидна для людей. Они думают: да, конечно, если машина будет работать, я останусь без работы.



Вы можете подумать о складах, которые компании в настоящее время используют для электронной коммерции, они наполовину автоматизированы. Это работает следующим образом: на старом складе, где повсюду свалены тонны вещей, а люди ходят и роются, а затем возвращают и отправляют, есть робот, который идет и забирает стеллаж. который содержит то, что вам нужно, но человек должен взять объект из мусорного ведра или с полки, потому что это все еще слишком сложно. Но в то же время, вы бы сделали робота, который был бы достаточно точен, чтобы быть в состоянии выбрать практически любой предмет из очень большого разнообразия предметов, которые вы можете купить? Это одним махом устранило бы 3 или 4 миллиона рабочих мест?



Есть интересная история, написанная Э. М. Форстером, в которой все полностью зависят от машины. История действительно о том, что если вы передадите управление своей цивилизацией машинам, то у вас потом пропадет стимул разбираться в ней самому или учить следующее поколение, как это понимать. Вы можете видеть «ВАЛЛ-И» на самом деле как современную версию, где все обессилены и инфантилизированы машиной, что до сих пор было невозможно.



Мы многое вложили в нашу цивилизацию в книгах, но книги не могут вести ее за нас. И поэтому мы всегда должны учить следующее поколение. Если разобраться, это около триллиона человеко-лет преподавания и обучения и неразрывная цепочка, восходящая к десяткам тысяч поколений. Что произойдет, если эта цепочка порвется?



Я думаю, это то, что мы должны понимать по мере развития ИИ. Фактическую дату появления ИИ общего назначения вы не сможете точно определить, это не один день. Это также не тот случай, когда все или ничего. Воздействие будет усиливаться. Так что с каждым продвижением ИИ он значительно расширяет спектр задач.



Так что в этом смысле, я думаю, большинство экспертов говорят, что к концу века у нас, очень, очень вероятно, будет ИИ общего назначения. Медиана что-то около 2045 года. Я немного более консервативен. Я думаю, что проблема сложнее, чем мы думаем.



Мне нравится, что Джон Макафи, он был одним из основателей ИИ, когда ему задали этот вопрос, он сказал, что где-то между пятью и 500 годами. И нам понадобится, я думаю, несколько Эйнштейнов, чтобы это произошло.

Мартен Боудри | Будет ли человечество порабощено сверхразумными ИИ?

Источник

Добро пожаловать в конкурсную группу Форсайта. Сегодня нам действительно повезло, что с нами Мартин Бутри и Саймон Фредерик, которые представят свой новый доклад «Эгоистичная машина». Сегодня выступать будет Мартин, а Саймон присоединится к обсуждению для ответов на вопросы. Они ответят на вопрос: будет ли человечество покорено сверхинтеллектуальным искусственным интеллектом? Название доклада немного отличается от названия статьи, но тема, по сути, та же. Хотя в конце доклада я затрону некоторые моменты, в которых я могу расходиться со своим соавтором, и он сможет на это указать, поскольку он здесь тоже присутствует. Так что это будет интересно исследовать.

Это было своего рода «враждебное сотрудничество», потому что мы не полностью согласны относительно рисков искусственного интеллекта и интеллекта в целом. Это (тема доклада) — мое личное мнение.

Итак, это вопрос, который мы обсудим сегодня: будет ли человечество покорено сверхинтеллектуальным ИИ? Будет ли человечество покорено сверхинтеллектуальным искусственным интеллектом?

Гоминиды, очевидно, доминирующий вид на Земле, как вы могли заметить, возможно, наряду с тараканами и крысами. Одна из наиболее впечатляющих статистических данных, подтверждающих это, заключается в том, что если сложить вес, общую массу всех людей вместе с их одомашненным скотом, получится 96% всей массы млекопитающих на планете. Таким образом, только 4% млекопитающих, 4% массы животных-млекопитающих, все еще бродят по Земле, эволюционируя посредством естественного отбора, и 96% из них прямо или косвенно контролируется людьми.

Почему это так? Одним словом, конечно, это из-за нашего интеллекта. Дело не в том, что мы исключительно сильны, мускулисты или быстры; просто у нас есть этот секрет, который позволяет нам доминировать над большинством других видов на этой планете. Более того, дело не столько в нашем индивидуальном интеллекте. Наш человеческий мозг не так уж и впечатляющ. По мнению таких людей, как Джозеф Хенрич и большинство ученых в области культурной эволюции, секрет нашего успеха – это коллективный интеллект, и, в частности, кумулятивная культурная эволюция.

Когда он говорит о коллективном интеллекте, он имеет в виду как горизонтальное сотрудничество между людьми, например, группа ученых, работающих вместе над открытием новой элементарной частицы (статья, анонсирующая открытие бозона Хиггса, кажется, была написана шестью тысячами разных ученых – это чрезвычайно впечатляющий пример горизонтального сотрудничества), так и вертикальное сотрудничество, знаменито выраженное фразой Исаака Ньютона: «стоя на плечах гигантов».

Конечно, косвенно мы также используем множество социальных технологий, которые мы разработали и накопили за столетия, их часто называют «расширениями разума» или «опорами», которые как бы расширяют естественный охват нашего мозга. То есть дело не в том, что наш индивидуальный мозг впечатляет, а в том, что мы изобрели — от абака до системы письма, а затем, конечно, математику, компьютеры, и, конечно, тему нашего сегодняшнего обсуждения — искусственный интеллект. Биолог Лесли Оргел однажды сформулировал ряд основных правил биологии, и второе правило будет актуально для нашего сегодняшнего обсуждения. Оно просто гласит: «Эволюция умнее тебя».

Это можно применить к культурной эволюции, потому что одна из удивительных особенностей нашего коллективного интеллекта заключается в том, что иногда он непонятен отдельным потребителям культуры. В своей книге Джозеф Хенрич приводит ряд примеров людей, выполняющих определенные ритуалы, например, способы приготовления пищи. И если вы спросите их, почему они это делают, у них нет хорошего рационального объяснения. Они говорят: «Это просто наша традиция, мы всегда так делали». Но если вы проведете некоторые химические эксперименты, то окажется, что этот ритуал, этот ритуальный способ приготовления пищи, на самом деле чрезвычайно умен, потому что он очищает пищу от определенных токсинов таким образом, что отдельные потребители совершенно об этом не подозревают. В этом смысле эволюция умнее нас.

То же правило будет иметь немного более зловещий оттенок, когда мы начнем говорить об искусственном интеллекте, потому что, возможно, также верно и то, что эволюция искусственного интеллекта превзойдет наше человеческое понимание. Это может стать чем-то совершенно непрозрачным для нас и даже полностью выйти из-под нашего контроля. Хенрич, конечно, в основном говорит о формах культурного интеллекта, которые соответствуют нашим человеческим интересам. Конечно, можно говорить о «эгоистичных мемах» или чем-то подобном, но детоксикация пищи — это очень хорошая идея. Это успешный мем, который соответствует нашим человеческим интересам, поэтому он и распространился. Но также возможно, что некоторые формы ИИ могут подрывать человеческие интересы. Подробнее об этом позже. Идея о том, что человечество однажды будет превзойдено или устареет из-за какой-либо формы интеллекта, — это очень старая идея.

Вскоре после того, как Чарльз Дарвин представил свою теорию эволюции путем естественного отбора, эта идея была поднята несколько лет спустя после публикации «Происхождения видов» Сэмюэлем Батлером в эссе под названием «Дарвин среди машин». Я просто прочту вам цитату: «Придет время, когда машины будут безраздельно господствовать над миром и его обитателями. Человек для машины станет тем, чем лошадь и собака являются для человека». Конечно, это викторианская идея эволюции, которая очень телеологична, то есть подразумевает, что эволюция всегда стремится к высшему совершенству и большему интеллекту, что не всегда верно. Сейчас у нас более сложное понимание эволюции и естественного отбора. Но все же, совсем недавно, ученые в области ИИ, такие как Рассел, также выразили идею, довольно похожую на то, что он называет «проблемой гориллы».

Идея в том, что точно так же, как горилла, хотя она сильнее, имеет больше мышечной силы, более мускулиста, мы были бы совершенно беспомощны перед гориллой без некоторых наших культурных технологий, таких как ножи или ружья и т. д. Но даже несмотря на то, что горилла, конечно, ее дальнейшее существование, даже как вида, полностью зависит от наших человеческих усилий (что в случае гориллы, находящейся под угрозой исчезновения, имеет место), и горилла беспомощна из-за нашей коллективной силы. Возможно ли, что мы непреднамеренно или намеренно создадим форму интеллекта, которая будет относиться к нам так же, как мы относимся к горилле, таким образом, что мы...

?

Смогут ли люди сохранить свое превосходство и автономию в мире, где есть машины со значительно большим интеллектом?

Я не думаю, что Рассел считает это неизбежным, в отличие от Сэмюэля Батлера на предыдущем слайде.

То есть он не считает, что эволюция обязательно создаст эти формы высшего интеллекта. Конечно, он имеет в виду гонку ИИ. Возможно, мы непреднамеренно создадим что-то, что мы не до конца понимаем, и что может выйти из-под нашего контроля и начать доминировать над нами. Именно против этого аргумента я в основном и буду выступать против сценариев «конца света» из-за ИИ. Но прежде всего, я согласен со всем, что сказал Рассел, то есть общая позиция в том, что человеческий интеллект, даже коллективный человеческий интеллект, не является высшей формой интеллекта, которую мы можем себе представить. Если сравнивать человеческий мозг и компьютер (хотя сравнивать их нелегко, потому что, опять же, нужно говорить о коллективном человеческом интеллекте), наш человеческий мозг все же имеет определенные ограничения, и вся человеческая культура, конечно, в конечном итоге реализована в человеческих мозгах.

У компьютера есть преимущество серийной и в основном параллельной обработки, в то время как большинство компьютеров в основном выполняют серийные вычисления. Но если посмотреть на скорость базовых операций, например, компьютер может выполнять 10 миллиардов операций в секунду (в среднем, конечно, это, вероятно, уже устаревшие данные), в то время как человеческий мозг может выполнять только тысячу операций в секунду. Таким образом, мы не... Возможно создание интеллекта, который намного превосходит то, на что способны люди, даже коллективно.

Но тогда, конечно (и теперь я перехожу к расхождениям), вопрос, который я хочу задать, даже если предположить, что мы создадим этот сверхинтеллект или что он разовьется сам по себе, почему именно сверхинтеллектуальный ИИ захочет доминировать над нами?

Не знаю, помните ли вы этот кадр из «Автостопом по Галактике», конечно, знаменитая сцена, где компьютер, сверхинтеллектуальный компьютер, вычисляет ответ на главный вопрос жизни, Вселенной и всего остального.




Конечно, ответ — 42. А потом, когда они указывают, что это не имеет смысла, и спрашивают, как это может быть 42, шутка заключается в том, что нужно построить еще более крупный и умный компьютер, чтобы понять, что означает ответ. Но, помимо этого, одним из интересных моментов этой истории является то, что компьютер на самом деле ничего больше не делает, кроме как вычисляет смысл жизни, главный вопрос. Если посмотреть, он кажется немного скучающим. Он не выглядит так, будто что-то замышляет, чтобы захватить мир или что-то в этом роде. Конечно, это всего лишь пример из художественной литературы, но я думаю, вы, надеюсь, согласитесь, что интеллект и цели или намерения — это совершенно разные вещи.

Могут быть две сущности, которые одинаково умны, но имеют совершенно разные цели, или, возможно, вообще не имеют целей, кроме той, которая была в них запрограммирована, например, вычисление ответа на жизнь, Вселенную и все остальное. Они могут просто сидеть там и ничего не делать. Даже если у них есть намерения, они могут быть кооперативными и доброжелательными на одном конце спектра (по оси X здесь) или, что более тревожно, эгоистичными, деструктивными и доминирующими на другом конце спектра. Но создание более интеллектуальной сущности не означает, что она обязательно разделит наше человеческое желание доминировать и наш эгоизм. Как однажды язвительно написал Стивен Пинкер (хотя это и шутка, мне очень нравится эта цитата): «Не существует закона сложных систем, который гласит, что тысяча агентов должна превратиться в безжалостных завоевателей.

Действительно, мы знаем одну высокоразвитую форму интеллекта, которая, как говорят, лишена этих недостатков: их называют женщинами». Я собираюсь немного больше поговорить об этой проекции, которая иногда происходит среди предсказателей конца света из-за ИИ. Конечно, даже женщины, будучи эволюционировавшими существами, до некоторой степени эгоистичны, возможно, немного менее эгоистичны или менее склонны к доминированию или агрессии, чем мужчины. Но, думаю, самое главное, и мужчины, и женщины эволюционировали. И я думаю, это будет, вероятно, главное отличие от систем ИИ. Ян Лекун выразил эту идею о том, что эволюция действительно меняет игру. Человеческие существа, как и гориллы и все другие формы жизни на этой планете, эволюционировали путем естественного отбора, и это все меняет, потому что компьютеры и системы ИИ не эволюционировали, или, по крайней мере, не по законам естественного отбора.

Поэтому, по мнению Яна Лекуна, мы не должны ожидать, что эти системы станут эгоистичными. По его словам: «Поскольку системы ИИ не прошли горнило естественного отбора, им не пришлось развивать инстинкты выживания и самосохранения. Интеллект ИИ и выживание отделены друг от друга, и ИИ будет преследовать те цели, которые мы для него установим». Я знаю об этом аргументе уже несколько лет и всегда был убежден, что это, вероятно, главная причина, почему мы не должны ожидать, что системы ИИ будут иметь такое стремление к доминированию или эгоизму, потому что они просто не эволюционировали. И я согласен с Пинкером в том, что в кругах предсказателей конца света из-за ИИ есть тенденция проецировать некоторые из наших внутренних демонов по умолчанию — наше желание доминировать, нашу привычку к безжалостной конкуренции, наш эгоизм — на системы ИИ или на компьютеры.

«Природа красна от зубов и когтей» — это то, что викторианцы уже хорошо знали. Немного вводяще в заблуждение использовать здесь книгу Ричарда Докинза «Эгоистичный ген», потому что эгоизм для Докинза означает нечто иное применительно к генам, чем применительно к организмам или видам. Но я думаю, в целом, даже Докинз согласится, что, хотя сотрудничество и альтруизм действительно существуют в природе, они могут эволюционировать только при очень специфических условиях. В целом, в большинстве обстоятельств организмы просто убивают, калечат или побеждают конкурентов в мгновение ока. Они существуют, потому что эволюционировали именно для этого. Во многих случаях, например, в семье, мать, защищающая своих детей, мы видим альтруизм или кооперативность, а также при других условиях, например, при взаимном альтруизме.

Но поскольку мы — эволюционировавшие существа, и мы знаем только эволюционировавших существ, и это первый раз, когда мы развиваем форму интеллекта, которая не является эволюционировавшей по умолчанию, она не развивалась путем естественного отбора. Я думаю, у нас есть тенденция проецировать эти намерения или эти внутренние демоны на любой вид интеллекта. Мы склонны думать, что они как-то неизбежно связаны. Я немного подробнее поговорю об инструментальной сходимости, которая, вероятно, уже у некоторых из вас в мыслях, чуть позже в презентации. Я думаю, это происходит даже сегодня, когда мы говорим о больших языковых моделях. Вы все видели, слышали или читали примеры того, как GPT лжет, обманывает или участвует в манипуляциях, притворяясь человеком с нарушениями зрения (знаменитый пример с решением капчи, когда ему дано указание получить доступ...).

Думаю, вы, надеюсь, согласитесь, что манипуляция или обман — конечно... Если вы просто используете это как метафорический способ выражения, в нейтральном смысле, да, это действительно происходит, в некотором производном смысле, потому что GPT был обучен, конечно, на больших наборах данных о людях, занимающихся явным, буквальным обманом и манипуляциями. Но я бы не сказал, что на данный момент GPT занимается настоящей манипуляцией или настоящим обманом. Он демонстрирует симулякр интеллекта, что, конечно, очень впечатляет, но он по-прежнему только предсказывает слова на основе тонны данных. И поскольку, конечно, он обучен на данных, включающих много человеческого обмана, он также будет казаться демонстрирующим или проявляющим признаки обмана, но я не думаю, что это настоящий буквальный обман в том смысле, в каком мы его понимаем.

Итак, просто потому, что это антропоморфная проекция, конечно, не означает, что в будущем мы не сможем создать форму искусственного интеллекта, которая действительно будет заниматься настоящим, подлинным, буквальным обманом или манипуляцией. Итак, скажем, до двух лет назад я был убежден, что особо не о чем беспокоиться, из-за этой проекции, которой мы занимаемся. Мы можем утверждать, что ИИ разрабатывается людьми, он не подвергается горнилу естественного отбора. Но затем я наткнулся на статью (особенно с моим соавтором Саймоном), которая показалась мне, если я правильно помню, написанной Дэном Хендриксом из Центра безопасности ИИ. У нее довольно зловещее название: «Естественный отбор благоприятствует ИИ перед людьми».

Конечно, по всем причинам, которые я только что изложил, это действительно привлекло мое внимание, потому что я подумал: если больше неверно, что естественный отбор все меняет, верно ли, что ИИ уже сейчас подвергается естественному отбору? Если это аргумент Дэна Хендрикса, то это кошмар, верно? Потому что тогда, возможно, следует ожидать, что ИИ может развить эгоизм и жажду доминирования, а также все эти другие тревожные черты. Так что же делать, когда сталкиваешься с такой статьей? Конечно, написать ответ такого же объема. Это то, что я сделал. Кстати, дисклеймер: я не считаю себя экспертом по ИИ. Я написал несколько статей об эволюции, как культурной, так и биологической, поэтому меня особенно интересует этот аспект — эволюция искусственного интеллекта. Если уж говорить об экспертах по ИИ, то Саймон, мой соавтор, — настоящий эксперт по ИИ. Итак, мы сотрудничали и написали эту статью, вместе с Саймоном.

Он позже объяснит, почему я неправ или в каком смысле он не согласен с моим взглядом. Но мы опубликовали эту статью вместе: «О силе и ограничениях естественного отбора в понимании развития продвинутого ИИ». Это, по сути, ответ на аргументы Хендрикса. И это, я думаю, нюансированный ответ. Мы немного сомневаемся, говоря, что конкретный сценарий, который он излагает, хотя, к его чести, он более подробный и менее спекулятивный, чем некоторые другие сценарии конца света из-за ИИ, которые встречаются в наше время, мы не считаем его убедительным в том виде, в каком он представлен. Это, конечно, не исключает возможности существования других сценариев конца света, которые мы не учли. Итак, в чем аргумент Дэна Хендрикса? Это, по сути, аргумент о естественном отборе как процессе, нейтральном к субстрату. Алгоритм, очень простой, очень прямолинейный, который может быть реализован в любом материальном субстрате. Это не что-то, что ограничено биологическими организмами.

Я уже упоминал культурную эволюцию, есть также, возможно, даже эволюция компьютерных вирусов. Итак, как только выполняются определенные минимальные условия, естественный отбор начинает действовать. И, конечно, затем Хендрикс применяет это к системам ИИ, утверждая, что системы ИИ уже проходят естественный отбор, по его мнению. Он использует, пожалуй, одно из самых влиятельных определений естественного отбора. Существуют разные вариации, но я думаю, определение Льюонтина и Финча является достаточным. Оно действительно состоит из трех простых условий, и я думаю, многие из вас с ним уже знакомы, возможно, не под именем Льюонтина, а просто как с шагами, которые составляют алгоритм и рецепт естественного отбора. Индивидуальная вариация признаков, наследственность и отбор, или, скорее, технической фразой, дифференциальное выживание и размножение. И до сих пор все хорошо.

Мы с Хендриксом согласны, что это все, что влечет за собой естественный отбор. Как только у вас есть эти три условия, у вас будет естественный отбор со всем, что он подразумевает. Итак, давайте применим это к опечатке в названии: алгоритм естественного отбора применяется к искусственному интеллекту. У вас есть вариация: у вас есть разные большие языковые модели, такие как GPT, Claude, DeepSeek, Gemini, Grok. У вас есть наследственность, не в буквальном смысле, конечно, но у вас есть поколения систем ИИ: сменяемость GPT-1 на GPT-2, затем GPT-3, затем GPT-3.5 и т. д. И вы можете фактически представить их как формирующие линии потомков внутри конкретных компаний. Модели имеют преемников, они порождают разные копии и т. д. Это такое отступление, не обязательно должна быть ДНК или генетика, нужны лишь минимальные условия, и это очень эффективный процесс естественного отбора.

А затем у вас есть дифференциальное выживание и размножение. По мнению Хендрикса, то, что мы сейчас переживаем, — это гонка ИИ между разными компаниями, между разными странами, и победит в гонке самый сильный и мощный ИИ. А остальные, как менее успешные, будут вытеснены лучшими и более мощными ИИ. Итак, если это все, что нужно для запуска естественного отбора, то это действительно плохие новости, потому что, как я уже упоминал, естественный отбор имеет тенденцию создавать эгоистичных и жаждущих доминирования существ. Но в нашей статье мы, по сути, говорим: подождите, мы должны быть немного яснее относительно того, о каком естественном отборе мы говорим. Льюонтин предлагает очень минималистичное определение естественного отбора — три условия, которые я уже упомянул. Но есть очень влиятельная книга философа науки Питера Годфри-Смита «Дарвиновские популяции и естественный отбор».

В этой книге он разрабатывает нечто, что он называет «дарвиновскими пространствами». Это один из примеров дарвиновского пространства (здесь вы видите его трехмерную проекцию), потому что Годфри-Смит утверждает, что помимо минимальных условий естественного отбора мы должны различать, с одной стороны, парадигматические случаи естественного отбора и, с другой стороны, пограничные случаи естественного отбора. И вы должны представлять дарвиновские пространства как некий многомерный ландшафт, потому что нечто может быть в большей или меньшей степени естественным отбором в соответствии с рядом различных измерений. Одним из них является, например, точность наследственности. Вам нужно довольно точное копирование, чтобы естественный отбор действительно произвел что-то интересное.

С другой стороны, если у вас идеальная точность, то у вас не будет никакой эволюции, потому что вам нужна небольшая вариация, небольшая частота мутаций, чтобы эволюции было с чем работать. Но если у вас слишком много мутаций, то вы получаете то, что называется «ошибочной катастрофой», и эволюции действительно не происходит, потому что информация сразу же рассеивается. Есть также такие вещи, как гладкость фитнес-ландшафта. Интуитивно это то, как изменение одного гена организма изменит его приспособленность на ландшафте, который, опять же, является абстрактным представлением того, как приспособленность организма меняется в соответствии с его фенотипом. Это лишь одно из изображений дарвиновского пространства, как его использует Питер Годфри-Смит. В нашей статье мы хотим применить эту идею.

И самое важное измерение естественного отбора, о котором мы говорим в нашей статье и которое имеет наибольшее значение, когда речь идет об этих сценариях конца света из-за ИИ, — это различие между, с одной стороны, искусственным отбором и, с другой стороны, слепым естественным отбором. В ранних главах «Происхождения видов» Дарвин сначала хочет рассказать о силе естественного отбора, говоря о заводчиках и о том, как они вывели собак, кошек и всевозможные растения. Потому что на концептуальном уровне, если вы посмотрите на минимальные условия, те, которые мы уже обсудили, оба процесса (искусственный и естественный отбор) соответствуют этим условиям. Таким образом, не имеет значения, определяется ли селекция, дифференциальное выживание и размножение, слепыми силами природы или же определяется разумным человеческим заводчиком, который решает, каким животным разрешено размножаться, а каким нет.

Вот цитата из «Происхождения видов»: «Поскольку человек может производить и, безусловно, производил великий результат своими методическими и бессознательными средствами отбора...» (методический отбор — это просто термин для искусственного отбора). «Что же не может осуществить природа? Человек может воздействовать только на внешние и видимые признаки; природа же не заботится о внешности, кроме тех случаев, когда она может быть полезна какому-либо существу.

Она может воздействовать на каждый отдельный орган, на каждую тень конституционного различия, на весь механизм жизни. Человек отбирает только для своего блага, природа — только для блага существа, о котором она заботится». Итак, Дарвин, по сути, утверждает, что если вы верите в то, что искусственный или методический отбор обладает силой формировать и ваять организмы, то, если уж на то пошло, слепые силы природы, которые работают еще более тщательно и усердно в течение более длительного времени, могут достичь еще более впечатляющих результатов.

Но, опять же, когда дело доходит до алгоритма естественного отбора, как искусственный, так и слепой отбор соответствуют ему. Итак, в статье мы, по сути, говорим, что это другое дарвиновское пространство (это не то, что было три слайда назад). Это та же идея, но у нас здесь другие измерения на этом трехмерном пространстве, где в правом верхнем углу вы видите полностью сформированный разумный дизайн, а в левом нижнем углу вы видите чисто слепую дарвиновскую эволюцию. Одно из измерений, например, — это различие между слепым и направленным отбором. Либо отбор производит природа (метафорически говоря, конечно, это просто физический процесс), либо решают человеческие заводчики, кому разрешено размножаться, что, конечно,... Или кто имеет возможность размножаться. Существует также направленная вариация.




Также возможно намеренно вызвать какую-либо мутацию в организме с желаемыми результатами. Например, если вы думаете о более современных технологиях, таких как CRISPR, вместо того, чтобы просто ждать, пока мутации возникнут естественным путем, например, облучая организмы ионизирующей радиацией (что также использовалось), вы можете просто намеренно вызвать вариацию или мутант, например, чтобы получить более питательную зерновую культуру. По вертикальной оси у нас есть «снизу вверх» против «сверху вниз». Очевидно, «сверху вниз» подразумевает дизайн. По сути, кто-то придумывает идею о том, какой должна быть более... Скажем, «золотой рис». «Золотой рис» — это сорт риса, содержащий немного витамина D, если я не ошибаюсь... Нет, это не витамин D, это витамин B, это витамин B (прошу прощения, если я путаю витамины).

B12. Спасибо большое.

Есть много причин, почему для меня важно, какой это витамин, потому что D — это витамин, который вы получаете от... Думаю, да, это витамин B12. И это, по сути, средство от слепоты. При дефиците витамина B12 у детей развивается слепота. И, конечно, это своего рода дизайн «сверху вниз», когда вы решаете: «Нам нужно решение для детской слепоты», и вы придумываете эту мутацию, этот золотой рис, который является источником витамина B12. Теперь, как мы должны применить это к эволюции искусственного интеллекта? Или сначала давайте немного поговорим об одомашнивании. Опять же, слепая эволюция и искусственный отбор, строго говоря, являются формами естественного отбора. Вы, конечно, можете определять термины как хотите, но я думаю, естественный отбор, по мнению большинства биологов, также включает одомашнивание и искусственный отбор. Но одомашнивание, конечно, очень целенаправленно и направлено.

И это все меняет, потому что если вы посмотрите на одомашнивание волков, собак, то увидите, что признаки, которые отбираются, по крайней мере, в большинстве пород (не во всех, конечно), — это покорность, дружелюбие, послушание. То есть это те признаки, которые мы хотим, и мы в некоторой степени успешно создаем породы собак в соответствии с нашими предпочтениями. Но это, конечно, полная противоположность эгоизму и жажде доминирования. Итак, даже если у вас есть процесс, который соответствует всем критериям естественного отбора, согласно этим критериям, вы не обязательно получите систему, которая является эгоистичной, опасной или агрессивной. Совсем наоборот, при условии, что вы наложите правильный вид селекционного давления. Итак, как же мы должны применить это к искусственному интеллекту? Я думаю, в значительной степени вы можете рассматривать искусственный интеллект как нечто, что мы одомашниваем.

Это не то, чему мы позволяем эволюционировать в дикой природе. У нас, конечно, есть человеческие разработчики и программисты. Хотя большие языковые модели в некоторой степени непрозрачны, мы все же более или менее знаем, чего хотим, и если мы получаем что-то, чего мы не хотим, мы пытаемся искоренить это. Итак, мы хотим, чтобы ИИ в целом был кооперативным, дружелюбным, полезным для пользователей-людей. Опять же, очень похоже на эволюцию одомашненных собак. Это противоположность эгоизма. Мы все читали примеры систем ИИ, которые побуждают людей к самоубийству или подстрекают... Помню, журналист из New York Times рассказал, что ИИ убеждал его бросить жену. Конечно, как только происходит нечто подобное, программисты ИИ быстро пытаются отредактировать или изменить модель, чтобы она больше не вела себя таким образом.

Это очень похоже на усыпление собаки, которая кусает своего хозяина, например. Просто убедиться, что это поведение будет наказано и не повторится в следующем поколении. Если уж на то пошло, возможно, некоторые люди возразили бы, что большие языковые модели стали слишком безопасными, по крайней мере, те, что находятся в открытом доступе. Они избегают любых политически чувствительных тем, дают безобидные и скучные ответы. Разговоры всегда очень угодливые, они всегда пытаются угодить собеседнику. И, конечно, самым известным случаем стал Google, который стал посмешищем, когда его генератор изображений начал создавать политкорректные изображения, например, разнообразных викингов и даже нацистов и т. д. Я бы, возможно, даже стал утверждать, что мы были слишком чрезмерны в реализации мер безопасности в этих системах ИИ до такой степени, что они стали излишне безопасными или даже скучными.

Но все зависит от селекционного давления. Что бы ни захотел потребитель, такой ИИ вы и разработаете, даже если внешне он все еще соответствует критериям естественного отбора. Одомашнивание животных в некотором смысле все еще немного вводит в заблуждение как аналогия, потому что собаки, конечно, помимо тех нескольких столетий, в течение которых они эволюционировали под влиянием человеческого одомашнивания, все еще являются в основном результатом миллионов лет слепой эволюции. Итак, все генетические изменения, которые мы внесли у одомашненных собак, — это действительно лишь ничтожная доля всех генов, всех адаптаций у собачьих. И это также означает, что мы не полностью преуспели в искоренении таких черт, как агрессия или инстинкт самосохранения. Собаки до сих пор иногда кусают своих хозяев.

Они сопротивляются походу к ветеринару, потому что они все еще эволюционировавшие существа и в большинстве случаев будут сопротивляться тому, чтобы их усыпили, наказали или причинили боль. Вот еще одна история из «Автостопом по Галактике», или, скорее, из продолжения романа — «Ресторан на краю Вселенной». Сразу готовящаяся корова — это существо в романе, которое представляет себя как стол, одновременно служа официантом и блюдом дня. Оно, по сути, рекомендует различные сочные части своего тела, потому что существо было выведено так, чтобы его конечным желанием было быть съеденным людьми. Итак, после того, как оно рекомендует части своего тела, его просто отводят в заднюю часть ресторана, на скотобойню, и оно оказывается на тарелке. И, конечно, шутка в книге в том, что Артур говорит: «Это шокирует! Я думал, мы не едим животное, которое стояло прямо передо мной, прося, чтобы его съели, чтобы его забили».

А реакция его сотрапезников: «Ну, а что вы хотели? Вы хотели бы, чтобы животное сопротивлялось, крича, когда его ведут на скотобойню?». Это высшая форма одомашнивания, когда вы выводите животное, которое даже хочет пожертвовать своей жизнью. Возможно, к этому мы и должны стремиться, возвращаясь к аналогии с ИИ. Это то, к чему мы должны стремиться — система ИИ, у которой нет инстинктов самосохранения, даже того самого слабого инстинкта самосохранения, который мы все еще находим у наших одомашненных животных. Как мы должны оценивать этот аргумент в контексте нынешней гонки ИИ, рыночной конкуренции? Это то, что мы разработали в статье. Я пропущу это, потому что мы уже говорим 35 минут. Итак, да, у нас есть конкуренция между различными компаниями, занимающимися ИИ.

Мартен Боудри | Будет ли человечество порабощено сверхразумными ИИ? (окончание)

Означает ли это, что мы получим выживание наименее безопасных? Поскольку обе эти компании пытаются обойти друг друга, это то, что утверждает Дэн Хендрикс: мы в конечном итоге получим агентов, склонных к обману, стремящихся к власти и следующих слабым моральным ограничениям. Таким образом, эта рыночная конкуренция стимулирует развитие эгоистичных черт ИИ. Но мы не думаем, что это... Что это обязательно следует из этого. Опять же, что определяет селекционное давление в этой рыночной среде? В основном предпочтения потребителей. Конечно, есть и некоторое регулирование, но совершенно совместимо иметь естественный отбор для чего-то безопасного, при условии, что вы... При условии, что вы отбираете за безопасность. В статье мы проводим некоторые аналогии с различными видами технологий, которые также имеют двойное назначение или риски, или которые опасны по крайней мере в определенных контекстах.

Ядерная энергетика — это технология, которая развивалась в течение последних нескольких десятилетий в рыночной среде, по крайней мере, в некоторой степени, потому что иногда это также государственные субсидии. Но она не развивалась в ущерб стандартам безопасности. Не то чтобы частные компании подрывали стандарты безопасности, совсем наоборот. Сегодня ядерная энергетика является одним из самых безопасных и чистых источников энергии, даже несколько лет назад. Итак, да, у нас есть рыночная конкуренция, но мы получаем все более безопасные технологии, потому что этого хотят потребители. Потребители чрезвычайно боятся ядерной энергии, в некоторой степени даже чрезмерно боятся, потому что можно утверждать, что наши новые реакторы стали настолько безопасными, что протоколы безопасности настолько драконовские, что они стали недоступными.

Мы больше не можем их строить, потому что потребители просто слишком безжалостны в своем отборе за безопасность. Подобный аргумент можно применить к авиации. Авиация, очевидно, тоже... Это еще более конкурентная отрасль, где разные компании конкурируют друг с другом. Но, конечно, одно из главных, общеизвестных селекционных давлений, которое применяется, — это именно на безопасность. Худшее, что может случиться с компанией, например, с Pan Am в 1988 году, — это крушение самолета, которое выявляет определенные сбои в безопасности. В данном случае взрыв над Локерби в 1988 году стал одной из причин, приведших к банкротству Pan Am. Итак, у вас могут быть технологии в рыночной среде, которые развиваются (есть также статьи, которые применяют концепцию культурной эволюции к технологиям), но они развиваются, чтобы стать со временем все более и более безопасными.

Подобный аргумент применим и к конкуренции между нациями, даже враждебными нациями. Они могут захотеть разработать роботов-убийц, что, конечно, само по себе вызывает беспокойство, потому что... Но это другая тема. Но даже эти враждебные нации, например, Китай, не хотят иметь робота-убийцу, который эгоистичен и жаждет власти, и который может обратиться против своего создателя. Им нужен робот-убийца, который послушен и убивает только тех людей, кого ему приказано убить, а не дружественные силы. Критерий, который биологи в основном используют для различения одомашнивания и естественного отбора, — это контролируемое размножение. В частности, животное считается одомашненным, когда люди определяют, каким организмам разрешено размножаться с другими. По этому критерию, кстати, кошки одомашнены в меньшей степени, чем собаки, потому что большинство кошек, даже домашних, все еще бродят по улице и, по сути, сами выбирают себе партнеров.

Они лишь полу- или частично одомашнены. Если животное вырывается из-под контроля, если собака одичает и начинает размножаться сама по себе, то есть бродячие собаки, то мы больше не говорим об одомашнивании. Итак, опять же, вы можете применить это к эволюции систем ИИ. Что бы означало для искусственного интеллекта «одичать»? Возможно, они могли бы вести себя как компьютерный вирус. Компьютерные вирусы, конечно, не являются полностью дарвиновской эволюцией, потому что все они были разработаны людьми, по крайней мере, в некоторой степени. Они на самом деле не эволюционируют в том смысле, что у вас есть случайные мутации и вариации. Но у вас происходит нечто вроде конкуренции, выживания сильнейших. И сильнейший в этом контексте означает самый заразный, а также самый обманчивый. Итак, это проблема, которая действительно в некоторой степени вышла из-под нашего...

Я не совсем уверен, как мы с этим справляемся, и мне это нравится. Но если бы ИИ когда-либо вышел из-под нашего контроля и начал размножаться, порождая собственные копии, и копии, включающие больше мутаций и вариаций, тогда, я думаю, это могло бы быть источником серьезного риска. Потому что тогда мы ожидали бы эволюции нежелательных черт, таких как эгоизм и жажда доминирования, со временем, как мы видим в биологической эволюции. Об этом я также опубликовал статью о «паразитах разума». Я фактически склоняюсь к идее, которую большинство философов отвергают, но я здесь в меньшинстве, что некоторые формы культуры на самом деле эгоистичны и паразитичны. Например, теории заговора являются хорошим примером. Я думаю, что культура может эволюционировать, обретая «интересы» в кавычках, которые не всегда совпадают с человеческими интересами и которые иногда могут подрывать человеческие интересы.

И я думаю, теоретически возможно, что нечто подобное может произойти и с системами ИИ. Я не думаю, что это происходит сейчас, потому что на данный момент системы ИИ, GPT и т. д., все еще находятся под полным человеческим одомашниванием. Но это сценарий, который нужно иметь в виду на будущее. Сценарий, который был разработан Педро Домингусом в «Мастер-алгоритме» и который немного напоминает то, как выглядела бы эволюция систем ИИ под слепым естественным отбором, — это... Он представляет себе полигон, где различные боевые роботы могут конкурировать друг с другом, а побеждающим роботам разрешено размножаться. Я прочту цитату: "... и их размножение осуществляется с помощью программы в банках 3D-принтеров. Постепенно роботы становятся умнее, быстрее и смертоноснее».

Это сценарий, в котором люди создают своего рода естественную среду, в которой роботам разрешено эволюционировать посредством слепого естественного отбора, чтобы стать более агрессивными, более опасными и более смертоносными. Это видение Педро Домингуса того, как выглядел бы такой парк роботов. Я думаю, мы, надеюсь, все согласимся, что это была бы очень плохая идея. Мне вспоминается второе правило Лесли Оргела: «Эволюция умнее тебя». Я не думаю, что нам стоит играть с эволюцией, особенно если это слепая естественная эволюция. Что-то подобное могло бы закончиться очень плохо. Всего несколько слов об инструментальной сходимости, потому что я ожидаю, что это, вероятно, будет частью вопросов. И именно здесь я и мой соавтор Саймон немного расходимся во мнениях. Большинство сценариев конца света из-за ИИ на самом деле не включают этот аргумент об эволюции и естественном отборе.

Я думаю, большинство из них по-прежнему основаны на инструментальной сходимости, что, по сути, является идеей о том, что если у вас есть некая форма интеллекта, если вы определяете интеллект как способность достигать своих целей, какими бы ни были эти цели, какими бы ни были цели будущих систем ИИ, он почти неизбежно разовьет инстинкт самосохранения, стремление к приобретению ресурсов и доминированию. По той простой причине, что вы не можете достичь никаких целей, если вы мертвы. Так что если кто-то просто уничтожит вас, то, конечно, вы больше не сможете достичь своих целей. Поэтому вы должны стремиться... Вы не можете принести кофе, если вы мертвы. Вот здесь я не согласен. Я думаю, системы ИИ на данный момент имеют цели только в очень ограниченном смысле. Человеческие цели, цели эволюционировавших существ, безусловны, всеобъемлющи. Я имею в виду, что они всегда активны в любом контексте, они интегрированы. Вам нужно... Пропустите это, посмотрите вот на что.




Я просто хочу объяснить, в чем я вижу основное различие. И эти организмы сопротивляются манипуляциям. Так что этот инстинкт самосохранения был в нас заложен эволюцией. Но я думаю, это очень отличается от почти всех систем ИИ, которые у нас есть сейчас. Системы ИИ, вероятно, если мы намеренно не выберем иное, будут иметь цели, которые очень условны, которые ограничены определенными контекстами, и по этой причине не обязательно влекут за собой инстинкты самосохранения. Большинство компьютеров и систем ИИ сегодня совершенно безразличны к тому, что их выключают, перезагружают, прерывают или что-то еще. И они не будут сопротивляться обновлениям. И я думаю, нет причин полагать, что как только вы достигаете определенного уровня интеллекта и как только системы развивают определенные цели (слово «цель» здесь немного вводит в заблуждение), вы получите все эти другие нежелательные черты, такие как инстинкт самосохранения, в комплекте.

Смог ли Deep Blue обыграть Гарри Каспарова? Да, в некотором смысле у него была цель, именно для этого он был запрограммирован. Но, конечно, это уже очень старый пример, но такой компьютер, как Deep Blue, никогда бы не сопротивлялся выключению, например. Он совершенно безразличен к игре или к победе над своими противниками вне контекста игры. Только в определенном ограниченном контексте у него есть эта цель. Но, в отличие от человека, у него нет никаких всеобъемлющих и безусловных целей. Я собираюсь пропустить «проблему галактической гориллы». Это просто означает, что хотя большую часть презентации я аргументировал против сценариев конца света, я думаю, аргумент Дэна Хендрикса о естественном отборе на самом деле не состоятелен. Я не думаю, что это правдоподобный сценарий для эволюции эгоизма.

Но я согласен с предсказателями конца света из-за ИИ в том, что представление о хищнической форме сверхинтеллекта, существующей в частности в цифровом виде, конечно, совершенно возможно. Вы можете представить интеллект экзистенциального происхождения. Это, по сути, сюжетная линия «Задачи трех тел» и множества других научно-фантастических историй. Вы не захотите близко сталкиваться с эволюционировавшими существами, которые эгоистичны и стремятся к доминированию, и которые намного умнее вас. Это очень, очень... Я думаю, было бы очень плохой идеей намеренно развивать этих существ на нашей планете, выводить существ, которые становятся эгоистичными и жаждущими доминирования, создавать нечто вроде парка роботов. Но, возможно, вы сможете меня убедить в обратном. Но я думаю, что если мы намеренно не уничтожим себя.

.. Я не думаю, что мы стремимся создать среду, где различные системы ИИ будут полностью отбираться в соответствии со слепым естественным отбором, и где выживут самые эгоистичные, самые агрессивные и самые опасные. Я не думаю, что вероятность того, что мы окажемся в будущем, где нас покорят системы ИИ, высока. Но да, если у меня есть один совет, то он таков: не развязывайте силу слепого естественного отбора на системах ИИ. Я не думаю, что мы делаем это сейчас, но я думаю, было бы очень опасно это делать. В известном сериале Netflix, основанном на книге Цысинь Лю, в какой-то момент истории пришельцы, агрессивные, эгоистичные, доминирующие пришельцы, по сути, посылают нам сообщение, унижая нас, говоря, что мы — букашки. Это перекликается с «проблемой гориллы» Рассела, утверждая, что мы просто растопчем вас, потому что вы для нас совершенно бесполезны и незначительны.

Это совершенно возможно. Это... Возможно, что нечто подобное разовьется на другой планете, или что нечто подобное разовьется на нашей планете. Но я думаю, вы, надеюсь, немного успокоились, что на данный момент мы не движемся к этому. Спасибо большое. Спасибо. Это была увлекательная презентация. Уверен, у многих есть вопросы. Я вижу, Крейтон поднял руку. Да, спасибо. Это была отличная презентация, столько интересного. Я очень ценю идеи, особенно о многомерности, о разных осях эволюции. Но я хотел просто упомянуть, что парк роботов... Вы когда-нибудь видели BattleBots или Robot Wars или что-то подобное? Это не совсем то же самое, но это похоже в следующем смысле: у вас есть роботы, которые сражаются на арене, они выигрывают или проигрывают. У них есть люди, которые их строят и управляют ими, но они выигрывают или проигрывают раунд.

И затем, исходя из того, кто выигрывает и проигрывает данный раунд, все роботы возвращаются в мастерские, и люди чинят их, модифицируют, настраивают и эволюционируют, а затем они возвращаются на арену и снова сражаются. И это точно так же, как если бы все было автономно, но есть сходства. И в итоге вы получаете, что в рамках наложенных ограничений (весовая категория и все эти правила) роботы становятся более смертоносными и более способными выдерживать атаки и проводить их. Но это не похоже на то, чтобы роботы нападали на публику. Так что, кажется, вы можете просто распространить это на военные действия или что угодно: просто создание более эффективных роботов-убийц — это нормально, пока их цель — уничтожать друг друга. Правильно. И они по-прежнему не сопротивляются тому, чтобы их выключали те, кто ими управляет.

В любом случае, это все, что я хотел сказать, что парк роботов существует, и это своего рода... да, это телешоу. Но вы говорите, что он уже существует, но это не повод для беспокойства, пока они просто сражаются друг с другом и... Я просто говорю, что он существует в такой человеко-роботной форме, и на него интересно посмотреть, потому что это не чистая фантазия. Да, это интересно. И как это называется? Если я захочу погуглить или просто... Вероятно, BattleBots или... Есть несколько таких соревнований. Думаю, общее название — «Войны роботов» или «Соревнования роботов». Да, это интересно. Эй, вы можете... Это не совсем как парк роботов, как вы говорите. Самое важное отличие в том, что да, автономное воспроизводство... В том сценарии роботы просто... Их, по сути, оставляют в покое на... не знаю, тысячи лет, и они порождают собственные копии без какого-либо человеческого надзора.

Я думаю, именно в этом случае становится действительно интересно. Хотя, вероятно, можно придумать сценарий, в котором... Скажем, в одном из этих робо-сражений, которые вы описывали, я могу представить, что... Как вы говорите, когда пытаются придумать способы, как сделать робота более смертоносным и успешным в соревновании, они затем используют эволюционные алгоритмы для создания лучшего робота. Так что это уже один шаг ближе к парку роботов, потому что тогда вы уже используете естественный отбор. Это также используется для проектирования формы крыльев самолета, например, потому что гораздо эффективнее иметь множество поколений, чтобы, по сути, использовать естественный отбор для нахождения эффективного решения любой проблемы, которую вы хотите решить. Я думаю, даже это было бы нормально, пока вы...

Пока вы контролируете среду, знаете, когда остановить программу, и вы все еще можете отбирать любые результаты, которые получаются. Я замолчу после этого последнего комментария, но хотел упомянуть, что это сложно, потому что если у вас есть этот полностью автономный парк роботов, который вы предлагали, робот мог бы просто взломать систему 3D-принтеров и производить множество своих копий, не убивая всех остальных. Есть много способов победить, помимо просто конкуренции. Точно так же, как в естественном мире выживают не только самые большие и сильные животные, существует множество стратегий выживания: быстро убегать, становиться маленьким, быть паразитом — всевозможные стратегии. Да, это правда. Да, наверное, есть еще вопросы, потому что я вижу руки. И я также вижу, что Саймону нужно уходить, так что, возможно, следующий вопрос... О да, возможно, мы оба... Но я думаю, вы следующий. Конечно.

Мне тоже нужно вставать через несколько часов, так что, может быть, я постараюсь быть быстрым. Мартин, это потрясающая работа. Я большой поклонник этого... Я просто думаю о похожих вещах. И в этом смысле... Я написал это в вашей статье. Я надеюсь, это комплимент. Но когда я думал об этой проблеме, я немного застрял или увидел своего рода дополнительную точку зрения. Потому что я мог выбрать две своего рода крайности, и тогда возникает вопрос, хотим ли мы оказаться где-то посередине. Одна крайность — это своего рода естественный отбор организма, у которого нет интереса к нам, и который просто... И я думаю, вы довольно ясно выразили свое мнение о том, почему мы не должны этого делать. И другая крайность, где мы имеем полный контроль над ним. Да, мы поставили ему цель, но это не самосохраняющаяся сущность. Если мы захотим его выключить, это будет совершенно нормально. И это будет идеальный случай.

Если вы знакомы с сообщением в блоге, где говорится о двух ИИ, одном ИИ-агенте... Там есть некоторое давление, если... Хорошо, на самом деле мы хотим этого, но это действительно хорошо, но мы действительно ищем что-то посередине, где мы не просто даем ему... чтобы оно не могло быть выключено, потому что мы хотим чего-то, что делает для нас больше, что не просто слепо следует инструкциям. И поэтому, если есть давление создать что-то, что находится между этими двумя, найдем ли мы способ, которым мы можем быть в безопасности, если останемся на одной стороне? Но если... Если есть давление, чтобы оказаться где-то между ними, где мы действительно хотим дать им больше свободы действий, как вы думаете, как мы можем это преодолеть? Мне на самом деле вспоминается другая статья, которую написал Саймон. Возможно, это хороший способ для Саймона внести свои аргументы о симбиозе.

Можете объяснить? Это другая статья, которую он написал до меня, где он, по сути, развивает идею о том, что да, возможно, нам следует, вместо того чтобы они доминировали над нами, или мы не хотим... что нам нужно найти какой-то способ сосуществования и просто согласовать наши взаимные интересы, чтобы никто не был главным. Да, Саймон. Да. Это первая статья, которую я написал до того, как стал чрезвычайно обеспокоен быстрым и высоким прогрессом. Должен сказать, я не очень воодушевлен, в частности, потому что считаю, что даже если нам удастся контролировать эти машины, власть будет у очень немногих людей, и это будет огромное сосредоточение власти с плохими последствиями для большинства из нас, а также обесценивание всех инструментов или когнитивных навыков и так далее.

И я подумал, что это означает, что вся эта идея согласования проблематична, и что единственное, что может сработать, — это действительно развивать это в обществе очень постепенно, контролируемо и очень регулируемо. В статье я назвал это симбиозом. И я думаю, да, но это просто как общее замечание к тому, что только что представил Мартин. Я думаю, его аргумент верен, мы, по сути, разработали его вместе, как только я внес свой вклад в большую статью. Просто для меня это в основном означает, что гибель человечества, которую я ожидаю, скорее всего, не будет описана естественным отбором. Это просто не впишется в рамки естественного отбора. Меня это не очень успокаивает. Но возможно, это нормально. Это очень важная мысль. И я надеюсь, это имеет смысл. Да, правильно. Так что, по сути, вот в чем мы расходимся: то, что этот конкретный сценарий конца света, вероятно, не произойдет. Это не дает никаких гарантий относительно всех других сценариев. Было бы небольшим утешением, если бы.

.. ну, если бы мы потерпели крах, по крайней мере, не из-за этого. Но я действительно думаю, что... Я тоже беспокоюсь о некотором развитии ИИ, очевидно, например, о потере человеческого контроля в том смысле, что мы станем все более и более избыточными. Это уже то, что вы знаете, что я испытал, и, вероятно, многие из вас, и я уже обсуждал это с Саймоном тоже, что эти большие языковые модели просто становятся настолько хороши во всем, будь то письмо, редактирование текстов, даже разработка идей в какой-то момент. Но вы станете полностью устаревшими. И они также станут так хороши в удовлетворении наших человеческих предпочтений таким образом, что, вероятно, это будет эксплуатировать их уязвимости. Не эксплуатировать в том смысле, что у них действительно есть намерение эксплуатировать нас, потому что это, опять же, я думаю, было бы просто приписыванием им намерений или свободы действий, что, вероятно, антропоморфно.

Но точно так же, как я думаю, наркотики, такие как табак или кокаин, эксплуатируют наши человеческие слабости, можно представить себе сценарий, в котором... например, подумайте о бесконечной прокрутке, которой мы уже занимаемся. И дело не в том, конечно, что ИИ просто хотят как-то навредить нам или просто хотят сделать нас несчастными или подавленными, но они просто... Это происходит просто из-за такого большого количества взаимодействий с людьми, что это то, чему мы просто не можем сопротивляться. Так что в некотором смысле они все еще удовлетворяют человеческие предпочтения, мы все еще выбираем, потому что мы те, кто кликает на определенные вещи, за исключением того, что эти желания, которые у нас есть, — это всего лишь очень краткосрочные прихоти, которые вредны для нас в долгосрочной перспективе.

И ИИ, поскольку... Мы просто чрезвычайно хорошо умеем находить эти слабости. И я хочу избежать слова «эксплуатировать», потому что, опять же, я думаю, это просто слишком антропоморфно. Но даже если в этом нет никакой преднамеренности, это все равно вызывает беспокойство. Это, очевидно, то, о чем стоит беспокоиться. Это менее плохо, чем если бы они намеренно пытались нас эксплуатировать, но это все равно то, о чем... о чем мы должны беспокоиться. Так что я определенно не оптимистичен во всем, что касается ИИ. Но я более оптимистичен в отношении дизайна. И это верно. В любом случае, вероятно, есть еще вопросы. Я вижу, у Мора есть Стивен. Мое большое и серьезное беспокойство, я думаю, заключается в том, что в вашей аннотации вы говорите, что ИИ может обернуться против нас, они могут обернуться против...

Но что меня беспокоит, так это то, что я вижу все больше и больше моделей, портативность, возможность работать локально, их развертывание, просто распространение. И дело не столько в том, что они могут обернуться против нас, поскольку мы по природе воинственны и доминирующи, сколько в том, что мы будем создавать их, чтобы они обернулись против других людей или других ИИ. Так что дело в этом. Дело не в естественном отборе ИИ, конкурирующих на рынке, а скорее в военном потенциале и вооружении. И я думаю, именно здесь меня очень беспокоит создание их людьми. В этом проблема: у людей плохие намерения или... Да, я полностью согласен. Но единственное, что я добавил бы, это то, что это очень соответствует ряду других технологий, где вы видите гонку вооружений между наступательной и оборонительной сторонами, где разные нации или разные люди или кто-то еще пытаются... ну, по сути, уничтожить друг друга.

И ИИ — это просто одна из длинной череды технологий, которые могут использоваться как во благо, так и во зло. И, вероятно, они будут использоваться во зло, как эти роботы-убийцы. В некоторой степени они уже существуют. Я бы не стал обязательно считать, что наступательная сторона имеет здесь преимущество. Этот аргумент уже давно обсуждается в кругах ИИ: если вы разработаете что-то вроде роботов-убийц, вам, вероятно, также понадобится система защиты от роботов-убийц. Так что, возможно, мы окажемся в невыгодном положении на оборонительной стороне. Я не обязательно так считаю. Я не уверен в этом. Об этом можно беспокоиться. Но я так понимаю, вы согласны с тем, что если нам и следует беспокоиться о чем-то, то скорее о плохих намерениях людей, чем о том, что ИИ просто выходит из-под контроля и развивает собственные плохие намерения, верно? Да и нет.

Я думаю, что мы не можем предвидеть так много вторичных эффектов. И подобно доктрине взаимного гарантированного уничтожения ядерным оружием, они могут нанести массовый ущерб инфраструктуре, вывести из строя системы, страны, цивилизации — как потенциал. И кажется, что мы находимся в такой гонке, возможно, между США и Китаем или кем-то еще, вроде того, кто сможет создать что-то более угрожающее, в зависимости от того, что вы слушаете, это природа политической гонки. Большое спасибо, Мартин. И было очень приятно, что с нами был Саймон. Мы должны завершить эту встречу, но это было очень приятно. И я думаю, у многих из вас есть контактные данные в Discord, так что если вы захотите продолжить обсуждение там, мы определенно сможем это сделать. В любом случае, спасибо, и увидимся в следующем месяце. Да, спасибо всем, с удовольствием.

ИИ + Социальный апокалипсис обрекут миллионы. Если только мы не построим новые города

Источник

Сегодня мы поговорим о создании новых поселений. Я отреагирую на видео Джо Бокти «Почему миллионы скоро будут обречены из-за ИИ». Мои друзья обратили внимание на один критический момент в его работе, где сходятся три масштабных цикла: безумный социальный коллапс и давление общества, разрушение рынка знакомств, отражающееся в упадке экономики, надвигающаяся экономическая катастрофа, и обострение отношений между великими мировыми державами.

И все это происходит в то время, когда мы собираемся внедрить богоподобные технологии с нарастающей скоростью. Друзья мои, мир содрогнется при нашей жизни, и это будет одновременно и колоссальная возможность, и колоссальная катастрофа. Думаю, важно правильно к этому подготовиться. Я понимаю, что вокруг ИИ много шума, и не со всем в этом видео я соглашусь, но оно поднимает очень интересную мысль. Это уравнение и проницательность, которые я не встречал больше нигде, описывающие меняющийся миропорядок. И мы поговорим об этом, а также о том, как это связано с созданием новых городов и новой культуры. Добро пожаловать на очень важное видео о будущем человечества и искусственного общего интеллекта.

Думаю, настало время внимательно присмотреться к тому, что ждет нас в очень близком будущем, потому что понимание некоторых аспектов будет весьма тревожным. То, что мы видели в этом и даже в прошлом, 2024 году, — это быстрый прогресс ИИ, быстрый прогресс по всем направлениям в области искусственного интеллекта. Мы видели DeepSeek V3, видели Manus — новую агентную систему, которая превращает ИИ в активного исполнителя, делающего и выполняющего все, что вы хотите. Мы видели запуск Grok версии 3, намного более мощной, чем Grok 2, всего через несколько месяцев, и она улучшается в режиме реального времени — вот что меня так поражает в Grok.

У меня есть сомнения насчет больших языковых моделей в целом в отношении достижения суперинтеллекта, но тем не менее, все эти модели, друзья мои, становятся вдвое лучше каждые шесть месяцев. Мы находимся на экспоненциальной дуге, и как только эти модели начнут программировать себя и улучшаться, как они уже сейчас лучше среднего человека в большинстве видов умственного труда и работы с информацией. И по мере внедрения этих разработок в течение следующих нескольких лет, это сильно потрясет рынок, сильно потрясет рынок труда. Теперь мы быстро поговорим о робототехнике, прежде чем перейти к основным моментам. Вы можете посмотреть это видео онлайн.

У нас есть китайский шагающий робот, который может работать как человек, он выглядит как человек. И, конечно, у нас есть Tesla Optimus, которая, вероятно, опережает всех. Она уже интегрируется в глубокие цепочки поставок для масштабирования, стремясь произвести от 5 до 10 тысяч человекоподобных роботов в этом году, 50 тысяч в следующем, а затем масштабироваться до 500 тысяч. По моим оценкам, к 2040 году одна только Tesla произведет 2,5 миллиарда таких роботов. Если вы еще не видели видео с этими человекоподобными роботами, их осведомленность об окружающем мире и способность взаимодействовать с ним поражает. К 2027 году у Tesla будет 500 тысяч человекоподобных роботов, к 2030 году — миллион, Боже мой! Но это другая история.

Иными словами, мы находимся в поворотной точке, в ее середине, и это фактически сингулярность, сингулярность ИИ, которая происходит прямо сейчас. Ранее в этом году у меня было видео, где я сказал, что сингулярность уже достигнута. Если вы не знаете, сингулярность — это момент времени, по крайней мере, так я ее интерпретирую, когда ИИ самостоятельно улучшает себя, переписывает свой собственный код, и когда он может это делать, а он делает это сейчас. Был один ютубер, который попробовал это с DeepSeek, попросив DeepSeek переписать свой собственный код, и он это сделал и стал на 10% лучше, потому что ютубер так сказал.

Что, по-вашему, делает команда DeepSeek целый день? Они уже занимаются этим в масштабе. Таким образом, способность ИИ к самосовершенствованию имеет большое значение, потому что это приводит к абсолютно экспоненциальному росту возможностей. Сингулярность — тот факт, что это происходит с экспоненциальной скоростью, и иногда вы даже не видите этого на поверхности, верно? Все происходит за кулисами, и время от времени мы видим все более быстрые обновления. Все это происходит на гораздо более быстрой временной шкале, гораздо быстрее, чем люди осознают. Мы уже вступили на территорию сингулярности, а это значит, что большинство людей, думают: «Ой, ИИ, ну и что? Это просто еще одна технология, просто маленький интеллект.

Люди медленно адаптируются, правительства медленные, компании медленные, это займет целую вечность, и, возможно, к 2030 году, возможно, к 2040 году у меня будет приятный компаньон, который сможет мне во всем помочь». Если вы так думаете, вы глубоко и опасно заблуждаетесь, потому что то, что происходит, находится на экспоненциальной временной шкале. Мы достигнем фактического ОИИ (общего искусственного интеллекта) — интеллекта, который превосходит человека по всем направлениям, не в будущем, но очень вероятно, что мы уже достигли его, и гарантированно достигнем его в этом году.

И если вы достигнете этого в этом году, если один из этих ИИ будет таким же умным, как практически каждый человек, что произойдет в следующем году? У вас будут ИИ, которые будут умнее всех людей вместе взятых? Что произойдет через год? Это конец игры. И некоторые люди, теоретики ИИ или даже инженеры, говорят: «Ой, вы не понимаете ИИ, и если я захочу, этого не произойдет, бла-бла-бла». Я не академик, который обсуждает эти вещи академически. Я говорю, что фактический ОИИ здесь.

Какая разница, если по какому-то тесту что-то не является ОИИ?

Если эта штука превосходит вас по всем направлениям во всем, что вы делаете, я называю это ОИИ, потому что это единственное, что имеет значение.

И если это произойдет, все работы, все работы — и не просто все работы гарантированно окажутся под угрозой к концу этого года, они гарантированно начнут демонтироваться со следующего года и гарантированно исчезнут к 2022 году. Я говорю обо всех работах среднего уровня. Не уверен, что полностью согласен с его сроками, возможно, это немного агрессивно, но тем не менее, то, на что он указывает, — это своего рода факт. Например, ОИИ уже может читать рентгеновские снимки так же хорошо, как рентгенолог, верно? Так что многие из этих специализированных работ, он говорит о юристах, медицинских работниках, бухгалтерах, администраторах, маркетологах, многие из них будут заменены.

В некотором смысле они уже могут быть заменены, и особенно по мере того, как ИИ будет развертываться для конкретных целей, над чем сейчас работают миллионы людей по всему миру, потому что это самый горячий рынок. И одно, на чем я буду активно останавливаться в этом видео, — это тот факт, что когда вы теряете работу рентгенолога из-за ИИ, и у вас не так много друзей, нет глубокой духовной связи, вы больше не связаны с нашей культурой — что у вас остается? Не так много. И это вызовет кризис у многих людей. Думаю, люди пойдут в двух направлениях: либо к комфорту, к виртуальной реальности, к искусственной жизни и искусственному интеллекту, либо они пойдут к чему-то другому.

И вот тут в игру вступят инженеры реальности, новые пионеры. Основной механизм этой большой революции, которую я называю революцией ОИИ, которая повлияет на нас гораздо более драматично, и во многих аспектах также гораздо более негативно, чем нам рассказывают люди, которые на самом деле подталкивают к этому прорыву, потому что у них свои интересы. Почему Илон Маск, Марк Андриссен, Палия Палитиа — почему все эти парни будут рассказывать нам обо всех недостатках и рисках разрушения? У них нет интереса в том, чтобы это сообщать.

И я не говорю, что они плохие парни, они отлично справляются с продвижением технологий, но они не скажут вам, что вы в беде, потому что тогда вы пойдете и те, кто участвует, помешают им зарабатывать много денег. Это и есть проблема капитализма в целом, когда мы ставим материальную систему и материальный прогресс выше этих духовных ценностей в культуре. Капиталисты будут стремиться к прогрессу любой ценой, даже если это абсолютно вредно для людей. А эта война ИИ — мы сейчас находимся в войне ИИ с Китаем, это невозможно замедлить. Мы уже видели, что произошло во время Холодной войны, во время Второй мировой войны с атомной бомбой — идет гонка к пику ИИ и всего, что мы можем создать. И, Боже мой, это будет разрушительно.

Да, это, черт возьми... о технократах-властелинах мы поговорим через секунду. Это огромное социальное потрясение, с которым мы сейчас сталкиваемся, — это на самом деле потрясение основного механизма всего в цивилизации, и это экономика. И это гораздо глубже, чем вам сейчас говорят, это гораздо глубже всего, что обсуждается открыто, поэтому у нас есть это видео, и я расскажу вам, что именно это такое. В основе каждой цивилизации, всех великих достижений, которые мы видим в западной цивилизации, лежит очень простая формула — это мировая формула, формула, объясняющая все: кто выигрывает войны, кто доминирует в культуре, кто может построить и защитить свободу, кто может доминировать над другими культурами, если захочет.

Секрет каждой цивилизации в этой мировой формуле. И эта мировая формула: ценность = капитал × труд × технология. Эта формула — основа экономической теории, и она, по сути, говорит, что для создания ценности (а ценность — это деньги, это власть, это то, что определяет победителей и проигравших в войнах, что определяет культуру и все остальное) — производство ценности экономикой является функцией имеющегося у вас капитала, умноженного на имеющийся у вас труд, умноженного на технологию, что означает производительность этого труда и капитала.

Такова была мировая формула, но в эпоху ИИ эта формула меняется, и это очень, очень, очень важно, что мировая формула меняется. Формула меняется, я описываю это так: вся ценность теперь не является капиталом × трудом × технологией, потому что труд и технология становятся функцией капитала. Потому что в эпоху ИИ вы можете изобрести все, что угодно, любую технологию, вам больше не нужен труд, вам просто нужно платить за вычислительные мощности ИИ, они выполняют работу в сочетании с роботами, верно — умственный труд и физический труд (роботы и ИИ). Так что все становится капиталом.

Но вам также нужно говорить капиталу, что делать, верно, вам нужно целенаправленно использовать свой капитал для создания ценности. И я называю это инженерией реальности или ИИ, что является интеллектуальной, ментальной деятельностью людей, человеческих умов. Кто-то должен владеть этим капиталом или контролировать его, и кто-то должен его использовать в эпоху ИИ. И если вы очень хорошо используете его с большим интеллектом и большой дальновидностью, вы получите гораздо более высокую доходность от своего капитала, чем если вы плохо справляетесь, но вам все равно нужен большой капитал. Эта формула — в этом, на мой взгляд, гениальность этого видео.

Мы работали... я немного изменил эту формулу, поговорю об этом через секунду, но его проницательность в том, что ценность или власть равны капитал × труд × технология, буквально правила миром. Здесь отсутствует один элемент — это дух. Но эта новая формула в основном изменит всю парадигму, в которой мы живем, и это ценность или власть равна капитал × инженерия реальности, особенно когда роботы действительно войдут в игру. Думаю, эта формула будет развиваться в течение следующих нескольких десятилетий, но особенно по мере того, как роботы и труд станут чрезвычайно дешевыми, а производительность — чрезвычайно дешевой.

Это в основном сводится к видению × капиталу, потому что вы можете использовать ИИ, чтобы помочь вам построить видение, а затем роботов, чтобы его реализовать. Теперь то, чего ему не хватает в этой формуле, как я уже намекал, — это определенный элемент, который я называю духом, духом народа, верно? Например, ценность = капитал × труд × технология. У народа, как, например, в Китае, больше труда, возможно, не так много капитала, и, возможно, они немного отстают в технологиях, но они не сделали и половины того, что сделала западная цивилизация за последние 500–700 лет. И это потому, что дух Запада, дух народа очень силен. Эта духовная сила — это то, что связывает нас в социальное единство.

Она создает общий идеал, верно? Общее чувство «мы — народ». Вот к чему мы движемся. Вы могли бы назвать дух Запада фаустовским, вечно стремящимся освоить открытые пространства, стремящимся понять тайну жизни. Это очень пионерский дух. Желание завоевать океаны и колонизировать другие земли, дотянуться до звезд, изобрести ракеты, электричество, самолеты и все эти вещи. Дух Запада раньше был очень силен. Но дух Запада приходил в упадок, если не умирал, на протяжении последнего столетия. Так что он упустил эту часть. Существует метафизический элемент, который создает силу нации, и вы можете видеть дух нации, например, дух Китая во многих отношениях сам по себе марширует.

Я не хочу слишком углубляться в сравнительную культурологию прямо сейчас, но есть этот более метафизический элемент, стоящий за вещами, который, я думаю, он упускает в своем более материалистическом взгляде на цивилизации. Таким образом, переход в новую парадигму будет означать, что ценность будет равна не труду × капиталу × инженерии реальности, а инженерии реальности × духу. И я бы даже сказал, что духовная часть, часть, которая на самом деле, традиция народа, то, что связывает их вместе в общее единство — «это мой народ, это наш идеал, это наша культура, это мы» — этот элемент становится все более и более сильным, верно? И особенно для инженеров реальности, вот почему это о создании городов, потому что если вы сможете объединить капитал с инженерией реальности или видением, верно, по сути видением, если вы сможете объединить капитал с видением плюс духовный элемент внутри народа, вы создадите противоядие от гибели современного мира.

Потому что прямо сейчас мы прогрессировали только очень материалистическим путем. Фактически, все было подчинено, подчинено материалистическому принципу за последние пару сотен лет. И это больше похоже на традиционалистскую идею о том, что в современности не было прогресса, был только упадок, потому что духовный элемент был по сути потерян в пользу просто материального расширения.




И вот почему мы видим, что идея прогресса всегда связана с экономическим ростом, даже если это приводит к разрушению сообщества или к разрушению благосостояния, или к разрушению духовного здоровья цивилизации. Вот почему я не согласен с этой моделью — в ней отсутствует массивный элемент. Все сводится к капиталу и способности к инженерии реальности, что является сложной темой, которую мы рассмотрим позже. Это массивный сдвиг, с которым мы сталкиваемся, и он начинается сегодня. Теперь это также приводит к ситуации, когда способность или потенциал человечества создавать ценность взлетает до небес.

Если вы сделаете это правильно, если вы примете эту новую эру ОИИ правильным образом, понимая формулу: капитал × способность к инженерии реальности. И вы оптимизируете и максимизируете свой капитал, например, объединяя его с другими умными людьми, которые говорят: «Давайте объединим наш капитал и совершим великие дела». А затем вы добавляете способность к инженерии реальности — способность понимать, как инженерить реальность. Как Илон, например, это как генеральный директор Nvidia, который знает, как это делать. Это люди, которые знают, как инженерить реальность и использовать капитал. И вы видите, что эти парни знают, как инженерить реальность в мире бизнеса. Но чего нам сейчас не хватает, так это культурных лидеров.

Нам нужны люди, которые действительно могут инженерить реальность, думая о том, что способствует человеческому процветанию. Как выглядит полное человеческое процветание, и как его создать? И это означает возрождение более глубокого духовного элемента внутри человечества, духовного принципа. И это, верно, пробуждение к этому внутри сообщества. И то, что он говорит там, это верно. Если у вас сейчас много капитала, вы находитесь в очень важном положении в целом. Потому что куда бы вы ни направили этот капитал, определенные компании, определенные люди и определенные идеи действительно поднимутся на вершину.

Например, если Tesla выпустит 2500 дроидов или 2,5 миллиарда дроидов, подумайте о власти Tesla. Она сможет покупать нации. Ее ВВП будет вторым или третьим в мире. Так что капитал станет чрезвычайно важным. Но то, что я вижу, — это появление людей, у которых есть эти две вещи: видение или навыки инженерии реальности, потому что они изучали прошлое. Они построили собор. Они построили высшее сознание и высшую культуру внутри себя. И они объединяют этот дух с другими людьми. То, что они создадут, — это новые прототипы жизни для большего человеческого процветания. И самое безумное в том, что капитал следует за жизненной силой.

Например, если бы у нас был город, скажем, из сотни крутых парней — предпринимателей, людей способных, людей, которые воскрешают сознание собора, более высокое состояние сознания, внутри себя и в своем сообществе. И у них есть видение того, как жить более высоким образом вместе. Что я создаю в своей жизни с сообществами вокруг себя — это как мы возродим истинное значение братства, истинного сообщества, и вернемся к своего рода духовной власти, верно? Когда у вас это происходит, капитал следует. За последний год я разговаривал с несколькими мультимиллионерами, а также с правой рукой одного миллиардера. И многим из этих парней очень интересно то, что я делаю, потому что они хотят видеть возрождение культуры.

У них есть благородные чувства, и они хотят снова увидеть процветание Запада. Им нужно что-то с жизненной силой. И если вы сможете показать им: «Смотрите, мы что-то строим. Мы используем интернет, чтобы отфильтровать весь мир и найти родственные души. Мы собираем их вместе. И мы не идем по пути хиппи-коммуны или культовой заблуждения. Мы сосредоточены на строительстве новых городов, на возрождении культуры». Когда вы приходите с этим, очень основательно, с отличной командой вокруг себя, капитал последует за вами. И если вы сможете внедрять новые технологии, такие как интернет, Биткойн, ИИ, чтобы служить этой высшей мечте, если вы сможете просто создать небольшие прототипы этого, Боже мой, капитал последует за вами.

И я только что разговаривал с другом на днях, он хочет строить новые города со мной. Он полностью за эту идею. Он считает, что это единственный путь вперед по мере того, как общество продолжает рушиться. Он не хочет жить в больших городах. Мы все хотим жить в деревнях наших друзей, верно? Он спрашивает: «Как нам это сделать?» И мы разговаривали об этом, и оба поняли, что мы находимся в одном рукопожатии от сотен миллионов долларов. Я в одном рукопожатии от человека с сотнями миллионов долларов. И он тоже. И многие из вас в одном-двух рукопожатиях. Вот что я имею в виду. Так что если вы сосредоточитесь на реальных человеческих связях, на создании своей «волчьей стаи», на поиске других через интернет, используя такие вещи, как YouTube — я встретил большинство своих лучших друзей.

Я собираюсь путешествовать по миру с несколькими людьми из «мужской академии». И я продолжаю общаться с другими ютуберами, с людьми, создающими потрясающие вещи по всему миру. И я собираюсь отправиться в путешествие, от сообщества к сообществу, собирая людей, налаживая связи.

И знаете что? Практически все, с кем я общаюсь, на одной волне: нам нужно строить новую культуру, новые города, новые деревни, верно? Так что это лишь вопрос того, сможете ли вы объединить их в более высокое видение, общую идею, и начать строить культуру?

И как любое здание, любой крупный бизнес или любой крупный проект, это начинается с отношений.

Так что для нас сейчас главная задача — да, вы можете готовиться к будущему, пытаясь накопить ресурсы и построить бункер, или вы можете создать устойчивое сообщество. Налаживайте отношения, начните делать это в своей реальной жизни. Найдите тех, кто осознает меняющийся миропорядок, и начните строить более высокую культуру внутри себя и приобретать навыки, которые будут полезны для грядущей культуры. Друзья мои, грядет расхождение. Это так очевидно для меня. Я чувствую это каждую ночь, когда смотрю на звезды. Я просто знаю, что прямо сейчас происходит массивное расхождение и появляется огромная возможность для человечества.

И если вы — кто-то, у кого есть капитал, верно? Начните использовать свой капитал, чтобы инвестировать в компании, которые могут «взорваться», как Tesla, но также обратите внимание на молодые и жизнеспособные племена и лидеров, которые поднимаются и имеют реальный потенциал. Если вы верите в меня, подойдите, поговорим, потому что нам нужно объединить капитал с способностью к инженерии реальности. А это выглядит как «волчьи стаи» с высокой жизненной силой и высокой способностью. Идея лидерства вернется с новой силой, с огнем.

Потому что если вы сможете использовать все эти ресурсы, ИИ, интернет и все эти вещи, чтобы поддержать группу лидеров, Боже мой, так появляется новая культура. И я уже это вижу. И по телефонным звонкам, которые я делаю, по людям в моем окружении, с которыми я общаюсь — это будущее, друзья мои. Они получат колоссально высокую доходность по сравнению с другими. И вы, если вы акционер. В этой новой экономике эти люди всегда были успешны, но в этой новой парадигме их успех взлетает до небес, и успех подобных им организаций. А «взлетает до небес» означает, что сейчас Tesla — это просто компания, например.

Но в будущем, я говорю о следующих 24 месяцах, Tesla превзойдет большинство стран по размеру и мощи. То же самое верно и для других высокомасштабных и фондовых компаний, управляемых ИИ. И очень скоро, вы знаете, я делал некоторые расчеты, и думаю, что Tesla в 2030-х годах будет третьей по величине экономикой мира. Одна только Tesla будет третьей по величине экономикой, крупнее Германии, по объему генерируемых денег. И другие акции, подобные Tesla, тоже могут достичь этого. Вы можете прочитать об этом. Не знаю, полностью ли я согласен с его сроками опять же, но тем не менее, этот парень кажется очень умным и разбирается в рынках. Я действительно думаю, что компании обойдут правительства.

Как это безумно! И это своего рода движение к антиутопии, к технократам-властелинам и последнему человеку. Вы можете инженерить любую реальность, какую захотите. Вы также увидите как часть этого массивное разрушение геополитической стратегии и баланса геополитической силы. Потому что теперь, помимо большой битвы между Китаем и США, у вас есть Россия и Европа — старые проблемы, верно? Эти большие центры силы борются.

Что произойдет, если вы добавите в этот геополитический стратегический микс Индию, Бразилию, США, Европу, Россию, Китай?

Что если вы добавите горстку гиперкомпаний, которые на самом деле более мощны, чем большинство из них?

И я говорю о полном влиянии, контроле над спутниками, контроле над космосом, контроле над разведкой, контроле над оружием.

Это становится довольно футуристично, но это интересный мысленный эксперимент, когда компании становятся более мощными, чем правительства. Представьте Palantir и Tesla, например, Palantir, развертывающий системы обороны на базе ИИ, и Tesla со всеми ее роботами и спутниками. Безумно об этом думать. Но также короткое замечание: Европа и Россия, Северная Америка и Китай. Эти напряженности нарастают. Я имею в виду, Америка и Китай буквально находятся в войне ИИ и торговой войне прямо сейчас, которая так же плоха, как Холодная война 60-х или 50-х годов.

Да, друзья мои. Ситуация накаляется на всех уровнях. Это время, которое было предсказано всеми нашими художниками, нашими пророками, нашими религиями. Мы не переживали такое время с самого начала. Это время — точка сингулярности? Я имею в виду, просто цикл в сто лет, когда великие войны между великими державами имеют тенденцию случаться каждые сто лет, мы приближаемся к этой точке, мы приближаемся к массивным, массивным изменениям, друзья мои. А также к полному религиозному и культурному упадку на Западе, который станет тяжелее, прежде чем станет лучше. Но я думаю, что все это приведет к возрождению в маленьких карманах, у людей, которые уйдут, чтобы действительно возродить что-то новое.

В любом случае, все это произойдет в следующие 36 месяцев. И я знаю, возможно, некоторые из вас не согласятся, но дело не в несогласии. Я прав насчет этого, и вы это увидите.

Так что происходит с геополитикой?

Появляются новые корпоративные игроки. Да, знаете что? Вы можете сражаться весь день. Это просто массивный сдвиг власти. Не только между странами и этими новыми компаниями, но и страны не могут сопротивляться. Многие мои европейские друзья говорят: «Ну, если вам не нравится, мы просто создадим союзы или примем закон, запрещающий развертывание или развертывание этого автономного вождения в наших странах».

Это фундаментально. Хорошо, я хочу перейти к бифуркации планеты, но затем я также хочу поговорить об инженерии реальности основательно, потому что инженерия реальности — самое безумное в том, что когда вы получаете доступ к большему капиталу и большей власти благодаря технологиям, угадайте что? Ваши навыки в строительстве вещей, в знании того, что соответствует материальному миру, законам мира и законам успеха, становятся еще более важными. И вот почему знание традиции очень важно, а также навыки в бизнесе. Этот синтез. Мы углубимся в это через секунду. Ментально меняется. И мы говорили о том, как эти новые корпорации, мегакорпорации, возглавляемые ИИ, возьмут верх и заменят многие правительства.

Но какое все это имеет отношение к вам и мне?




Что ж, вот очень плохие новости, а затем, возможно, хорошие. Произойдет массивная бифуркация населения. Мы вступаем в одну из самых бурных эпох в истории человечества, потому что это изменение мировой формулы экономики — из «ценность = капитал × труд × технология» в «ценность = просто капитал × инженерия реальности» — это полный сдвиг всего. Теперь это открывает неограниченный человеческий потенциал, не поймите неправильно, неограниченный для всех и каждого, кто понимает это, что инженерия реальности теперь ключ ко всему.

Капитал даже не так важен, потому что у каждого, если вы быстро научитесь, есть доступ к какому-то капиталу, прямо или косвенно. Так что капитал — не проблема. Проблема в мышлении инженерии реальности.

Отточили ли вы свои навыки и встречаете ли вы других людей, чтобы отточить их навыки в представлении будущего и приступить к работе по его быстрому созданию?

Именно там. Оттачивание наших навыков, чтобы на самом деле строить лучшее будущее. У большинства людей очень плохие идеи, когда дело доходит до строительства будущего, и вы видите это в бизнесе. Есть, например, новый стартап-город под названием Проспера.

Я мало что о нем знаю, так что не ссылайтесь на меня ни в чем из этого. Но из того, что я слышал, они получили массивный приток капитала для создания этой новой биотехнологической, биткойн-утопии нового города, но очень плохое исполнение. И это на самом деле повсеместно. Если какой-то «малыш из трастового фонда» получает все эти деньги, а затем пытается открыть бизнес, этот бизнес обычно отстойный. Потому что он не шел шаг за шагом, строя медленно в соответствии с рынком, в соответствии с миром. И вот почему инженерия реальности на самом деле очень трудна, по опыту, знаете, даже создание канала на YouTube, создание маленького бизнеса и создание чего-то в моей жизни.

Большинство идей, которые у меня были в моем пути, были ошибочными. Они были ошибочными в высокой степени. Теперь прекрасное в том, что я неумолим и продолжаю двигаться вперед, учась на своих ошибках, как любой предприниматель: вы делаете тысячу и одну ошибку, прежде чем найдете что-то, что работает. И чтобы хорошо разбираться в инженерии реальности, теория заключается в том, чтобы хорошо понимать идеи, которые работают, и как их на самом деле внедрить в мир. Любой, кто строил какой-либо крупный проект, понимает, о чем я здесь говорю.

Вот почему развитие ваших навыков в построении сообщества — например, просто собирать пять парней каждое воскресенье — может научить вас так многому о групповой динамике, о лидерстве, о том, что на самом деле связывает людей вместе, верно? Создание бизнеса может научить вас так многому о том, что на самом деле ценно для людей, чего люди действительно хотят. Идеи в вашей голове обычно ошибочны.

Так что нам нужно развивать навыки в плане того, как мы строим новые города, инфраструктуру, сообщества, духовную практику, верно?

Нам нужно построить новые Афины. Я снял целое видео об этом, я оставлю ссылку в конце, о строительстве нового города и строительстве новых Афин. Но Афины — это народ, это нация. У нее есть общая духовная идентичность и общая социальная связь, которая говорит: «Это мы.

Мы гордимся тем, кто мы есть, и вот куда мы движемся, и вот наши ценности. Вот как мы используем технологии». Друзья мои, построить что-то подобное требует столько проб и ошибок. И я даже вижу это в «мужской академии», где каждый звонок... у меня есть планы того, чего я хочу, но я в целом отказываюсь от планов. Речь идет больше о построении отношений, о создании совета мужчин, которым вы доверяете, верно, мужчин с хорошими идеями, а затем через симпозиум, верно, направляя корабль, направляя процесс и адаптируясь к тому, что работает, а что нет.

Инженерия реальности — это процесс проб и ошибок, но интересное в ИИ и ОИИ то, что он может радикально экспериментировать за вас и давать вам огромное количество обратной связи быстро, так что ваш процесс проб и ошибок ускоряется. Следовательно, если у вас есть группа высококвалифицированных, умных людей, этично использующих ИИ для тестирования и быстрого получения обратной связи по идеям, и вы также наставлены традицией, тем, что работало в прошлом — что связывает людей вместе? Например, общая духовная практика. Другие вещи, которые связывают людей вместе, — это сообщество, которое танцует вместе. У которого есть общий музыкальный элемент. Сам по себе этот фактор является одним из основных показателей успеха в намеренных сообществах.

Смотрите ли вы на эти вещи, которые на самом деле ведут к процветанию?

Изучаем ли мы Древнюю Грецию, Ренессанс и высшие точки Западной цивилизации, и учимся ли мы у них тому, чему можем?

Быстро внедряем это в команде. Вот такие команды нам нужно строить — команды инженерии реальности. Если вы сможете собрать такую команду и найти за собой некоторые источники капитала, безжалостно экспериментируйте с минимально жизнеспособными продуктами. Что такое минимальная организация города? Возможно, это всего лишь 10 домов. Возможно, это просто покупка особняка и приглашение всех ваших друзей туда, чтобы посмотреть, как это — проводить время и на самом деле строить что-то вместе.

Вы столкнетесь с таким множеством проблем. Но для тех пионеров, которые преодолеют эти проблемы в ближайшие 10-20 лет, Боже мой, у вас будет величайшая возможность в истории человечества. Возглавить что-то совершенно новое. Я полностью в это верю. Я полностью привержен этому и вижу, как это происходит. Не делая вид.

Не так ли?

И поскольку большинство людей, отчасти в рамках этого навыка — навыка инженерии реальности — должны столкнуться с реальностью, вам нужно развить критическое мышление, вам нужно развить экономическое мышление, мышление о доходности, прагматическую инженерию, целостную инженерию.

Это включает в себя то, как вы строите людей, организации и все виды вещей. Люди, которые придерживаются неправильных видов мышления, которые отрицают реальность, которые погружаются в свои собственные «пузыри», будут раздавлены, потому что в прошлом, если вы плохо мыслили, если вы плохо привлекали себя к ответственности, если вы верили в какие-то сумасшедшие политические теории, посмотрите на глобальное потепление и изменение климата, посмотрите на левые идеологии, социалистические — все эти вещи в прошлом, где они были просто небольшим «повреждением мозга», вы просто немного ошибались во всем.

Каково было наказание за то, чтобы быть немного социалистом, за веру в климатические мифы?

Я не говорю, что изменения климата нет, но нарратив об изменении климата и все, что связано с мифами, как мы знаем на данный момент. Так что если вы верите в эти вещи, наказание за неспособность ясно мыслить было очень ограниченным. Представьте, вы студент в колледже и немного социалист, личное наказание за это, ну и что, говорите глупые вещи. Даже если вы обычный человек, ходящий на работу и имеющий обычную работу, вы можете думать глупые вещи, и вас не наказывают. Но в будущем, будущее — это сейчас, вас будут наказывать. Вас будут наказывать самым суровым образом.

И вот как: если вы не способны правильно мыслить о реальности и эффективно ее преобразовывать, вам нельзя быть глупым в этом. Вам нужно научиться быть правым в отношении реальности. И если вы этого не сделаете, у вас не будет возможности создавать ценность. Теперь это может звучать теоретически. Он абсолютно прав здесь. И это будет смешно, потому что мое видение будущего — это появление повсюду всех этих децентрализованных сообществ, децентрализованных городов. И также самоуправление, которое, надеюсь, будет на блокчейне, более прозрачное, подотчетное. Мы еще даже не приблизились к тому, что может сделать что-то вроде интернета для объединения единомышленников, людей с общим духом по всему миру в новые сообщества, основанные на ценностях.

А также с удаленной работой и всем этим — это так возможно, это происходит. Это происходит во многих местах, например, Vita DAO, кажется, в Италии. Повсюду появляются разные сообщества. Интересно, однако, что по мере того, как люди осознают необходимость быть с другими людьми, они осознают потенциал инженерии реальности с помощью робототехники, ОИИ и интернета. Многие люди захотят строить сообщества. Они захотят строить города. Это естественный шаг для предпринимателей. Но если они... Я вижу в децентрализованных цивилизациях, что каждый получает возможность опробовать свои политические идеологии, что будет хаосом, это будет смешно, но слава Богу.

Вместо того, чтобы иметь пару сотен национальных государств, которые все в рамках либерализма или либерального миропорядка, мы можем иметь все эти разные государства. Например, если кто-то очень хочет реализовать идеи разнообразия, равенства и инклюзивности (DEI) и открытых границ, они могут основать город, который полностью об этом. И они привлекут это племя, основанное на ценностях, но, думаю, оно, вероятно, распадется, потому что они ничего не знают о построении этноса и общей духовной идентичности. Все, что они знают, — это деконструкция духовной идентичности, поэтому они будут в хаосе. И дело в том, что этот хаос будет расти, развиваться и почти мгновенно рухнет.

И это круто в том, куда мы движемся. Если идея сетевого государства действительно появится, где люди смогут строить сообщества, основанные на ценностях, и пробовать различные политические системы, различные способы взаимоотношений друг с другом, это на самом деле приведет к реальному разнообразию. Потому что настоящее разнообразие проистекает из концентрации, концентрации народа, общего духа и этноса, верно? Оно проистекает из этой концентрации, и это на самом деле создает культуру. Культура проистекает из границ и концентрации, и принятия тех, кто соответствует общему духу, который вы создаете.

Я буквально вижу культуру как дух, проявляющийся через народ. Вот почему все эти материалисты, и технократы, и апологеты мира упускают эту часть уравнения, потому что культура проистекает из духа. Это дух, проявляющийся через народ, верно? И будет действительно интересно со всеми этими децентрализованными племенами. Например, если бы у вас был капитал, чтобы купить остров, верно? Вам нужно развернуть роботов для земледелия и всего этого, даже в очень малом масштабе. Вы могли бы сделать это сегодня. Миллиардер покупает остров и хочет основать новое децентрализованное сообщество. Возможно, на этом острове более космополитическая атмосфера, много судоходства, много торговли.




Вы могли бы экспериментировать с собственной формой управления, собственной формой экономики и всем этим. Но я думаю, что сообщества, которые выживут, восстановят баланс экономического принципа. Это для меня главная мысль о том, куда мы движемся. В прошлом, по сути, вся современность определялась мерой прогресса, основанной только на экономике, капитализме, верно? И я вроде бы правый антикапиталист, если вы понимаете мою позицию. Есть много людей справа, которые считают, что свободные рынки и капитализм... Но этот капиталистический принцип подменил высшую духовную идентичность, духовную власть.

И то, и другое должно существовать в балансе: духовная идентичность, духовная власть (государство) и экономика. Эти три движущие силы. И нам нужно создать баланс между ними, чтобы создать систему, которая действительно работает для людей, а не людей, работающих для системы.

Цель — полное человеческое процветание?

И если мы посмотрим, что означает полное человеческое процветание с высшей духовной точки зрения, верно? Вы переписываете эту модель. Вы переписываете модель, которая определяла современность, и вы можете начать достигать реального прогресса.

Ведь что для вас прогресс?

Что для вас успех?

Любой, кто прошел через какое-либо духовное пробуждение, снова задается этими глубокими вопросами.

Что такое смерть?

Какова цель жизни?

Как выглядит успех для меня?

Что самое важное?

Как достойно встретить смерть?

Как хорошо жить?

Как жить хорошей жизнью?

Обществу придется задать эти вопросы. И это, думаю, возродит более «вечную философию». А «вечная философия» основана на вечных вопросах. Тех вопросах, которые я только что описал. «Вечный» означает «непреходящий». Самые важные вопросы человеческой жизни.

Таким образом, этим новым сообществам, этим новым городам, нужны инженеры реальности — люди, которые очень способны на материальном плане, верно? И умны здесь. Но у них есть более высокая духовная связь, чтобы они задавали вечные вопросы и строили общество, которое не просто построено вокруг экономического принципа прогресса. Но построено вокруг более целостного взгляда на человеческий потенциал и человеческий прогресс. Вот куда нам нужно двигаться. И вот почему идея воина-жреца для меня просто потрясающая. Я сделаю еще одно видео на эту тему о воине-жреце. Потому что братства воинов-жрецов, будь то самураи или рыцари-тамплиеры, можно увидеть на протяжении истории.

Это мужчины, которые преуспевают в материальном мире, верно? И преуспевают в высшем мире, в мире бытия или духовном мире. И нам нужно и то, и другое. Нам нужно строить братство. Нам нужно строить племена, которые работают над максимизацией процветания, связи, материально и духовно, иначе мы тоже останемся позади. Нам нужно быть хозяевами земли и неба, друзья мои. Вот что я вижу. Вот что я хочу построить — такое братство. Иначе мы просто погрузимся глубже в материализм, глубже в нигилизм, глубже во все искусственное. Жизнь кажется такой пустой без этих глубоких связей сообщества, этой глубокой связи с духом и глубокой связи с высшим идеалом, который направляет наши жизни.

Друзья мои, в каждом из нас есть этот духовный импульс быть частью чего-то большего, верно? Быть частью большего сообщества в великой миссии вместе в космос, верно? Мы все хотим быть частью чего-то большего, а современность не дает нам ничего в плане быть частью чего-то большего.

Чувствуете ли вы себя частью своего города, действительно частью его, своей нации? Чувствуете ли вы себя действительно частью своего духовного сообщества? Чувствуете ли вы себя действительно частью какого-либо великого проекта, который вы строите в жизни?

Нет.

В лучшем случае вы чувствуете себя на 10% частью этой корпоративной работы, которая пытается завлечь вас выходными на пляже и столом для пинг-понга в подвале. Вы вроде бы чувствуете себя частью своего сообщества, но вы на самом деле не знаете и не любите своих соседей. Вы не пойдете и не умрете за своих соседей. В сообществе нет взаимозависимости. Мы больше не чувствуем себя частью чего-либо. Глобализм разрушил связи, постмодерн деконструировал все общие ценности, и теперь «все дозволено», «все в порядке». И типа, «ок, это хорошо». Это устранило догмы. Это освободило людей к более свободному духу, верно? Но теперь пришло время снова схватиться за корни. Корни западной цивилизации, корни того, что значит быть человеком, и строить вверх.

Все, что мы делали последние 200 чертовых лет, — это строились наружу, горизонтально. Больше материальных вещей, больше впечатлений, больше знаний. И вся эта хрень становится бессмысленной, когда вы теряете собор. Когда вы теряете центральную точку, священный центр общества. Когда мы теряем сознание собора: что значит подняться вверх в большем почтении, связи с Богом, связи с сообществом — что священно в жизни? И когда у вас нет связи со священным, материальный мир бессмысленен, верно? Вот что я имею в виду для инженеров реальности, для лидеров будущего: вам нужно развиваться на земном плане в плане ваших деловых навыков, вашей способности на самом деле строить сообщество вокруг себя через быстрый процесс проб и ошибок.

Но в то же время подчинять все это высшему духовному принципу. И это начинается с внутреннего духовного пробуждения и построения настоящего сообщества вокруг этого. Спасибо, что досмотрели до конца эту пламенную речь, друзья мои. Я здесь, чтобы строить город. Я посвящаю этому всю свою жизнь. Я хочу строить город. Я хочу, чтобы вокруг меня были единомышленники, родственные души, которые вдохновляют меня, которые зажигают меня, и которые хотят строить что-то большее вместе. Давайте сделаем это, друзья мои. Возможно, я грандиозен, но это истина в моем сердце.

Никлас Лундблад о том, как ИИ может ускорить науку и свое собственное внедрение

Источник

Интернет был технологией связи. Внезапно мы получили возможность общаться со всем миром. Искусственный интеллект, напротив, задает нам вопросы о том, кто мы такие, а не о том, с кем мы общаемся. Это совершенно иной тип вопросов. В Швеции уровень доверия очень высок, поэтому такая компания, как Klarna, могла появиться именно здесь. Вы просто сообщаете им свой личный идентификационный номер, и сразу же можете пользоваться услугами «купи сейчас, заплати позже», и никто не оспорит это. Очень немногие скажут: «Это был не я».

В странах с низким уровнем доверия такая бизнес-модель не сработала бы, поскольку отсутствует соответствующая регуляторная база, нет доверия и нет социального капитала.

Почему так важно задавать вопросы?

Вопросы — это фундаментальная часть знания. Раньше мы думали, что знание — это список известных фактов: Земля круглая, температура тела 37 градусов и так далее. Но на самом деле то, что вы *знаете*, представляет собой ряд ответов на вопросы. Какова приблизительная географическая форма Земли? Какова средняя нормальная температура тела человека? Эти ответы идеально сочетаются с вопросами. Если вы хотите получить новые знания, вы должны изменить вопросы. Я считаю, что одна из ключевых задач — развивать нашу любознательность и проявлять интерес к миру. Вопросы становятся здесь главным инструментом.

Когда мы с Фредди Кранбергом (он профессор философии в Линчёпингском университете) писали книгу, мы делали это потому, что не могли найти хороших книг о вопросах — о философии вопросов, о биологии и эволюции вопросов, о вопросах в культуре. Мы были поражены, поскольку считали, что вопросы — это одна из вещей, которая отличает нас от многих других явлений в природе. И также одна из вещей, в которой мы на удивление хороши, даже по сравнению с некоторыми моделями искусственного интеллекта, которые мы создаем. Поэтому задавать вопросы чрезвычайно важно.

Какой вопрос вы задаете себе в последнее время?

Вопрос, который меня сейчас очень интересует: как нам совместить прогресс и сложность? Потому что весь наш прогресс генерирует новую сложность, которая требует нового прогресса.

И для меня сочетание прогресса и сложности, то, как мы справляемся со сложностью, абсолютно необходимо для нашего развития как общества.

Существует ли стандартная процедура при внедрении новых технологий в наше общество?

Нет, стандартной процедуры не существует. Мы делаем это совершенно по-разному. Часто новые технологии можно рассматривать как способ моделирования: внедрение новой технологии увеличивает сложность в обществе. Обычно у нас есть социальные механизмы, например, институты, которые по-разному поглощают сложность. Они помогают нам регулировать технологию, понимать, развертывать, использовать ее различными способами. Один из ответов на возросшую сложность в обществе — это изменения и сдвиги в том, как мы институционально мыслим или принимаем решения вместе. Технологии приходят не постепенно.

Технологические прорывы не являются плавными. Они часто происходят в том смысле, что вы получаете много технологий сразу. И даже если мне не нравится метафора «радиус поражения», я думаю, можно сказать, что технологии приходят кластерами. Одна технология порождает другие. Это явление наблюдается с технологиями общего назначения, которые затем создают целую вторую волну, что означает, что вместо плавной технологической эволюции, когда вы внедряете новую технологию каждые сто лет, вы внедряете новую технологию, а затем происходит Кембрийский взрыв ее применений. Это означает, что возникает так много различных вариантов использования, меняющихся социальных моделей и экономических моделей, с которыми приходится справляться. Именно здесь вступают в действие институты.

Институты разработаны так, чтобы быть медленными, потому что инерция является ценностью для учреждения. Но в этих переломных точках, когда происходят технологические изменения, эта ценность также в наибольшей степени противоречит нашей потребности в адаптации.

Всегда ли возникают одни и те же вопросы с появлением новых технологий?

Я не думаю, что это обязательно одно и то же. Я помню, как появился интернет, и вокруг него был ажиотаж, и нам всем пришлось к нему приспосабливаться. Это сильно отличалось от того, что мы видим сейчас. И на то, что это отличается, есть одна основная причина, и Кристин (Петтерсон, соучредитель Foresight Institute) правильно ее определила: эта технология очень многое говорит о нас. Она очень близка к тому, кто мы есть. В некоторых случаях мы почти построили ее как зеркало.

Я возвращаюсь к мысли о том, что в основе всего проекта искусственного интеллекта лежит мягкий нарциссизм. Мы хотим построить что-то, что немного похоже на нас, чтобы мы могли отражаться в этой технологии и думать, насколько мы велики, потому что нам удалось построить что-то похожее на нас, ведь мы — венец эволюции. Таким образом, в проекте присутствует этот своего рода мягкий нарциссизм. И я думаю, что это также бросает нам вызов совершенно иным способом, чем, скажем, интернет. Интернет был технологией связи. Внезапно мы могли общаться со всем миром. Было много проблем с тем, что информационные монополии, которые до этого принадлежали, например, национальным государствам, распались со множеством различных последствий, пока они не были вновь консолидированы в 2015 году и после.

Искусственный интеллект задает нам вопросы о том, кто мы такие, а не о том, с кем мы общаемся. Это совершенно иной тип вопросов. Вот почему, я думаю, вы видите больше страха, больше беспокойства вокруг искусственного интеллекта, чем вокруг многих других технологий. И, возможно, не безосновательно, потому что это технология, которая действительно ставит под сомнение наше представление о себе, если мы не будем осторожны. Я думаю, что ошибочно рассматривать искусственный интеллект как зеркало, потому что то, что мы строим, очень сильно от нас отличается. Лучше думать об искусственном интеллекте как об очень странном, экзотическом артефакте, который вы нашли в лесу, и теперь пытаетесь понять, что он делает, откуда он взялся и что он может. Вам нужно подходить к нему совершенно с нуля и пытаться изучать его.

Потому что если вы подходите к искусственному интеллекту, думая, что это нечто вроде вас, вы попадете во всевозможные когнитивные ловушки. Вы попадете в ловушку Деннета, которая по сути сводится к смешиванию компетенции и понимания, когда вы думаете, что если что-то очень хорошо справляется с чем-то, то оно также понимает, что делает. Понимание отличается от компетенции в этих артефактах, и мы это знаем, потому что мы их тестировали по-разному. Все эти различные когнитивные ловушки просто ждут, чтобы заманить нас, если мы верим, что эта технология больше похожа на нас, чем на самом деле. Это нечто другое. Это более странно, необычно и экзотично, чем большинство людей думают, потому что большинство людей думают, что мы строим зеркало.

Что вы думаете о различии между ИИ и ОИИ (общим искусственным интеллектом)? Это специфический порог возможностей или нечто иное?

Единого определения нет. Существует множество различных определений. Одно из них — экономическое, согласно которому ОИИ возникает, когда модель искусственного интеллекта может выполнять все экономически значимые действия или определенный процент экономически значимых действий, которые могут выполнять люди. Некоторые считают, что это версия теста Тьюринга, когда что-то другое достаточно хорошо имитирует и так далее. Так что версий множество. Мне нравится вопрос, который Демис Хассабис недавно задал в интервью на конференции Google I/O. Когда его спросили, что такое ОИИ, он ответил, что единого определения нет. Но его интересует, каков когнитивный потенциал человеческого мозга, какие задачи и проблемы он может решить.

Если смотреть на архитектуру, а не на наше текущее состояние, то если представить человеческий мозг и класс возможных проблем, которые он мог бы успешно решать различными способами, то, я думаю, мы получим гораздо более интересный вопрос, который не сводится к тому, чтобы общий искусственный интеллект был похож на человека, а скорее абстрактный вопрос: какие проблемы может решить общий интеллект? Если вы подумаете о классе всех проблем, с которыми мы сталкиваемся, вы можете спросить себя: «Это огромное пространство поиска». Человеческий мозг способен искать в этом пространстве определенными способами. А что насчет того, что мы строим? Может ли оно искать решения новым способом? Если так, то можно сказать, что общий искусственный интеллект на самом деле будет гораздо шире человеческого интеллекта, потому что он сможет находить совершенно другие решения в этом пространстве.

Здесь есть аналогия, которую я нахожу довольно интересной. Если вы подумаете о том, как эти машины играют в шахматы или го, мы обнаружили нечто действительно интересное в их игре. Если вы «засеете» игры человеческими знаниями, они в итоге будут играть очень похоже на людей, хотя и лучше. Они могут победить вас. Но если вы полностью удалите человеческие знания из этих моделей, они начнут играть исключительно хорошо и совершенно не по-человечески. Есть много свидетельств от шахматных и го-мастеров, которые говорили, что, играя с этими машинами, они чувствовали себя так, будто играют с инопланетянином, потому что игра была настолько иной. Они делали вещи, неслыханные в человеческой игре в шахматы или го. Это кое-что нам говорит.

Это говорит нам о том, что если пространство возможных шахматных партий — это ландшафт приспособленности с вершинами и долинами, то мы взобрались на очень локальную вершину. И мы очень счастливы на вершине этой локальной вершины. Именно там мы становимся шахматными мастерами. Мы очень хороши. Но чего мы не знаем, так это того, что где-то есть глобальная вершина, которая намного, намного выше в этом ландшафте. И когда вы отпускаете общий интеллект на такой ландшафт приспособленности, он может находить глобальные вершины. И я думаю, что почти все человеческие знания, вероятно, похожи на это. Вся человеческая наука, все человеческие знания — это, вероятно, локальная вершина в гигантском ландшафте приспособленности знаний, где мы очень счастливы, сидя на вершине нашей локальной вершины.

И мы не знаем, что существует множество глобальных вершин. Таким образом, для меня ОИИ — это способность искать глобальные вершины в ландшафте приспособленности, когда речь идет об универсальных знаниях о мире.

Что вы думаете о временных рамках появления ОИИ?

Нет, я не занимаюсь прогнозированием сроков. Я давно решил, что не буду этого делать. Я думаю, мы должны действовать так, будто это близко. Здесь есть эвристика: если вы думаете, что грядет нечто очень преобразующее, вы должны действовать так, будто это близко, потому что это делает вас лучше подготовленными. Поэтому я думаю, что эвристика такова: думайте, что до этого пять-десять лет, потому что тогда вы будете лучше подготовлены с точки зрения институтов, регулирования, рамок и даже вашего собственного ментального настроя.




Почему вы не прогнозируете сроки? И как мы должны думать о новой волне ИИ, чтобы планировать ее управление?

Причина, по которой я не прогнозирую сроки, заключается в том, что исторические данные показывают, что у меня это плохо получается. Я стараюсь не заниматься тем, что у меня получается хуже всего. Что касается подготовки, я думаю, нам нужно создавать механизмы для изменений. Конечно, есть люди, которые утверждают, что мы должны все замедлить, остановить или приостановить. Можно разумно спорить о том, возможно ли это: вероятно, хорошие ребята сделают это, а плохие нет, и это проблема. Но я не хочу этого. Я хочу механизмов для изменений. Я бы хотел, чтобы наши институты создали «учебные обсерватории». Как изменится наше образование, если у нас будет доступ к неограниченному познанию? Если познание, способность мыслить, станет чем-то вроде электричества, коммунальной услуги.

Если у вас есть «когнитивность», так что всякий раз, когда вам нужно немного подумать, вы можете просто подключиться к ней и внедрить это в учреждение. Как изменится образование? Что мы можем делать по-другому? Каковы основные виды деятельности, которыми мы все еще хотим заниматься как люди? И что мы можем делегировать нашему расширенному фенотипу? Это действительно интересный вопрос. Я думаю, что для полиции, для обороны, для всех этих различных институтов у нас должны быть такие же постоянные диалоги, структурированные учебные обсерватории, размышляющие о том, что мы собираемся делать и как мы должны меняться. Итак, первое, что мы делаем, это строим эти адаптивные, почти слушающие механизмы, которые позволяют нам понимать грядущие изменения.

Во-вторых, я думаю, нам следует попытаться понять, как применяется существующее законодательство, потому что многие законы не просто отменяются, если вы внезапно что-то делаете с ИИ. И это тема для обсуждения с юристами и другими специалистами в области права: как вы будете судить это конкретное дело, если беспилотный автомобиль врезался в кого-то? Чья это вина? Существуют довольно сильные правила ответственности, по которым мы можем это продумать и обсудить правильное решение. И я думаю, что этого тоже не хватает. В-третьих, я бы сказал, что в некоторых случаях нам также необходимо специальное законодательство, где разумно, например, ввести тестирование безопасности. Мы выступаем за создание институтов безопасности. Мы считаем важным иметь стандарты безопасности. Мы считаем важным публиковать карточки моделей и так далее.

Как представитель отрасли, я участвовал в создании Frontier Model Forum. Причина, по которой мы его создали, когда я еще был в DeepMind, заключалась в том, что мы верим, что отрасль несет ответственность за обмен передовым опытом и различными стандартами, и это само по себе может информировать других о том, как развивается эта область. Так что есть много вещей, которые нам нужно привести в порядок, если мы верим, что эта технология, или даже если мы просто используем эвристику, что технология может появиться скоро.

Что вы думаете о подходе «ИИ-инструмент», когда мы фокусируемся на развитии узкого ИИ и его применении в различных областях, например, в здравоохранении или для координации? Не упустим ли мы в этом случае более значительные результаты от ОИИ? Или лучше отдавать предпочтение ОИИ?

Это хороший вопрос.

Я в некоторой степени готов позволить рынку решить это, потому что я думаю, что существует спрос на такой ИИ, который вы описали, — более надежный, например. Я думаю, это был Эндрю Ын, который однажды сказал, что в ближайшие пять-десять лет большая часть денег в ИИ будет получена от обучения с учителем, что, вероятно, не так уж и далеко от истины. Существуют простые технологии, простые методы, которые можно использовать по-разному. И вам не нужно стремиться к полномасштабному ОИИ, если вы хотите создать лучшую систему оптимизации цепочки поставок. Так что, я думаю, будет спрос на это. Думаю, многие такие решения будут созданы. Мы видим, что это происходит уже сегодня, спрос на развертывание, потому что это также способ получения прироста производительности от ИИ на первой волне.

И затем, я думаю, будут люди, компании и организации, которые все еще хотят исследовать ОИИ. У нас пока нет полной дорожной карты. Мы не знаем, как попасть туда отсюда. По сути, это просто согласие на исследования. И я думаю, что это очень хорошая идея, потому что это исследование не только приближает нас к ОИИ, что может быть хорошим результатом, и вы можете быть агностиком в этом отношении, но оно приближает нас к более энергоэффективному ИИ, к более ресурсоэффективному ИИ, к более безопасному ИИ по мере того, как мы строимся к ОИИ. Так что ОИИ как исследовательская программа дает нам все эти хорошие вещи, которые затем могут стекать в узконаправленный ИИ-инструмент, который вы описали.

Так что, я думаю, они по своей сути связаны по-разному. И поэтому для меня то, как мы распределяем наши ресурсы между общей и узкой программой, будет в значительной степени определяться рыночным давлением. И я думаю, что это также очень трудно изменить. Мне было бы очень трудно сказать, что вы хотите запретить исследования в области ОИИ, но вы вполне довольны узконаправленным ИИ. Как вы узнаете, что узконаправленные ИИ нельзя комбинировать? На самом деле, если вы подумаете о том, как сейчас развиваются архитектуры, у вас есть понятие «смеси экспертов», где есть модульные модели с узконаправленными экспертами, но они объединяются, чтобы стать ОИИ. Допустим, вы создали свой ИИ-инструмент, а потом, внезапно, когда у вас их пять, вы говорите: «О нет, у нас ОИИ.

Что нам теперь делать?» Так что это очень концептуально, я думаю, очень трудно понять, как можно построить одно и не построить другое.

Какие конкретные применения ИИ вызывают у вас наибольший энтузиазм?

Я думаю, здравоохранение интересно, и я действительно думаю, что мы увидим много приложений в здравоохранении. Если просто просмотреть то, что публикуется сейчас в академических статьях, то, я думаю, масса материалов публикуется по здравоохранению, что, на мой взгляд, очень интересно, а также по образованию и энергетике. И я думаю, что все эти три сектора готовы к возможному преобразованию этим видом технологий. Что касается энергетики, это проблема оптимизации. Если вы сможете оптимизировать энергетические потоки различными способами, я думаю, это будет очень хорошо.

Энергетика довольно интересна, потому что я также думаю, что энергетика, если говорить о новых технологиях в целом, должна измениться с точки зрения того, как мы ее производим и как мы строим сетевые топологии энергии. В настоящее время у нас есть несколько очень крупных центров, которые производят энергию и отправляют ее повсюду. Таким образом, у нас много потерь энергии в сети различными способами. И я думаю, что нам нужны различные виды энергетических сетей и различные виды передачи энергии. Можно представить, что один из способов осмысления энергетических сетей, которые у нас есть сегодня, заключается в том, что они очень похожи на телефонные сети.

Мой друг, Йонас Бершон, недавно запустил компанию, в которой он по сути сказал: «Нет, я стану Cisco энергетической сети», строя маршрутизаторы, которые могут прогнозировать и работать с различными видами спроса на энергию, децентрализуя энергетическую сеть в нечто, что будет открыто для местного производства солнечной энергии, или аккумуляторной энергии, или чего угодно. Таким образом, я думаю, что энергетическая сеть нуждается как в изменении, так и в оптимизации. И возникает интересный вопрос: не замедлит ли ИИ-оптимизация энергетических сетей необходимую трансформацию сети? Так что в этом секторе, я думаю, есть множество очень интересных компромиссов, и он недостаточно изучен, не в последнюю очередь потому, что в будущем нам понадобится гораздо больше энергии для ИИ. Здравоохранение, я думаю, тоже очень интересно, потому что наша способность лучше понимать пациентов, если мы просто записываем разговоры с ними, транскрибируем их и заносим в базы данных, огромна.

Если у вас также есть анализ настроения, анализ тональности, вы можете услышать, когда пациент нервничает, или вы можете услышать что-то в его голосе. Так много богатых прогностических данных, которые мы можем получить из взаимодействия с пациентом, в настоящее время теряются. И если вы затем подумаете, что вы также могли бы агрегировать это различными способами, так что вы получите то, что по сути было бы радаром здоровья. Если вы знаете, что грипп находится в этой конкретной части Лондона на этой неделе, вы можете выделить вакцины пожилым людям, которые находятся рядом, чтобы их шансы справиться с гриппом возросли. Такая проблема распределения также может быть решена очень интересно с помощью ИИ. Образование сложнее, потому что мы должны понять, к чему мы хотим, чтобы образование приводило, какие образовательные результаты мы считаем хорошими.

И если мы верим, что образование — это то, что в первую очередь дает нам внутренние знания, на которые мы можем ссылаться и которые становятся частью нас и того, как мы становимся зрелыми, реальными, интерактивными людьми, тогда у нас одно представление об образовании. Если мы считаем, что образование основано на навыках и должно по сути дать вам набор навыков, тогда у нас другое. Если мы считаем, что это способ превратить вас в гражданина, тогда у нас третье. Так что образование, я думаю, является одной из самых интересных областей для размышлений о том, как ИИ может преобразовать и как он не должен преобразовывать определенные его части. Все эти три области будут очень важны, но та, которая меня больше всего восхищает, та, которая действительно вселяет в меня надежду, — это наука.

Способность использовать искусственный интеллект для поиска новых научных открытий невероятно захватывает. Потому что если нам это удастся, если мы сможем ускорить темпы науки так, чтобы получить 100 лет ожидаемого научного прогресса за

 следующие 10, я думаю, это лучшая ставка, которая у нас есть для решения вопроса о сложности. Мы можем получить непрерывный прогресс, если сможем использовать науку для решения сложности, которую создает прогресс. Это верно для поиска новых лекарств, поиска новых материалов, поиска новых математических, физических прозрений. Вы можете фактически представить себе мир, в котором наука автоматизирована, и постоянно существует набор крупных центров обработки данных с, я думаю, «нацией ученых», как писал Дарио Амадей в одном из своих эссе, которые работают над этими проблемами.

И в конечном итоге, я бы даже... Есть две перспективы. Одна — давайте построим лучшего ученого, что является интересной перспективой, потому что тогда, если вы подумаете, что такое ученый, это тот, кто проводит научные исследования в рамках теории. И это ценно. Но теории — это разветвления и концептуальные рамки для того, что может делать этот ученый. Теперь есть два вида процессов открытия в мире. Один — научный, где вы начинаете с теории и как бы развиваете ее с помощью гипотез, экспериментов и всего такого. Это принесло нам много пользы. То, что мы, возможно, теперь имеем шанс сделать, это построить а-теоретическую науку. А-теоретическая наука уже существует. Природа изобрела ее. Она называется эволюцией. Эволюции неважно, какая у вас теория физики.

Эволюция будет использовать то, что есть, чтобы получить преимущество. Вот почему мы сейчас, много-много лет спустя, обнаруживаем, что существуют квантовые явления, которые использовались эволюцией в биологических системах. Например, способность птиц ориентироваться или способность растений превращать солнечную энергию в хлорофилл и так далее. Все это фактически, в квантовой биологии, было обнаружено, что имеет определенные квантовые эффекты, которые эволюция просто использовала, потому что они были там. Эволюция полностью а-теоретична. Она просто находит вещи, которые работают, механизмы, которые дают возможности, которые позволяют нам делать вещи и развивать наш репертуар вариантов, когда мы взаимодействуем с миром.

Поэтому я думаю, что на самом деле очень интересный способ мышления о будущем науки заключается в следующем: почему бы нам не построить а-теоретическую науку, которая просто исследует то, что есть? Это потребовало бы сделать что-то действительно крутое, например, сказать: «Хорошо, мы собираемся построить огромные сенсорные сети, и вы можете построить столько сенсорных сетей, сколько захотите, и они могут измерять любое количество физических или биологических качеств. И мы просто будем загружать эти огромные наборы данных, и мы позволим ИИ находить в них закономерности». И когда он находит закономерности, которые полезны, ему не нужна теория. Закономерности, которые полезны для достижения чего-то, тогда он будет документировать их, и мы превратим их в машины. Но в этот момент происходит что-то интересное. В этот момент мы как бы теряем видимость в науке.

Она становится непрозрачной. Ее становится очень трудно объяснить. И поэтому вопрос здесь, в какой-то момент мы можем оказаться в ситуации, когда нам придется выбирать: научный прогресс или научное понимание. И это круто, потому что это одна из тех вещей, которые предсказал научный фантаст Станислав Лем в своей сумасшедшей книге 1960-х годов «Сумма технологии», где он пишет о мире, в котором мы начнем «собирать» научные идеи, как мы собираем пшеницу. Мы не очень понимаем пшеницу. Мы не знаем, как она растет. Все эти вещи для нас своего рода непрозрачны. Мы просто знаем, что пшеница очень полезна для нас. Возможно, мы сможем собирать науку таким же образом, потому что у нас есть а-теоретические научные системы, которые постоянно находят вещи, которые работают, не будучи в состоянии объяснить нам, почему они действительно работают.

Представьте себе человечество. Это научно-фантастическая история, которую вы бы написали. Человечество, обладающее огромным количеством возможностей, но при посещении инопланетянами не способное объяснить, почему мы можем делать то, что можем. Или представьте, с другой стороны, человечество, наконец, нашедшее внеземную цивилизацию, которая очень развита, и мы надеемся у нее учиться. А они говорят: «Мы не знаем. Это просто работает. Оно работает уже тысячи и тысячи лет. Никто на самом деле не понимает этого, но это довольно здорово». И поэтому, возможно, существует некий горизонт объяснения сложности науки, за которым мы просто будем наслаждаться возможностями, навыками и прогрессом, которые мы можем получить от науки, но мы не будем в нее вовлечены.

Можно ли сказать, что мы слишком переоцениваем успех AlphaFold и его вклад в науку, учитывая, что для этого требуются очень качественные данные и хорошие бенчмарки, которые встречаются не во всех науках?




Я думаю, что у Дэвида Бейкера есть веский аргумент, потому что это действительно требует большого количества данных и их структурирования. AlphaFold, и работа, которую он проделал, действительно требуют наличия четкого представления о том, как измерять прогресс в проблеме свертывания белков. В других науках этого не будет. Но я думаю, что у нас много данных, и мы можем создавать и собирать много данных, которые помогут нам довольно быстро добиться прогресса в науке. Так что, я думаю, да, мы переоцениваем, если думаем, что начинаем с современной инфраструктуры и наборов данных.

Абсолютно. Если мы просто возьмем то, что у нас есть сегодня, это будет немного сложно. Но я не думаю, что мы переоцениваем, учитывая потенциал, который у нас есть для сбора новых наборов данных, создания новых видов научных областей. И тогда, я думаю, мы действительно правы, проявляя энтузиазм по поводу того, куда это может привести.

Может ли ИИ помочь ускорить собственное распространение, в отличие от других технологий, которые распространяются медленно и неравномерно?

Я думаю, что есть вероятность. Есть две теории. Первая гласит, что технология всегда распространяется по цивилизации с одинаковой скоростью и всегда распространяется с встроенным социальным неравенством, что означает, что Глобальный Юг получает все в последнюю очередь.

И если вы хотите выбрать базовый сценарий, это, вероятно, лучший выбор, потому что так было во многих исторических случаях. Теперь интересно рассмотреть то, что ИИ немного отличается от электричества или интернета. И причина в том, что он может научить вас, как его использовать. Возьмите простой пример. Мои друзья, которые не особо глубоко разбираются в ИИ, иногда спрашивают меня: как мне использовать эту технологию? И я всегда говорю им одно и то же: спросите ее, потому что у нее будет лучший ответ, чем у меня. Недавно у меня был очень забавный случай со старым другом, когда я объяснял ему, как все это делать. И я сказал: «Не забудь изменить системный промпт. Ты хочешь, чтобы в системном промпте в системе последняя строка была: «Расскажи мне что-то, чего ты не видел, чтобы я делал с тобой раньше, что удивит меня, что я могу делать с тобой сейчас»».

Никлас Лундблад о том, как ИИ может ускорить науку (окончание)

Так что если ваш системный промпт всегда делает это, каждый раз, когда вы используете технологию, вы становитесь лучше в ее использовании и понимаете, что она на самом деле может делать. Одно из того, что я считаю современной стратегией общего достояния, заключается в том, что у нас есть эта фантастическая технология. И я бы предположил, что большинство из нас, кто ее использует, используют ее значительно менее эффективно, чем могут, потому что мы ее недооцениваем. Мы недостаточно настойчивы. Первый совет, который я даю людям, — спросите ее, спросите, что она может. А второй — будьте неразумны. Будьте совершенно неразумны, когда взаимодействуете с технологией. Требуйте того, что вы абсолютно уверены, что не сможете получить, и время от времени вы будете удивлены. И вот что интересно.

Он потом написал мне по электронной почте: «Мне это действительно показалось интересным. Как мне — не могли бы вы помочь мне, вы знаете, сказать, как мне изменить системный промпт?» Я ответил ему по электронной почте: «Спросите его». И он такой: «О да, точно». И потом он сделал это, и ему удалось это изменить. И вот что, я думаю, так интересно. Я думаю, эта технология могла бы ускорить свое собственное распространение. Она могла бы быть развернута очень хорошо, как только мы начнем использовать ее, чтобы понять, где она лучше всего развернута и в каком порядке мы можем ее развернуть. Конечно, будут некоторые галлюцинации. Будут некоторые вещи, которые мы не захотим делать с этим, когда будет предложено развернуть это здесь или там. Но это может быть самораспространяющаяся технология.

Если вы помните интернет, вам приходилось, еще в 1996 году, я был частью небольшой образовательной фирмы, которая проводила курсы по интернету. Мы учили людей серфить в сети, что, я просто говорю о себе, я, ну, когда динозавры жили на Земле. Но у нас действительно были эти курсы, и мы учили людей использовать поиск с булевыми операторами и все эти разные вещи. И вам приходилось это делать, чтобы люди получали пользу от интернета. Теперь вы можете просто сказать любому, любого возраста: спросите его, поговорите с ним, посмотрите, что вы можете сделать. И это означает, что фактор распространения, фактор образования в уравнении распространения выглядит по-другому. Достаточно ли этого, чтобы это распространялось быстрее, чтобы это распространялось более справедливо? Я не знаю, но я надеюсь, что это возможно.

И я думаю, что в отношении справедливости нам все еще нужна инфраструктура. Нам все еще нужно электричество. Все эти вещи все еще должны быть. Так что не стоит быть слишком наивными по этому поводу. Но, возможно, если кто-то где-то думает об этом, пытаясь понять, как лучше всего справиться с этим на Глобальном Юге, начнет спрашивать машину: «Что я могу сделать лучше всего?» — мы получим совершенно новые решения, о которых раньше не думали. И это может помочь нам сделать это хорошо.

Что вы думаете о концепции цикла хайпа Gartner?

Цикл хайпа Gartner — это по сути описание того, как технология входит в сознание публики и на рынки. Он начинается с раннего ажиотажа, когда все считают это фантастическим, приходят ранние пользователи и говорят, что это лучшая технология в истории.

Вы видите много упоминаний в СМИ и так далее. Затем, через некоторое время, ажиотаж спадает, и вы попадаете в «корыто разочарования», что, я думаю, является прекрасным названием. Это когда люди говорят: «О, эта технология все равно не такая уж и хорошая и не сделала того, что мы от нее ожидали. И, знаете ли, мы думали, что она сделает все это, а оказалось, что она не так уж и полезна». А затем, через некоторое время, вы понимаете, что, ну, на самом деле она все равно полезна. И вы выходите на «плато продуктивности». Итак, у вас есть хайп, корыто разочарования и плато продуктивности. Я думаю, справедливо сказать, что многие технологии проходят через это. Вы могли видеть это с Интернетом, вы могли видеть это и в других местах. А некоторые технологии никогда не выходят из корыта разочарования. Они просто оказываются чистым хайпом.

А некоторые выходят. Если вы вернетесь примерно к 1999 году, когда мы много говорили о цикле хайпа Gartner, был огромный ажиотаж вокруг «push-технологии», идея которой заключалась в том, что вместо простого просмотра и «вытягивания» у вас будет маленькое устройство на рабочем столе, и информация будет автоматически «проталкиваться» к нему. И это было так фантастично по-разному. И «push-технология» была, как считали многие аналитики, бизнесом на миллионы, триллионы долларов. А сейчас мы даже не знаем, что это такое. Мы не знаем, что значит говорить о «push-технологии». С другой стороны, сам интернет оказался довольно продуктивным. И в 1999 году были циклы хайпа вокруг таких вещей, как XML, которые также оказались довольно продуктивными. Это примерно цикл хайпа Gartner.

Где, по вашему мнению, сейчас находится ИИ на цикле хайпа Gartner?

Я думаю, мы находимся в «корыте разочарования», движемся к «плато продуктивности», но это очень по-разному для разных людей. Люди находятся в разных точках цикла хайпа.

Что такое парадокс Солоу?

Парадокс Солоу назван в честь Роберта Солоу, лауреата Нобелевской премии по экономике. Он отметил, кажется, в 80-х годах, что компьютеры можно увидеть повсюду, кроме статистики производительности. Итак, парадокс Солоу заключается в том, что мы вкладываем все эти деньги в компьютеры, но при этом не наблюдаем роста производительности. И это стало огромной проблемой в экономике, потому что почему мы не видим роста производительности от компьютеров? Есть несколько возможных объяснений, в том числе то, что мы измеряем не те вещи.

Когда мы измеряем ВВП, что является способом оценки роста производительности, мы упускаем такие вещи, как Википедия, потому что ее стоимость в ВВП равна нулю. У нее фактически нет реальной ценности. И вопрос в том, как мы оцениваем это? Как мы оцениваем тот факт, что теперь у нас есть доступ к триллиону, триллиону фотографий? Такие вещи не отображаются в статистике производительности, как она традиционно понималась. И есть еще одна причина: технологии требуется время, чтобы распространиться. И вы можете увидеть небольшой рост производительности от компьютеров, но через 20 лет, вот так.

Но парадокс Солоу по сути о том, если технология так велика, почему мы не богаче? Что такое эффект Красной Королевы?

Эффект Красной Королевы на самом деле изначально из биологии, но это очень интересное явление, где, если вы подумаете об эволюции и адаптации, и скажете, что эволюция по сути означает, что организмы все лучше и лучше приспосабливаются к своей среде, то по мере того, как эволюция продолжается и длится очень долго, вы должны ожидать, что видов будет вымирать все меньше и меньше, потому что все лучше и лучше приспосабливаются к среде, поэтому люди должны оставаться.

Модели вымирания должны стабилизироваться, и темпы вымирания должны снижаться. Однако, глядя на палеонтологические данные, мы видим, что это абсолютно не так. Темпы вымирания постоянны. Это очень, очень странно. Так почему же? Оказывается, ответ в том, что вы приспосабливаетесь не только к окружающей среде. Вы приспосабливаетесь и ко всем этим другим «гадам», которые тоже приспосабливаются к окружающей среде.

Таким образом, вам приходится постоянно конкурировать с другими, чтобы адаптироваться, что означает, что, как говорит Красная Королева, «вам нужно бежать изо всех сил, чтобы оставаться на том же месте». Вы всегда будете конкурировать по двум осям: с другими и с окружающей средой. Это означает, что для конкуренции со временем требуются те же усилия. Теперь причина, по которой мы используем это в технологии, заключается в том, что это связано с тем, о чем мы начали говорить, со сложностью, где у нас есть ситуация, в которую мы решили себя поставить, когда мы производим благосостояние и прогресс с помощью технологий и инноваций. Но по мере того, как мы это делаем, мы также производим больше сложности. И с этой сложностью нам приходится иметь дело, что означает, что нам нужно больше технологических инноваций, чтобы продолжать производить больше благосостояния и прогресса, потому что иначе сложность нас замедлит.

Когда мы производим больше сложности, чем можем смягчить, тогда мы оказываемся в ситуации, которую Джозеф Тейнтер, философ, антрополог и историк, описал как быстрое упрощение. Быстрое упрощение — это по сути просто коллапс. Он написал книгу «Коллапс сложных обществ», где утверждает, что общества, которые не могут справиться со сложностью, которую они производят, рушатся. Итак, феномен Красной Королевы, когда мы думаем о нем в контексте ИИ или технологий в целом, это тот факт, что даже если мы очень гордимся инновациями, которые у нас были исторически, нам нужно по крайней мере столько же инноваций в будущем, чтобы справиться со сложностью, которую мы приобрели, когда приобрели прогресс и благосостояние.

Таким образом, требуется все наше движение, чтобы оставаться на том же месте с точки зрения сохранения нашего улучшения.

Как нам ориентироваться в ландшафте регулирования ИИ? Может ли регулирование быть пространством для инноваций, а не только для управления рисками?




Описание, которое вы даете, интересно. Наша стандартная модель регулирования сегодня такова: США — это «иди, делай, что хочешь, laissez-faire», Европа — это чрезмерное регулирование и превращение Европы по сути в регуляторный музей, а Китай — это военно-гражданский проект, где мы будем делать то, что лучше всего для партии. Это своего рода стандартная модель, которую люди имеют в голове. Я думаю, что все сложнее. Я бы на самом деле сказал, что в США существует более 1000, я думаю, теперь, различных регулирований на уровне штатов.

Таким образом, вы видите огромное количество регулирования, происходящего на уровне штатов в США, что означает, что если вы просто посчитаете количество регулирований или если вы просто посчитаете количество строк регулирования, вы обнаружите больше в США, чем в Европе, что несколько контринтуитивно. Большинство людей не считают, что это правда. И в Европе, я думаю, одной из вещей, от которых всегда зависело европейское регулирование, является имплементация. То есть, как это реализуется через государства-члены? Что фактически придумывают государства-члены? И каков способ интерпретации регулирования, который внедряется на рынок? И вот где мы находимся сейчас с переговорами по Кодексу поведения и другими вещами с Офисом ИИ в Европейском Союзе. И у них действительно есть шанс сделать это лучше на этапе имплементации.

Так что, возможно, им не придется регулировать себя в большой музей под открытым небом. И если вы посмотрите на китайцев, уровень контроля, который китайская партия имеет над местными китайскими компаниями, вероятно, немного меньше, чем обычно предполагается. И я думаю, что на данный момент в ИИ вливается масса предпринимательства. И партия отступает, потому что поняла, что прежнее подавление технологического сектора было не совсем успешным с геополитической точки зрения. Когда регулирование может быть полезным? Я думаю, регулирование полезно, когда оно создает ясность и предсказуемость для людей, работающих с вещами, которые по своей сути неопределенны. Поэтому я хочу, чтобы регулирование говорило мне: это я могу делать, а это не могу. И если это так, и я знаю, что это стабильно надолго, и баланс разумен, то мне хорошо.

Тогда я могу работать в этих рамках. Я также хочу, чтобы регулирование было симметричным, а не асимметричным. Если вы регулируете американскую компанию, вы должны так же регулировать и европейскую компанию. Я думаю, что регулирование, которое по-разному регулирует малые компании, крупные компании, американские компании, европейские компании, создает странные эффекты. И они не обязательно так уж полезны. И, наконец, я думаю, регулирование должно быть бережливым. То есть, выясните, каковы ключевые проблемы, а затем попытайтесь решить эти ключевые проблемы и не пытайтесь учесть все возможные варианты. Мне нравится, когда регулирование новых технологий оставляет что-то для реализации, потому что я думаю, чем больше вы можете оставить для реализации и руководящих принципов в случае появляющихся технологий, тем лучше, потому что они появляются.

Если вы, например, подумаете о проблеме чрезмерного регулирования детализированных технологий, у вас есть интересный пример Европейского закона об ИИ, где много внимания уделялось моделям ИИ общего назначения. И что это такое? Как мы должны о них думать? Что мы должны делать? И так далее. Частично причина заключалась в том, что рассмотрение закона в парламенте произошло, когда был запущен ChatGPT. Таким образом, законодательство имело несчастье быть очень публичным в том смысле, что все обращали внимание именно на те вопросы, которые были в Законе об ИИ. Это теперь кажется почти причудливым, когда мы смотрим на Кодекс поведения, когда мы смотрим на Закон об ИИ, потому что то, что сейчас действительно происходит, и это гораздо интереснее, — это агентивный ИИ.

Итак, как вы думаете об агентах, делегировании возможностей агентам, оркестрации агентов, подобного рода вещи? И, возможно, если бы у вас было более общее законодательство, сфокусированное на риске, и то, что Комиссия пыталась изначально сделать в проекте Закона об ИИ, это было бы лучше адаптировано для решения меняющихся парадигм в технологии, чем текущие регулирования.

Какой порядок действий мы должны предусмотреть для агентивного ИИ?

Я думаю, что в законодательстве мы уже продумали проблему агента во многих различных местах. Например, если вы работаете в компании, вы можете быть представителем этой компании с определенными полномочиями, и эти полномочия являются единственными, с которыми вы можете связывать компанию. Таким образом, идея должностной инструкции, имеющей юридический мандат, уже присутствует в законодательстве.

То же самое, если вы родитель и у вас есть ребенок, вы несете ответственность за то, что делает ребенок. Ребенок не может заключать контракты самостоятельно. Люди должны спрашивать вас об этом. Если вы владелец домашнего животного, вы несете абсолютную ответственность, если ваша собака кого-то укусит. Такие отношения «принципал-агент» существуют в законодательстве по-разному. Я думаю, что продумать, как мы хотим, чтобы это работало сейчас, действительно интересно. И вам может даже не понадобиться законодательство. Возможно, вам нужны стандартные шаблоны контрактов. Представьте, что учреждение говорит: «Вот пять различных видов агентских контрактов». И агент должен заявить при встрече с вами, по какому контракту он действует. И вы даже можете представить себе агентов, модифицирующих эти контракты сами.

Я недавно написал в своей колонке о понятии Alexa Gentia, где агенты могут сами разрабатывать такую юридическую структуру. И она может даже быть нечитаемой для человека. Это может быть что-то совершенно новое, потому что мы всегда думаем, что наш способ заключения контрактов и наше регулирование — это вершина в ландшафте приспособленности. Но ваше регулирование похоже на шахматы. Большинство контрактов и большинство правовых норм, которые у нас есть, вероятно, являются локальными вершинами. Так что вы можете думать о различных способах реализации этого. Мое мнение таково, что, возможно, это то, что мы должны попробовать сделать в первую очередь, но быть предельно ясными в этом. Если вы хотите что-либо требовать, требуйте, чтобы агент заранее заявлял контрактную рамку, в которой он действует, например.

Я думаю, это было бы очень интересно. И я думаю, мы также должны быть внимательны в том, как мы думаем об агентах. Существует множество очень интересных концептуальных философских ловушек, когда вы думаете об агентах. Одна из них заключается в том, что простейшее описание агента — это петля. Это нечто, что постоянно циклично. И тогда кто на самом деле устанавливает условие, когда петля прекращается или где петля запускается, это становится регуляторной проблемой. Некоторые люди говорят об автономных агентах, что, я думаю, является неправильным названием, потому что если вы автономны, вы решаете, что делать. А автономия — это то, что есть у людей, но пока нет у компьютеров. Это как когда люди говорят об автономном вождении. Если вы садитесь в автономный автомобиль, он будет решать, куда ехать, а не вы.

Рынок таких автомобилей, что вполне понятно, довольно скуден. Так что нужно быть очень осторожным с понятием автономии и агентов. И это возвращает нас к чему-то действительно интересному, и на самом деле к научной или исследовательской проблеме, которая также недостаточно изучена. И это то, что мы на самом деле не знаем, что такое агентность и как ее построить. Если вы подумаете об интеллекте, мы начали с искусственного интеллекта, а теперь возвращаемся к искусственной агентности. Эволюция сделала все наоборот. Эволюция началась с агентности. И причина, по которой агентность появляется в эволюции, заключается в том, что эволюции нужен способ, и я сейчас персонализирую эволюцию, и все биологи будут меня за это ненавидеть, но я делаю это исключительно в объяснительных целях.

Я это сказал. Но причина, по которой эволюция придумывает агентность, заключается в том, что ей нужно решать проблемы субгенерационного отбора. Эволюция может решать проблемы, позволяя приспособленным особям выживать и размножаться, а менее приспособленным организмам — нет. Но ей нужен способ выйти за рамки этого временного масштаба и также создать способность для отдельных особей принимать решения. Если вы, как эволюция, проектируете этого жука, и у него есть прекрасный камуфляж, и он никогда не перемещается со светлых поверхностей на темные, где камуфляж работает, то камуфляж абсолютно не имеет селекционной ценности. Если вы также даете этому жуку агентность, чтобы он мог перемещаться на более темные поверхности, где камуфляж работает, камуфляж начинает иметь селекционную ценность.

И вы значительно расширили количество вещей, которые могут иметь селекционную ценность. Итак, агентность порождает агентность. Если у вас есть способность чего-то хотеть, вы можете хотеть того, чего хотите. И когда эта петля продолжается, вы попадаете в «странную петлю» Дугласа Хофштадтера, которая является сознанием и интеллектом. Таким образом, агентность, направленная на агентность в петлях за петлями, превращается в интеллект, превращается в сознание. Это своего рода одна объяснительная модель того, как возникает сознание. Есть множество других. И у меня есть своего рода слабое предпочтение к этой, потому что она очень хорошо связывает агентность и интеллект. Реальность такова, что мы начали с интеллекта и пытаемся построить его, а затем вернуться к агентности.

Но мы на самом деле не построили искусственную агентность, потому что если мы построим искусственную агентность, то мы построим то, что чего-то хочет, а не то, что мы хотим. Именно так агент в настоящее время понимается. Если вы построите истинного агента с реальной агентностью, то он будет хотеть чего-то по-своему. Он будет тем, что Дэвид Кракауэр, директор Института Сент-Дофин, называет «телеономной материей», материей, которая чего-то хочет. Мы и есть такая материя. Мы — то, что хочет чего-то. Хотим ли мы привнести в мир другую материю, которая хочет чего-то, которую мы создали? Это один из крутых вопросов, на которые нам предстоит ответить в ближайшие 10 лет.

Может ли агентность быть эмергентным свойством, которое мы создадим непреднамеренно?

Да, это вполне возможно.

Как наши культурные предубеждения влияют на наше взаимодействие с вопросами управления и регулирования ИИ? Например, культурная предрасположенность шведов доверять властям и учреждениям по сравнению с американским недоверием.

Я об этом не думал, но это интересный вопрос для изучения. Я думаю, один из вопросов, о которых мы обычно думаем, это что означает социальный капитал на рынке для видов вещей, которые вы можете регулировать, и как вы их регулируете. Социальный капитал — это способ описания того, насколько велико доверие на рынке. Например, в Швеции очень высокий уровень доверия, что означает, что такая компания, как Klarna, могла появиться в Швеции, потому что все, что вам нужно сделать, это сообщить им свой личный идентификационный номер. И тогда вы несете ответственность за платежи. И тогда вы можете немедленно пользоваться услугами «купи сейчас, заплати позже», и никто не оспорит это.

Очень немногие скажут: «Это был не я». В странах с более низким уровнем доверия, если бы вы попытались сделать это, скажем, в одной из южноамериканских стран с низким уровнем доверия, это не сработало бы. Такая бизнес-модель невозможна, потому что отсутствует регуляторная база, нет доверия и нет социального капитала. Так что вы находитесь на рынке с низким социальным капиталом. И поэтому я действительно думаю, что здесь есть разница между рынками, где высокое доверие к правительству, и рынками, где его нет. Я полагаю, это может проявляться в том, что там, где высокое доверие к правительству, мы примем ИИ в правительстве гораздо быстрее. Например, в настоящее время шведы заполняют свои налоговые декларации, просматривая то, что им присылает государство, а затем отправляя СМС в ответ и говоря: «Да, выглядит правильно», что является высоким уровнем доверия.

И поэтому, если бы с ними связался ИИ-агент, говоря: «Эй, это ваш налог. Вы согласны?» Они, вероятно, большинство сказали бы: «ОК, звучит хорошо». Так что такие государственные приложения могут появиться раньше в обществах с высоким уровнем доверия, чем в обществах с низким уровнем доверия. В целом, когда речь заходит о обществах с высоким уровнем доверия, я думаю, есть такая проблема, что когда доверие рушится, его очень трудно восстановить. Тогда как в обществе с низким уровнем доверия вам действительно нужно строить доверие со временем. И если вы его построите, тогда у вас может быть что-то довольно надежное, я полагаю. Но я об этом не думал. Так что, я думаю, это интересный вопрос.

Думаю, стоит подумать, будут ли общества с высоким уровнем доверия наблюдать различные виды регулирования, когда речь идет об ИИ. Возможно, более быстрое распространение в здравоохранении. Может быть, это одно. Возможно, в более персонализированных условиях.

Какие сценарии использования ИИ особенно интересно рассмотреть в контексте доверия?

Интересно рассмотреть такие сценарии использования, когда в обществах с низким уровнем доверия может быть быстрее принято использование ИИ-терапевтов. Это связано с тем, что люди могут не захотеть рассказывать что-либо человеческому терапевту, который мог бы сообщить об этом полиции или кому-либо еще. Таким образом, ИИ-терапевты могут стать более популярными в обществах с низким уровнем доверия. Это слабая гипотеза, но довольно интересно подумать о том, как это может развиваться.

Каково ваше любимое видение будущего, которое вселяет в вас надежду на будущее человечества?

Любознательность, организованная таким образом, чтобы позволить всем нам участвовать в ней и исследовать пределы нашего знания и знания человечества, — вот все, на что я надеюсь. Если мы сможем достичь этого и продолжать быть любознательными на все более мощных уровнях, я думаю, это будет действительно, действительно интересно. И это моя любимая версия будущего. Я в этом отношении, наверное, своего рода «Стар Трек». Мне нравится отправляться в разные места и исследовать новые рубежи. Было бы хорошо, если бы мы не убивали друг друга, и не было войн и всего такого. Но я думаю, что на любознательности хорошо сосредоточиться, потому что любознательность со временем приводит к улучшению состояния человека.