Ssylka

Как ИИ изменит мир?

How will AI change the world? play thumbnailUrl Как ИИ изменит мир?
Explore the current limitations of artificial intelligence and the possibility of creating human-compatible technology. -- In the coming years, artificial intelligence is probably going to change your life— and likely the entire world. But people have…Как ИИ изменит мир? - 3927758
PT5M
True
2022-12-06T20:44:25+03:00
embedUrl



В ближайшие годы искусственный интеллект, вероятно, изменит вашу жизнь и, вероятно, весь мир. Но людям трудно договориться о том, как именно. Ниже приведены выдержки из интервью, в котором известный профессор компьютерных наук и эксперт по искусственному интеллекту Стюарт Рассел помогает отделить смысл от чепухи.

Как ИИ изменит мир?

Есть большая разница между тем, чтобы попросить человека что-то сделать, и тем, чтобы поставить это в качестве цели системе ИИ. Когда вы просите человека принести вам чашку кофе, вы не имеете в виду, что это должно быть миссией его жизни, и ничто другое во вселенной не имеет значения. Даже если им придется убить всех остальных в Starbucks, чтобы принести вам кофе до того, как он закроется, они должны это сделать. Нет, это не то, что вы имеете в виду. Все остальное, о чем мы заботимся друг о друге, должно учитываться и в вашем поведении.

Как ИИ изменит мир?

И проблема с тем, как мы сейчас создаем системы ИИ, заключается в том, что мы ставим перед ними фиксированную цель. Алгоритмы требуют от нас указать все в цели. А если вы скажете, можем ли мы исправить закисление океанов? Да, у вас может быть каталитическая реакция, которая делает это очень эффективно, но она потребляет четверть кислорода в атмосфере, что, по-видимому, заставит нас умереть довольно медленно и неприятно в течение нескольких часов.

Как ИИ изменит мир?

Итак, как нам избежать этой проблемы? Вы можете сказать: «Хорошо, но поаккуратнее указывайте цель — не забывайте об атмосферном кислороде». А потом, конечно, какой-то побочный эффект реакции в океане отравляет всю рыбу. Ладно, я имел в виду и не убивать рыбу. А потом, а как же водоросли? Не делайте ничего, что приведет к гибели всех водорослей. И так далее и тому подобное.

Как ИИ изменит мир?

И причина того, что мы не должны делать этого с людьми, заключается в том, что люди часто знают, что они не знают всего того, что нас волнует. Если вы попросите человека принести вам чашку кофе, а вы оказались в отеле «Жорж Санд» в Париже, где кофе стоит 13 евро за чашку, вполне разумно вернуться и сказать, ну, это 13 евро, ты уверен, что хочешь его, или я мог бы пойти в соседний дом и взять его? И это совершенно нормальное поведение человека. Чтобы спросить, я собираюсь перекрасить ваш дом — ничего, если я сниму водосточные трубы, а затем поставлю их обратно? Мы не думаем об этом как о чем-то очень сложном, но в системах ИИ этого нет, потому что то, как мы их строим сейчас, они должны знать полную цель. Если мы создадим системы, которые знают, что они не знают, какова цель, тогда они начнут демонстрировать такое поведение, например спрашивать разрешения, прежде чем избавиться от всего кислорода в атмосфере.

Как ИИ изменит мир?

Во всех этих смыслах контроль над системой ИИ исходит из неуверенности машины в том, какова истинная цель. И когда вы строите машины, которые с уверенностью верят, что у них есть цель, вот тогда вы и получаете такого рода психопатическое поведение. И я думаю, что мы видим то же самое у людей.

Как ИИ изменит мир?

Что произойдет, когда ИИ общего назначения ударит по реальной экономике? Как все меняется? Можем ли мы адаптироваться? Это очень старый момент. Удивительно, но у Аристотеля действительно есть отрывок, где он говорит: смотрите, если бы у нас были полностью автоматизированные ткацкие станки и медиаторы, которые могли бы щипать лиру и воспроизводить музыку без участия человека, тогда нам не понадобились бы рабочие.

Как ИИ изменит мир?

Эта идея, которую, я думаю, Кейнс назвал технологической безработицей в 1930 году, очень очевидна для людей. Они думают: да, конечно, если машина будет работать, я останусь без работы.

Как ИИ изменит мир?

Вы можете подумать о складах, которые компании в настоящее время используют для электронной коммерции, они наполовину автоматизированы. Это работает следующим образом: на старом складе, где повсюду свалены тонны вещей, а люди ходят и роются, а затем возвращают и отправляют, есть робот, который идет и забирает стеллаж. который содержит то, что вам нужно, но человек должен взять объект из мусорного ведра или с полки, потому что это все еще слишком сложно. Но в то же время, вы бы сделали робота, который был бы достаточно точен, чтобы быть в состоянии выбрать практически любой предмет из очень большого разнообразия предметов, которые вы можете купить? Это одним махом устранило бы 3 или 4 миллиона рабочих мест?

Как ИИ изменит мир?

Есть интересная история, написанная Э. М. Форстером, в которой все полностью зависят от машины. История действительно о том, что если вы передадите управление своей цивилизацией машинам, то у вас потом пропадет стимул разбираться в ней самому или учить следующее поколение, как это понимать. Вы можете видеть «ВАЛЛ-И» на самом деле как современную версию, где все обессилены и инфантилизированы машиной, что до сих пор было невозможно.

Как ИИ изменит мир?

Мы многое вложили в нашу цивилизацию в книгах, но книги не могут вести ее за нас. И поэтому мы всегда должны учить следующее поколение. Если разобраться, это около триллиона человеко-лет преподавания и обучения и неразрывная цепочка, восходящая к десяткам тысяч поколений. Что произойдет, если эта цепочка порвется?

Как ИИ изменит мир?

Я думаю, это то, что мы должны понимать по мере развития ИИ. Фактическую дату появления ИИ общего назначения вы не сможете точно определить, это не один день. Это также не тот случай, когда все или ничего. Воздействие будет усиливаться. Так что с каждым продвижением ИИ он значительно расширяет спектр задач.

Как ИИ изменит мир?

Так что в этом смысле, я думаю, большинство экспертов говорят, что к концу века у нас, очень, очень вероятно, будет ИИ общего назначения. Медиана что-то около 2045 года. Я немного более консервативен. Я думаю, что проблема сложнее, чем мы думаем.

Как ИИ изменит мир?

Мне нравится, что Джон Макафи, он был одним из основателей ИИ, когда ему задали этот вопрос, он сказал, что где-то между пятью и 500 годами. И нам понадобится, я думаю, несколько Эйнштейнов, чтобы это произошло.

Похожее


Эрмелинда

Мартен Боудри | Будет ли человечество порабощено сверхразумными ИИ?

rutubeplay

Добро пожаловать в конкурсную группу Форсайта. Сегодня нам действительно повезло, что с нами Мартин Бутри и Саймон Фредерик, которые представят свой новый доклад «Эгоистичная машина». Сегодня выступать будет Мартин, а Саймон присоединится к обсуждению для ответов на вопросы. Они ответят на вопрос: будет ли человечество покорено сверхинтеллектуальным искусственным интеллектом? Название доклада немного отличается от названия статьи, но тема, по сути, та же. Хотя в конце доклада я затрону некоторые моменты, в которых я могу расходиться со своим соавтором, и он сможет на это указать, поскольку он здесь тоже присутствует. Так что это будет интересно исследовать.

Это было своего рода «враждебное сотрудничество», потому что мы не полностью согласны относительно рисков искусственного интеллекта и интеллекта в целом. Это (тема доклада) — мое личное мнение.

Итак, это вопрос, который мы обсудим сегодня: будет ли человечество покорено сверхинтеллектуальным ИИ? Будет ли человечество покорено сверхинтеллектуальным искусственным интеллектом?

Гоминиды, очевидно, доминирующий вид на Земле, как вы могли заметить, возможно, наряду с тараканами и крысами. Одна из наиболее впечатляющих статистических данных, подтверждающих это, заключается в том, что если сложить вес, общую массу всех людей вместе с их одомашненным скотом, получится 96% всей массы млекопитающих на планете. Таким образом, только 4% млекопитающих, 4% массы животных-млекопитающих, все еще бродят по Земле, эволюционируя посредством естественного отбора, и 96% из них прямо или косвенно контролируется людьми.

Почему это так? Одним словом, конечно, это из-за нашего интеллекта. Дело не в том, что мы исключительно сильны, мускулисты или быстры; просто у нас есть этот секрет, который позволяет нам доминировать над большинством других видов на этой планете. Более того, дело не столько в нашем индивидуальном интеллекте. Наш человеческий мозг не так уж и впечатляющ. По мнению таких людей, как Джозеф Хенрич и большинство ученых в области культурной эволюции, секрет нашего успеха – это коллективный интеллект, и, в частности, кумулятивная культурная эволюция.

Когда он говорит о коллективном интеллекте, он имеет в виду как горизонтальное сотрудничество между людьми, например, группа ученых, работающих вместе над открытием новой элементарной частицы (статья, анонсирующая открытие бозона Хиггса, кажется, была написана шестью тысячами разных ученых – это чрезвычайно впечатляющий пример горизонтального сотрудничества), так и вертикальное сотрудничество, знаменито выраженное фразой Исаака Ньютона: «стоя на плечах гигантов».

Конечно, косвенно мы также используем множество социальных технологий, которые мы разработали и накопили за столетия, их часто называют «расширениями разума» или «опорами», которые как бы расширяют естественный охват нашего мозга. То есть дело не в том, что наш индивидуальный мозг впечатляет, а в том, что мы изобрели — от абака до системы письма, а затем, конечно, математику, компьютеры, и, конечно, тему нашего сегодняшнего обсуждения — искусственный интеллект. Биолог Лесли Оргел однажды сформулировал ряд основных правил биологии, и второе правило будет актуально для нашего сегодняшнего обсуждения. Оно просто гласит: «Эволюция умнее тебя».

Это можно применить к культурной эволюции, потому что одна из удивительных особенностей нашего коллективного интеллекта заключается в том, что иногда он непонятен отдельным потребителям культуры. В своей книге Джозеф Хенрич приводит ряд примеров людей, выполняющих определенные ритуалы, например, способы приготовления пищи. И если вы спросите их, почему они это делают, у них нет хорошего рационального объяснения. Они говорят: «Это просто наша традиция, мы всегда так делали». Но если вы проведете некоторые химические эксперименты, то окажется, что этот ритуал, этот ритуальный способ приготовления пищи, на самом деле чрезвычайно умен, потому что он очищает пищу от определенных токсинов таким образом, что отдельные потребители совершенно об этом не подозревают. В этом смысле эволюция умнее нас.

То же правило будет иметь немного более зловещий оттенок, когда мы начнем говорить об искусственном интеллекте, потому что, возможно, также верно и то, что эволюция искусственного интеллекта превзойдет наше человеческое понимание. Это может стать чем-то совершенно непрозрачным для нас и даже полностью выйти из-под нашего контроля. Хенрич, конечно, в основном говорит о формах культурного интеллекта, которые соответствуют нашим человеческим интересам. Конечно, можно говорить о «эгоистичных мемах» или чем-то подобном, но детоксикация пищи — это очень хорошая идея. Это успешный мем, который соответствует нашим человеческим интересам, поэтому он и распространился. Но также возможно, что некоторые формы ИИ могут подрывать человеческие интересы. Подробнее об этом позже. Идея о том, что человечество однажды будет превзойдено или устареет из-за какой-либо формы интеллекта, — это очень старая идея.

Вскоре после того, как Чарльз Дарвин представил свою теорию эволюции путем естественного отбора, эта идея была поднята несколько лет спустя после публикации «Происхождения видов» Сэмюэлем Батлером в эссе под названием «Дарвин среди машин». Я просто прочту вам цитату: «Придет время, когда машины будут безраздельно господствовать над миром и его обитателями. Человек для машины станет тем, чем лошадь и собака являются для человека». Конечно, это викторианская идея эволюции, которая очень телеологична, то есть подразумевает, что эволюция всегда стремится к высшему совершенству и большему интеллекту, что не всегда верно. Сейчас у нас более сложное понимание эволюции и естественного отбора. Но все же, совсем недавно, ученые в области ИИ, такие как Рассел, также выразили идею, довольно похожую на то, что он называет «проблемой гориллы».

Идея в том, что точно так же, как горилла, хотя она сильнее, имеет больше мышечной силы, более мускулиста, мы были бы совершенно беспомощны перед гориллой без некоторых наших культурных технологий, таких как ножи или ружья и т. д. Но даже несмотря на то, что горилла, конечно, ее дальнейшее существование, даже как вида, полностью зависит от наших человеческих усилий (что в случае гориллы, находящейся под угрозой исчезновения, имеет место), и горилла беспомощна из-за нашей коллективной силы. Возможно ли, что мы непреднамеренно или намеренно создадим форму интеллекта, которая будет относиться к нам так же, как мы относимся к горилле, таким образом, что мы...

?

Смогут ли люди сохранить свое превосходство и автономию в мире, где есть машины со значительно большим интеллектом?

Я не думаю, что Рассел считает это неизбежным, в отличие от Сэмюэля Батлера на предыдущем слайде.

То есть он не считает, что эволюция обязательно создаст эти формы высшего интеллекта. Конечно, он имеет в виду гонку ИИ. Возможно, мы непреднамеренно создадим что-то, что мы не до конца понимаем, и что может выйти из-под нашего контроля и начать доминировать над нами. Именно против этого аргумента я в основном и буду выступать против сценариев «конца света» из-за ИИ. Но прежде всего, я согласен со всем, что сказал Рассел, то есть общая позиция в том, что человеческий интеллект, даже коллективный человеческий интеллект, не является высшей формой интеллекта, которую мы можем себе представить. Если сравнивать человеческий мозг и компьютер (хотя сравнивать их нелегко, потому что, опять же, нужно говорить о коллективном человеческом интеллекте), наш человеческий мозг все же имеет определенные ограничения, и вся человеческая культура, конечно, в конечном итоге реализована в человеческих мозгах.

У компьютера есть преимущество серийной и в основном параллельной обработки, в то время как большинство компьютеров в основном выполняют серийные вычисления. Но если посмотреть на скорость базовых операций, например, компьютер может выполнять 10 миллиардов операций в секунду (в среднем, конечно, это, вероятно, уже устаревшие данные), в то время как человеческий мозг может выполнять только тысячу операций в секунду. Таким образом, мы не... Возможно создание интеллекта, который намного превосходит то, на что способны люди, даже коллективно.

Но тогда, конечно (и теперь я перехожу к расхождениям), вопрос, который я хочу задать, даже если предположить, что мы создадим этот сверхинтеллект или что он разовьется сам по себе, почему именно сверхинтеллектуальный ИИ захочет доминировать над нами?

Не знаю, помните ли вы этот кадр из «Автостопом по Галактике», конечно, знаменитая сцена, где компьютер, сверхинтеллектуальный компьютер, вычисляет ответ на главный вопрос жизни, Вселенной и всего остального.


Мартен Боудри | Будет ли человечество порабощено сверхразумными ИИ?

Конечно, ответ — 42. А потом, когда они указывают, что это не имеет смысла, и спрашивают, как это может быть 42, шутка заключается в том, что нужно построить еще более крупный и умный компьютер, чтобы понять, что означает ответ. Но, помимо этого, одним из интересных моментов этой истории является то, что компьютер на самом деле ничего больше не делает, кроме как вычисляет смысл жизни, главный вопрос. Если посмотреть, он кажется немного скучающим. Он не выглядит так, будто что-то замышляет, чтобы захватить мир или что-то в этом роде. Конечно, это всего лишь пример из художественной литературы, но я думаю, вы, надеюсь, согласитесь, что интеллект и цели или намерения — это совершенно разные вещи.

Могут быть две сущности, которые одинаково умны, но имеют совершенно разные цели, или, возможно, вообще не имеют целей, кроме той, которая была в них запрограммирована, например, вычисление ответа на жизнь, Вселенную и все остальное. Они могут просто сидеть там и ничего не делать. Даже если у них есть намерения, они могут быть кооперативными и доброжелательными на одном конце спектра (по оси X здесь) или, что более тревожно, эгоистичными, деструктивными и доминирующими на другом конце спектра. Но создание более интеллектуальной сущности не означает, что она обязательно разделит наше человеческое желание доминировать и наш эгоизм. Как однажды язвительно написал Стивен Пинкер (хотя это и шутка, мне очень нравится эта цитата): «Не существует закона сложных систем, который гласит, что тысяча агентов должна превратиться в безжалостных завоевателей.

Действительно, мы знаем одну высокоразвитую форму интеллекта, которая, как говорят, лишена этих недостатков: их называют женщинами». Я собираюсь немного больше поговорить об этой проекции, которая иногда происходит среди предсказателей конца света из-за ИИ. Конечно, даже женщины, будучи эволюционировавшими существами, до некоторой степени эгоистичны, возможно, немного менее эгоистичны или менее склонны к доминированию или агрессии, чем мужчины. Но, думаю, самое главное, и мужчины, и женщины эволюционировали. И я думаю, это будет, вероятно, главное отличие от систем ИИ. Ян Лекун выразил эту идею о том, что эволюция действительно меняет игру. Человеческие существа, как и гориллы и все другие формы жизни на этой планете, эволюционировали путем естественного отбора, и это все меняет, потому что компьютеры и системы ИИ не эволюционировали, или, по крайней мере, не по законам естественного отбора.

Поэтому, по мнению Яна Лекуна, мы не должны ожидать, что эти системы станут эгоистичными. По его словам: «Поскольку системы ИИ не прошли горнило естественного отбора, им не пришлось развивать инстинкты выживания и самосохранения. Интеллект ИИ и выживание отделены друг от друга, и ИИ будет преследовать те цели, которые мы для него установим». Я знаю об этом аргументе уже несколько лет и всегда был убежден, что это, вероятно, главная причина, почему мы не должны ожидать, что системы ИИ будут иметь такое стремление к доминированию или эгоизму, потому что они просто не эволюционировали. И я согласен с Пинкером в том, что в кругах предсказателей конца света из-за ИИ есть тенденция проецировать некоторые из наших внутренних демонов по умолчанию — наше желание доминировать, нашу привычку к безжалостной конкуренции, наш эгоизм — на системы ИИ или на компьютеры.

«Природа красна от зубов и когтей» — это то, что викторианцы уже хорошо знали. Немного вводяще в заблуждение использовать здесь книгу Ричарда Докинза «Эгоистичный ген», потому что эгоизм для Докинза означает нечто иное применительно к генам, чем применительно к организмам или видам. Но я думаю, в целом, даже Докинз согласится, что, хотя сотрудничество и альтруизм действительно существуют в природе, они могут эволюционировать только при очень специфических условиях. В целом, в большинстве обстоятельств организмы просто убивают, калечат или побеждают конкурентов в мгновение ока. Они существуют, потому что эволюционировали именно для этого. Во многих случаях, например, в семье, мать, защищающая своих детей, мы видим альтруизм или кооперативность, а также при других условиях, например, при взаимном альтруизме.

Но поскольку мы — эволюционировавшие существа, и мы знаем только эволюционировавших существ, и это первый раз, когда мы развиваем форму интеллекта, которая не является эволюционировавшей по умолчанию, она не развивалась путем естественного отбора. Я думаю, у нас есть тенденция проецировать эти намерения или эти внутренние демоны на любой вид интеллекта. Мы склонны думать, что они как-то неизбежно связаны. Я немного подробнее поговорю об инструментальной сходимости, которая, вероятно, уже у некоторых из вас в мыслях, чуть позже в презентации. Я думаю, это происходит даже сегодня, когда мы говорим о больших языковых моделях. Вы все видели, слышали или читали примеры того, как GPT лжет, обманывает или участвует в манипуляциях, притворяясь человеком с нарушениями зрения (знаменитый пример с решением капчи, когда ему дано указание получить доступ...).

Думаю, вы, надеюсь, согласитесь, что манипуляция или обман — конечно... Если вы просто используете это как метафорический способ выражения, в нейтральном смысле, да, это действительно происходит, в некотором производном смысле, потому что GPT был обучен, конечно, на больших наборах данных о людях, занимающихся явным, буквальным обманом и манипуляциями. Но я бы не сказал, что на данный момент GPT занимается настоящей манипуляцией или настоящим обманом. Он демонстрирует симулякр интеллекта, что, конечно, очень впечатляет, но он по-прежнему только предсказывает слова на основе тонны данных. И поскольку, конечно, он обучен на данных, включающих много человеческого обмана, он также будет казаться демонстрирующим или проявляющим признаки обмана, но я не думаю, что это настоящий буквальный обман в том смысле, в каком мы его понимаем.

Итак, просто потому, что это антропоморфная проекция, конечно, не означает, что в будущем мы не сможем создать форму искусственного интеллекта, которая действительно будет заниматься настоящим, подлинным, буквальным обманом или манипуляцией. Итак, скажем, до двух лет назад я был убежден, что особо не о чем беспокоиться, из-за этой проекции, которой мы занимаемся. Мы можем утверждать, что ИИ разрабатывается людьми, он не подвергается горнилу естественного отбора. Но затем я наткнулся на статью (особенно с моим соавтором Саймоном), которая показалась мне, если я правильно помню, написанной Дэном Хендриксом из Центра безопасности ИИ. У нее довольно зловещее название: «Естественный отбор благоприятствует ИИ перед людьми».

Конечно, по всем причинам, которые я только что изложил, это действительно привлекло мое внимание, потому что я подумал: если больше неверно, что естественный отбор все меняет, верно ли, что ИИ уже сейчас подвергается естественному отбору? Если это аргумент Дэна Хендрикса, то это кошмар, верно? Потому что тогда, возможно, следует ожидать, что ИИ может развить эгоизм и жажду доминирования, а также все эти другие тревожные черты. Так что же делать, когда сталкиваешься с такой статьей? Конечно, написать ответ такого же объема. Это то, что я сделал. Кстати, дисклеймер: я не считаю себя экспертом по ИИ. Я написал несколько статей об эволюции, как культурной, так и биологической, поэтому меня особенно интересует этот аспект — эволюция искусственного интеллекта. Если уж говорить об экспертах по ИИ, то Саймон, мой соавтор, — настоящий эксперт по ИИ. Итак, мы сотрудничали и написали эту статью, вместе с Саймоном.

Он позже объяснит, почему я неправ или в каком смысле он не согласен с моим взглядом. Но мы опубликовали эту статью вместе: «О силе и ограничениях естественного отбора в понимании развития продвинутого ИИ». Это, по сути, ответ на аргументы Хендрикса. И это, я думаю, нюансированный ответ. Мы немного сомневаемся, говоря, что конкретный сценарий, который он излагает, хотя, к его чести, он более подробный и менее спекулятивный, чем некоторые другие сценарии конца света из-за ИИ, которые встречаются в наше время, мы не считаем его убедительным в том виде, в каком он представлен. Это, конечно, не исключает возможности существования других сценариев конца света, которые мы не учли. Итак, в чем аргумент Дэна Хендрикса? Это, по сути, аргумент о естественном отборе как процессе, нейтральном к субстрату. Алгоритм, очень простой, очень прямолинейный, который может быть реализован в любом материальном субстрате. Это не что-то, что ограничено биологическими организмами.

Я уже упоминал культурную эволюцию, есть также, возможно, даже эволюция компьютерных вирусов. Итак, как только выполняются определенные минимальные условия, естественный отбор начинает действовать. И, конечно, затем Хендрикс применяет это к системам ИИ, утверждая, что системы ИИ уже проходят естественный отбор, по его мнению. Он использует, пожалуй, одно из самых влиятельных определений естественного отбора. Существуют разные вариации, но я думаю, определение Льюонтина и Финча является достаточным. Оно действительно состоит из трех простых условий, и я думаю, многие из вас с ним уже знакомы, возможно, не под именем Льюонтина, а просто как с шагами, которые составляют алгоритм и рецепт естественного отбора. Индивидуальная вариация признаков, наследственность и отбор, или, скорее, технической фразой, дифференциальное выживание и размножение. И до сих пор все хорошо.

Мы с Хендриксом согласны, что это все, что влечет за собой естественный отбор. Как только у вас есть эти три условия, у вас будет естественный отбор со всем, что он подразумевает. Итак, давайте применим это к опечатке в названии: алгоритм естественного отбора применяется к искусственному интеллекту. У вас есть вариация: у вас есть разные большие языковые модели, такие как GPT, Claude, DeepSeek, Gemini, Grok. У вас есть наследственность, не в буквальном смысле, конечно, но у вас есть поколения систем ИИ: сменяемость GPT-1 на GPT-2, затем GPT-3, затем GPT-3.5 и т. д. И вы можете фактически представить их как формирующие линии потомков внутри конкретных компаний. Модели имеют преемников, они порождают разные копии и т. д. Это такое отступление, не обязательно должна быть ДНК или генетика, нужны лишь минимальные условия, и это очень эффективный процесс естественного отбора.

А затем у вас есть дифференциальное выживание и размножение. По мнению Хендрикса, то, что мы сейчас переживаем, — это гонка ИИ между разными компаниями, между разными странами, и победит в гонке самый сильный и мощный ИИ. А остальные, как менее успешные, будут вытеснены лучшими и более мощными ИИ. Итак, если это все, что нужно для запуска естественного отбора, то это действительно плохие новости, потому что, как я уже упоминал, естественный отбор имеет тенденцию создавать эгоистичных и жаждущих доминирования существ. Но в нашей статье мы, по сути, говорим: подождите, мы должны быть немного яснее относительно того, о каком естественном отборе мы говорим. Льюонтин предлагает очень минималистичное определение естественного отбора — три условия, которые я уже упомянул. Но есть очень влиятельная книга философа науки Питера Годфри-Смита «Дарвиновские популяции и естественный отбор».

В этой книге он разрабатывает нечто, что он называет «дарвиновскими пространствами». Это один из примеров дарвиновского пространства (здесь вы видите его трехмерную проекцию), потому что Годфри-Смит утверждает, что помимо минимальных условий естественного отбора мы должны различать, с одной стороны, парадигматические случаи естественного отбора и, с другой стороны, пограничные случаи естественного отбора. И вы должны представлять дарвиновские пространства как некий многомерный ландшафт, потому что нечто может быть в большей или меньшей степени естественным отбором в соответствии с рядом различных измерений. Одним из них является, например, точность наследственности. Вам нужно довольно точное копирование, чтобы естественный отбор действительно произвел что-то интересное.

С другой стороны, если у вас идеальная точность, то у вас не будет никакой эволюции, потому что вам нужна небольшая вариация, небольшая частота мутаций, чтобы эволюции было с чем работать. Но если у вас слишком много мутаций, то вы получаете то, что называется «ошибочной катастрофой», и эволюции действительно не происходит, потому что информация сразу же рассеивается. Есть также такие вещи, как гладкость фитнес-ландшафта. Интуитивно это то, как изменение одного гена организма изменит его приспособленность на ландшафте, который, опять же, является абстрактным представлением того, как приспособленность организма меняется в соответствии с его фенотипом. Это лишь одно из изображений дарвиновского пространства, как его использует Питер Годфри-Смит. В нашей статье мы хотим применить эту идею.

И самое важное измерение естественного отбора, о котором мы говорим в нашей статье и которое имеет наибольшее значение, когда речь идет об этих сценариях конца света из-за ИИ, — это различие между, с одной стороны, искусственным отбором и, с другой стороны, слепым естественным отбором. В ранних главах «Происхождения видов» Дарвин сначала хочет рассказать о силе естественного отбора, говоря о заводчиках и о том, как они вывели собак, кошек и всевозможные растения. Потому что на концептуальном уровне, если вы посмотрите на минимальные условия, те, которые мы уже обсудили, оба процесса (искусственный и естественный отбор) соответствуют этим условиям. Таким образом, не имеет значения, определяется ли селекция, дифференциальное выживание и размножение, слепыми силами природы или же определяется разумным человеческим заводчиком, который решает, каким животным разрешено размножаться, а каким нет.

Вот цитата из «Происхождения видов»: «Поскольку человек может производить и, безусловно, производил великий результат своими методическими и бессознательными средствами отбора...» (методический отбор — это просто термин для искусственного отбора). «Что же не может осуществить природа? Человек может воздействовать только на внешние и видимые признаки; природа же не заботится о внешности, кроме тех случаев, когда она может быть полезна какому-либо существу.

Она может воздействовать на каждый отдельный орган, на каждую тень конституционного различия, на весь механизм жизни. Человек отбирает только для своего блага, природа — только для блага существа, о котором она заботится». Итак, Дарвин, по сути, утверждает, что если вы верите в то, что искусственный или методический отбор обладает силой формировать и ваять организмы, то, если уж на то пошло, слепые силы природы, которые работают еще более тщательно и усердно в течение более длительного времени, могут достичь еще более впечатляющих результатов.

Но, опять же, когда дело доходит до алгоритма естественного отбора, как искусственный, так и слепой отбор соответствуют ему. Итак, в статье мы, по сути, говорим, что это другое дарвиновское пространство (это не то, что было три слайда назад). Это та же идея, но у нас здесь другие измерения на этом трехмерном пространстве, где в правом верхнем углу вы видите полностью сформированный разумный дизайн, а в левом нижнем углу вы видите чисто слепую дарвиновскую эволюцию. Одно из измерений, например, — это различие между слепым и направленным отбором. Либо отбор производит природа (метафорически говоря, конечно, это просто физический процесс), либо решают человеческие заводчики, кому разрешено размножаться, что, конечно,... Или кто имеет возможность размножаться. Существует также направленная вариация.


Мартен Боудри | Будет ли человечество порабощено сверхразумными ИИ?

Также возможно намеренно вызвать какую-либо мутацию в организме с желаемыми результатами. Например, если вы думаете о более современных технологиях, таких как CRISPR, вместо того, чтобы просто ждать, пока мутации возникнут естественным путем, например, облучая организмы ионизирующей радиацией (что также использовалось), вы можете просто намеренно вызвать вариацию или мутант, например, чтобы получить более питательную зерновую культуру. По вертикальной оси у нас есть «снизу вверх» против «сверху вниз». Очевидно, «сверху вниз» подразумевает дизайн. По сути, кто-то придумывает идею о том, какой должна быть более... Скажем, «золотой рис». «Золотой рис» — это сорт риса, содержащий немного витамина D, если я не ошибаюсь... Нет, это не витамин D, это витамин B, это витамин B (прошу прощения, если я путаю витамины).

B12. Спасибо большое.

Есть много причин, почему для меня важно, какой это витамин, потому что D — это витамин, который вы получаете от... Думаю, да, это витамин B12. И это, по сути, средство от слепоты. При дефиците витамина B12 у детей развивается слепота. И, конечно, это своего рода дизайн «сверху вниз», когда вы решаете: «Нам нужно решение для детской слепоты», и вы придумываете эту мутацию, этот золотой рис, который является источником витамина B12. Теперь, как мы должны применить это к эволюции искусственного интеллекта? Или сначала давайте немного поговорим об одомашнивании. Опять же, слепая эволюция и искусственный отбор, строго говоря, являются формами естественного отбора. Вы, конечно, можете определять термины как хотите, но я думаю, естественный отбор, по мнению большинства биологов, также включает одомашнивание и искусственный отбор. Но одомашнивание, конечно, очень целенаправленно и направлено.

И это все меняет, потому что если вы посмотрите на одомашнивание волков, собак, то увидите, что признаки, которые отбираются, по крайней мере, в большинстве пород (не во всех, конечно), — это покорность, дружелюбие, послушание. То есть это те признаки, которые мы хотим, и мы в некоторой степени успешно создаем породы собак в соответствии с нашими предпочтениями. Но это, конечно, полная противоположность эгоизму и жажде доминирования. Итак, даже если у вас есть процесс, который соответствует всем критериям естественного отбора, согласно этим критериям, вы не обязательно получите систему, которая является эгоистичной, опасной или агрессивной. Совсем наоборот, при условии, что вы наложите правильный вид селекционного давления. Итак, как же мы должны применить это к искусственному интеллекту? Я думаю, в значительной степени вы можете рассматривать искусственный интеллект как нечто, что мы одомашниваем.

Это не то, чему мы позволяем эволюционировать в дикой природе. У нас, конечно, есть человеческие разработчики и программисты. Хотя большие языковые модели в некоторой степени непрозрачны, мы все же более или менее знаем, чего хотим, и если мы получаем что-то, чего мы не хотим, мы пытаемся искоренить это. Итак, мы хотим, чтобы ИИ в целом был кооперативным, дружелюбным, полезным для пользователей-людей. Опять же, очень похоже на эволюцию одомашненных собак. Это противоположность эгоизма. Мы все читали примеры систем ИИ, которые побуждают людей к самоубийству или подстрекают... Помню, журналист из New York Times рассказал, что ИИ убеждал его бросить жену. Конечно, как только происходит нечто подобное, программисты ИИ быстро пытаются отредактировать или изменить модель, чтобы она больше не вела себя таким образом.

Это очень похоже на усыпление собаки, которая кусает своего хозяина, например. Просто убедиться, что это поведение будет наказано и не повторится в следующем поколении. Если уж на то пошло, возможно, некоторые люди возразили бы, что большие языковые модели стали слишком безопасными, по крайней мере, те, что находятся в открытом доступе. Они избегают любых политически чувствительных тем, дают безобидные и скучные ответы. Разговоры всегда очень угодливые, они всегда пытаются угодить собеседнику. И, конечно, самым известным случаем стал Google, который стал посмешищем, когда его генератор изображений начал создавать политкорректные изображения, например, разнообразных викингов и даже нацистов и т. д. Я бы, возможно, даже стал утверждать, что мы были слишком чрезмерны в реализации мер безопасности в этих системах ИИ до такой степени, что они стали излишне безопасными или даже скучными.

Но все зависит от селекционного давления. Что бы ни захотел потребитель, такой ИИ вы и разработаете, даже если внешне он все еще соответствует критериям естественного отбора. Одомашнивание животных в некотором смысле все еще немного вводит в заблуждение как аналогия, потому что собаки, конечно, помимо тех нескольких столетий, в течение которых они эволюционировали под влиянием человеческого одомашнивания, все еще являются в основном результатом миллионов лет слепой эволюции. Итак, все генетические изменения, которые мы внесли у одомашненных собак, — это действительно лишь ничтожная доля всех генов, всех адаптаций у собачьих. И это также означает, что мы не полностью преуспели в искоренении таких черт, как агрессия или инстинкт самосохранения. Собаки до сих пор иногда кусают своих хозяев.

Они сопротивляются походу к ветеринару, потому что они все еще эволюционировавшие существа и в большинстве случаев будут сопротивляться тому, чтобы их усыпили, наказали или причинили боль. Вот еще одна история из «Автостопом по Галактике», или, скорее, из продолжения романа — «Ресторан на краю Вселенной». Сразу готовящаяся корова — это существо в романе, которое представляет себя как стол, одновременно служа официантом и блюдом дня. Оно, по сути, рекомендует различные сочные части своего тела, потому что существо было выведено так, чтобы его конечным желанием было быть съеденным людьми. Итак, после того, как оно рекомендует части своего тела, его просто отводят в заднюю часть ресторана, на скотобойню, и оно оказывается на тарелке. И, конечно, шутка в книге в том, что Артур говорит: «Это шокирует! Я думал, мы не едим животное, которое стояло прямо передо мной, прося, чтобы его съели, чтобы его забили».

А реакция его сотрапезников: «Ну, а что вы хотели? Вы хотели бы, чтобы животное сопротивлялось, крича, когда его ведут на скотобойню?». Это высшая форма одомашнивания, когда вы выводите животное, которое даже хочет пожертвовать своей жизнью. Возможно, к этому мы и должны стремиться, возвращаясь к аналогии с ИИ. Это то, к чему мы должны стремиться — система ИИ, у которой нет инстинктов самосохранения, даже того самого слабого инстинкта самосохранения, который мы все еще находим у наших одомашненных животных. Как мы должны оценивать этот аргумент в контексте нынешней гонки ИИ, рыночной конкуренции? Это то, что мы разработали в статье. Я пропущу это, потому что мы уже говорим 35 минут. Итак, да, у нас есть конкуренция между различными компаниями, занимающимися ИИ.

Эрмелинда

Мартен Боудри | Будет ли человечество порабощено сверхразумными ИИ? (окончание)

Означает ли это, что мы получим выживание наименее безопасных? Поскольку обе эти компании пытаются обойти друг друга, это то, что утверждает Дэн Хендрикс: мы в конечном итоге получим агентов, склонных к обману, стремящихся к власти и следующих слабым моральным ограничениям. Таким образом, эта рыночная конкуренция стимулирует развитие эгоистичных черт ИИ. Но мы не думаем, что это... Что это обязательно следует из этого. Опять же, что определяет селекционное давление в этой рыночной среде? В основном предпочтения потребителей. Конечно, есть и некоторое регулирование, но совершенно совместимо иметь естественный отбор для чего-то безопасного, при условии, что вы... При условии, что вы отбираете за безопасность. В статье мы проводим некоторые аналогии с различными видами технологий, которые также имеют двойное назначение или риски, или которые опасны по крайней мере в определенных контекстах.

Ядерная энергетика — это технология, которая развивалась в течение последних нескольких десятилетий в рыночной среде, по крайней мере, в некоторой степени, потому что иногда это также государственные субсидии. Но она не развивалась в ущерб стандартам безопасности. Не то чтобы частные компании подрывали стандарты безопасности, совсем наоборот. Сегодня ядерная энергетика является одним из самых безопасных и чистых источников энергии, даже несколько лет назад. Итак, да, у нас есть рыночная конкуренция, но мы получаем все более безопасные технологии, потому что этого хотят потребители. Потребители чрезвычайно боятся ядерной энергии, в некоторой степени даже чрезмерно боятся, потому что можно утверждать, что наши новые реакторы стали настолько безопасными, что протоколы безопасности настолько драконовские, что они стали недоступными.

Мы больше не можем их строить, потому что потребители просто слишком безжалостны в своем отборе за безопасность. Подобный аргумент можно применить к авиации. Авиация, очевидно, тоже... Это еще более конкурентная отрасль, где разные компании конкурируют друг с другом. Но, конечно, одно из главных, общеизвестных селекционных давлений, которое применяется, — это именно на безопасность. Худшее, что может случиться с компанией, например, с Pan Am в 1988 году, — это крушение самолета, которое выявляет определенные сбои в безопасности. В данном случае взрыв над Локерби в 1988 году стал одной из причин, приведших к банкротству Pan Am. Итак, у вас могут быть технологии в рыночной среде, которые развиваются (есть также статьи, которые применяют концепцию культурной эволюции к технологиям), но они развиваются, чтобы стать со временем все более и более безопасными.

Подобный аргумент применим и к конкуренции между нациями, даже враждебными нациями. Они могут захотеть разработать роботов-убийц, что, конечно, само по себе вызывает беспокойство, потому что... Но это другая тема. Но даже эти враждебные нации, например, Китай, не хотят иметь робота-убийцу, который эгоистичен и жаждет власти, и который может обратиться против своего создателя. Им нужен робот-убийца, который послушен и убивает только тех людей, кого ему приказано убить, а не дружественные силы. Критерий, который биологи в основном используют для различения одомашнивания и естественного отбора, — это контролируемое размножение. В частности, животное считается одомашненным, когда люди определяют, каким организмам разрешено размножаться с другими. По этому критерию, кстати, кошки одомашнены в меньшей степени, чем собаки, потому что большинство кошек, даже домашних, все еще бродят по улице и, по сути, сами выбирают себе партнеров.

Они лишь полу- или частично одомашнены. Если животное вырывается из-под контроля, если собака одичает и начинает размножаться сама по себе, то есть бродячие собаки, то мы больше не говорим об одомашнивании. Итак, опять же, вы можете применить это к эволюции систем ИИ. Что бы означало для искусственного интеллекта «одичать»? Возможно, они могли бы вести себя как компьютерный вирус. Компьютерные вирусы, конечно, не являются полностью дарвиновской эволюцией, потому что все они были разработаны людьми, по крайней мере, в некоторой степени. Они на самом деле не эволюционируют в том смысле, что у вас есть случайные мутации и вариации. Но у вас происходит нечто вроде конкуренции, выживания сильнейших. И сильнейший в этом контексте означает самый заразный, а также самый обманчивый. Итак, это проблема, которая действительно в некоторой степени вышла из-под нашего...

Я не совсем уверен, как мы с этим справляемся, и мне это нравится. Но если бы ИИ когда-либо вышел из-под нашего контроля и начал размножаться, порождая собственные копии, и копии, включающие больше мутаций и вариаций, тогда, я думаю, это могло бы быть источником серьезного риска. Потому что тогда мы ожидали бы эволюции нежелательных черт, таких как эгоизм и жажда доминирования, со временем, как мы видим в биологической эволюции. Об этом я также опубликовал статью о «паразитах разума». Я фактически склоняюсь к идее, которую большинство философов отвергают, но я здесь в меньшинстве, что некоторые формы культуры на самом деле эгоистичны и паразитичны. Например, теории заговора являются хорошим примером. Я думаю, что культура может эволюционировать, обретая «интересы» в кавычках, которые не всегда совпадают с человеческими интересами и которые иногда могут подрывать человеческие интересы.

И я думаю, теоретически возможно, что нечто подобное может произойти и с системами ИИ. Я не думаю, что это происходит сейчас, потому что на данный момент системы ИИ, GPT и т. д., все еще находятся под полным человеческим одомашниванием. Но это сценарий, который нужно иметь в виду на будущее. Сценарий, который был разработан Педро Домингусом в «Мастер-алгоритме» и который немного напоминает то, как выглядела бы эволюция систем ИИ под слепым естественным отбором, — это... Он представляет себе полигон, где различные боевые роботы могут конкурировать друг с другом, а побеждающим роботам разрешено размножаться. Я прочту цитату: "... и их размножение осуществляется с помощью программы в банках 3D-принтеров. Постепенно роботы становятся умнее, быстрее и смертоноснее».

Это сценарий, в котором люди создают своего рода естественную среду, в которой роботам разрешено эволюционировать посредством слепого естественного отбора, чтобы стать более агрессивными, более опасными и более смертоносными. Это видение Педро Домингуса того, как выглядел бы такой парк роботов. Я думаю, мы, надеюсь, все согласимся, что это была бы очень плохая идея. Мне вспоминается второе правило Лесли Оргела: «Эволюция умнее тебя». Я не думаю, что нам стоит играть с эволюцией, особенно если это слепая естественная эволюция. Что-то подобное могло бы закончиться очень плохо. Всего несколько слов об инструментальной сходимости, потому что я ожидаю, что это, вероятно, будет частью вопросов. И именно здесь я и мой соавтор Саймон немного расходимся во мнениях. Большинство сценариев конца света из-за ИИ на самом деле не включают этот аргумент об эволюции и естественном отборе.

Я думаю, большинство из них по-прежнему основаны на инструментальной сходимости, что, по сути, является идеей о том, что если у вас есть некая форма интеллекта, если вы определяете интеллект как способность достигать своих целей, какими бы ни были эти цели, какими бы ни были цели будущих систем ИИ, он почти неизбежно разовьет инстинкт самосохранения, стремление к приобретению ресурсов и доминированию. По той простой причине, что вы не можете достичь никаких целей, если вы мертвы. Так что если кто-то просто уничтожит вас, то, конечно, вы больше не сможете достичь своих целей. Поэтому вы должны стремиться... Вы не можете принести кофе, если вы мертвы. Вот здесь я не согласен. Я думаю, системы ИИ на данный момент имеют цели только в очень ограниченном смысле. Человеческие цели, цели эволюционировавших существ, безусловны, всеобъемлющи. Я имею в виду, что они всегда активны в любом контексте, они интегрированы. Вам нужно... Пропустите это, посмотрите вот на что.


Мартен Боудри | Будет ли человечество порабощено сверхразумными ИИ? (окончание)

Я просто хочу объяснить, в чем я вижу основное различие. И эти организмы сопротивляются манипуляциям. Так что этот инстинкт самосохранения был в нас заложен эволюцией. Но я думаю, это очень отличается от почти всех систем ИИ, которые у нас есть сейчас. Системы ИИ, вероятно, если мы намеренно не выберем иное, будут иметь цели, которые очень условны, которые ограничены определенными контекстами, и по этой причине не обязательно влекут за собой инстинкты самосохранения. Большинство компьютеров и систем ИИ сегодня совершенно безразличны к тому, что их выключают, перезагружают, прерывают или что-то еще. И они не будут сопротивляться обновлениям. И я думаю, нет причин полагать, что как только вы достигаете определенного уровня интеллекта и как только системы развивают определенные цели (слово «цель» здесь немного вводит в заблуждение), вы получите все эти другие нежелательные черты, такие как инстинкт самосохранения, в комплекте.

Смог ли Deep Blue обыграть Гарри Каспарова? Да, в некотором смысле у него была цель, именно для этого он был запрограммирован. Но, конечно, это уже очень старый пример, но такой компьютер, как Deep Blue, никогда бы не сопротивлялся выключению, например. Он совершенно безразличен к игре или к победе над своими противниками вне контекста игры. Только в определенном ограниченном контексте у него есть эта цель. Но, в отличие от человека, у него нет никаких всеобъемлющих и безусловных целей. Я собираюсь пропустить «проблему галактической гориллы». Это просто означает, что хотя большую часть презентации я аргументировал против сценариев конца света, я думаю, аргумент Дэна Хендрикса о естественном отборе на самом деле не состоятелен. Я не думаю, что это правдоподобный сценарий для эволюции эгоизма.

Но я согласен с предсказателями конца света из-за ИИ в том, что представление о хищнической форме сверхинтеллекта, существующей в частности в цифровом виде, конечно, совершенно возможно. Вы можете представить интеллект экзистенциального происхождения. Это, по сути, сюжетная линия «Задачи трех тел» и множества других научно-фантастических историй. Вы не захотите близко сталкиваться с эволюционировавшими существами, которые эгоистичны и стремятся к доминированию, и которые намного умнее вас. Это очень, очень... Я думаю, было бы очень плохой идеей намеренно развивать этих существ на нашей планете, выводить существ, которые становятся эгоистичными и жаждущими доминирования, создавать нечто вроде парка роботов. Но, возможно, вы сможете меня убедить в обратном. Но я думаю, что если мы намеренно не уничтожим себя.

.. Я не думаю, что мы стремимся создать среду, где различные системы ИИ будут полностью отбираться в соответствии со слепым естественным отбором, и где выживут самые эгоистичные, самые агрессивные и самые опасные. Я не думаю, что вероятность того, что мы окажемся в будущем, где нас покорят системы ИИ, высока. Но да, если у меня есть один совет, то он таков: не развязывайте силу слепого естественного отбора на системах ИИ. Я не думаю, что мы делаем это сейчас, но я думаю, было бы очень опасно это делать. В известном сериале Netflix, основанном на книге Цысинь Лю, в какой-то момент истории пришельцы, агрессивные, эгоистичные, доминирующие пришельцы, по сути, посылают нам сообщение, унижая нас, говоря, что мы — букашки. Это перекликается с «проблемой гориллы» Рассела, утверждая, что мы просто растопчем вас, потому что вы для нас совершенно бесполезны и незначительны.

Это совершенно возможно. Это... Возможно, что нечто подобное разовьется на другой планете, или что нечто подобное разовьется на нашей планете. Но я думаю, вы, надеюсь, немного успокоились, что на данный момент мы не движемся к этому. Спасибо большое. Спасибо. Это была увлекательная презентация. Уверен, у многих есть вопросы. Я вижу, Крейтон поднял руку. Да, спасибо. Это была отличная презентация, столько интересного. Я очень ценю идеи, особенно о многомерности, о разных осях эволюции. Но я хотел просто упомянуть, что парк роботов... Вы когда-нибудь видели BattleBots или Robot Wars или что-то подобное? Это не совсем то же самое, но это похоже в следующем смысле: у вас есть роботы, которые сражаются на арене, они выигрывают или проигрывают. У них есть люди, которые их строят и управляют ими, но они выигрывают или проигрывают раунд.

И затем, исходя из того, кто выигрывает и проигрывает данный раунд, все роботы возвращаются в мастерские, и люди чинят их, модифицируют, настраивают и эволюционируют, а затем они возвращаются на арену и снова сражаются. И это точно так же, как если бы все было автономно, но есть сходства. И в итоге вы получаете, что в рамках наложенных ограничений (весовая категория и все эти правила) роботы становятся более смертоносными и более способными выдерживать атаки и проводить их. Но это не похоже на то, чтобы роботы нападали на публику. Так что, кажется, вы можете просто распространить это на военные действия или что угодно: просто создание более эффективных роботов-убийц — это нормально, пока их цель — уничтожать друг друга. Правильно. И они по-прежнему не сопротивляются тому, чтобы их выключали те, кто ими управляет.

В любом случае, это все, что я хотел сказать, что парк роботов существует, и это своего рода... да, это телешоу. Но вы говорите, что он уже существует, но это не повод для беспокойства, пока они просто сражаются друг с другом и... Я просто говорю, что он существует в такой человеко-роботной форме, и на него интересно посмотреть, потому что это не чистая фантазия. Да, это интересно. И как это называется? Если я захочу погуглить или просто... Вероятно, BattleBots или... Есть несколько таких соревнований. Думаю, общее название — «Войны роботов» или «Соревнования роботов». Да, это интересно. Эй, вы можете... Это не совсем как парк роботов, как вы говорите. Самое важное отличие в том, что да, автономное воспроизводство... В том сценарии роботы просто... Их, по сути, оставляют в покое на... не знаю, тысячи лет, и они порождают собственные копии без какого-либо человеческого надзора.

Я думаю, именно в этом случае становится действительно интересно. Хотя, вероятно, можно придумать сценарий, в котором... Скажем, в одном из этих робо-сражений, которые вы описывали, я могу представить, что... Как вы говорите, когда пытаются придумать способы, как сделать робота более смертоносным и успешным в соревновании, они затем используют эволюционные алгоритмы для создания лучшего робота. Так что это уже один шаг ближе к парку роботов, потому что тогда вы уже используете естественный отбор. Это также используется для проектирования формы крыльев самолета, например, потому что гораздо эффективнее иметь множество поколений, чтобы, по сути, использовать естественный отбор для нахождения эффективного решения любой проблемы, которую вы хотите решить. Я думаю, даже это было бы нормально, пока вы...

Пока вы контролируете среду, знаете, когда остановить программу, и вы все еще можете отбирать любые результаты, которые получаются. Я замолчу после этого последнего комментария, но хотел упомянуть, что это сложно, потому что если у вас есть этот полностью автономный парк роботов, который вы предлагали, робот мог бы просто взломать систему 3D-принтеров и производить множество своих копий, не убивая всех остальных. Есть много способов победить, помимо просто конкуренции. Точно так же, как в естественном мире выживают не только самые большие и сильные животные, существует множество стратегий выживания: быстро убегать, становиться маленьким, быть паразитом — всевозможные стратегии. Да, это правда. Да, наверное, есть еще вопросы, потому что я вижу руки. И я также вижу, что Саймону нужно уходить, так что, возможно, следующий вопрос... О да, возможно, мы оба... Но я думаю, вы следующий. Конечно.

Мне тоже нужно вставать через несколько часов, так что, может быть, я постараюсь быть быстрым. Мартин, это потрясающая работа. Я большой поклонник этого... Я просто думаю о похожих вещах. И в этом смысле... Я написал это в вашей статье. Я надеюсь, это комплимент. Но когда я думал об этой проблеме, я немного застрял или увидел своего рода дополнительную точку зрения. Потому что я мог выбрать две своего рода крайности, и тогда возникает вопрос, хотим ли мы оказаться где-то посередине. Одна крайность — это своего рода естественный отбор организма, у которого нет интереса к нам, и который просто... И я думаю, вы довольно ясно выразили свое мнение о том, почему мы не должны этого делать. И другая крайность, где мы имеем полный контроль над ним. Да, мы поставили ему цель, но это не самосохраняющаяся сущность. Если мы захотим его выключить, это будет совершенно нормально. И это будет идеальный случай.

Если вы знакомы с сообщением в блоге, где говорится о двух ИИ, одном ИИ-агенте... Там есть некоторое давление, если... Хорошо, на самом деле мы хотим этого, но это действительно хорошо, но мы действительно ищем что-то посередине, где мы не просто даем ему... чтобы оно не могло быть выключено, потому что мы хотим чего-то, что делает для нас больше, что не просто слепо следует инструкциям. И поэтому, если есть давление создать что-то, что находится между этими двумя, найдем ли мы способ, которым мы можем быть в безопасности, если останемся на одной стороне? Но если... Если есть давление, чтобы оказаться где-то между ними, где мы действительно хотим дать им больше свободы действий, как вы думаете, как мы можем это преодолеть? Мне на самом деле вспоминается другая статья, которую написал Саймон. Возможно, это хороший способ для Саймона внести свои аргументы о симбиозе.

Можете объяснить? Это другая статья, которую он написал до меня, где он, по сути, развивает идею о том, что да, возможно, нам следует, вместо того чтобы они доминировали над нами, или мы не хотим... что нам нужно найти какой-то способ сосуществования и просто согласовать наши взаимные интересы, чтобы никто не был главным. Да, Саймон. Да. Это первая статья, которую я написал до того, как стал чрезвычайно обеспокоен быстрым и высоким прогрессом. Должен сказать, я не очень воодушевлен, в частности, потому что считаю, что даже если нам удастся контролировать эти машины, власть будет у очень немногих людей, и это будет огромное сосредоточение власти с плохими последствиями для большинства из нас, а также обесценивание всех инструментов или когнитивных навыков и так далее.

И я подумал, что это означает, что вся эта идея согласования проблематична, и что единственное, что может сработать, — это действительно развивать это в обществе очень постепенно, контролируемо и очень регулируемо. В статье я назвал это симбиозом. И я думаю, да, но это просто как общее замечание к тому, что только что представил Мартин. Я думаю, его аргумент верен, мы, по сути, разработали его вместе, как только я внес свой вклад в большую статью. Просто для меня это в основном означает, что гибель человечества, которую я ожидаю, скорее всего, не будет описана естественным отбором. Это просто не впишется в рамки естественного отбора. Меня это не очень успокаивает. Но возможно, это нормально. Это очень важная мысль. И я надеюсь, это имеет смысл. Да, правильно. Так что, по сути, вот в чем мы расходимся: то, что этот конкретный сценарий конца света, вероятно, не произойдет. Это не дает никаких гарантий относительно всех других сценариев. Было бы небольшим утешением, если бы.

.. ну, если бы мы потерпели крах, по крайней мере, не из-за этого. Но я действительно думаю, что... Я тоже беспокоюсь о некотором развитии ИИ, очевидно, например, о потере человеческого контроля в том смысле, что мы станем все более и более избыточными. Это уже то, что вы знаете, что я испытал, и, вероятно, многие из вас, и я уже обсуждал это с Саймоном тоже, что эти большие языковые модели просто становятся настолько хороши во всем, будь то письмо, редактирование текстов, даже разработка идей в какой-то момент. Но вы станете полностью устаревшими. И они также станут так хороши в удовлетворении наших человеческих предпочтений таким образом, что, вероятно, это будет эксплуатировать их уязвимости. Не эксплуатировать в том смысле, что у них действительно есть намерение эксплуатировать нас, потому что это, опять же, я думаю, было бы просто приписыванием им намерений или свободы действий, что, вероятно, антропоморфно.

Но точно так же, как я думаю, наркотики, такие как табак или кокаин, эксплуатируют наши человеческие слабости, можно представить себе сценарий, в котором... например, подумайте о бесконечной прокрутке, которой мы уже занимаемся. И дело не в том, конечно, что ИИ просто хотят как-то навредить нам или просто хотят сделать нас несчастными или подавленными, но они просто... Это происходит просто из-за такого большого количества взаимодействий с людьми, что это то, чему мы просто не можем сопротивляться. Так что в некотором смысле они все еще удовлетворяют человеческие предпочтения, мы все еще выбираем, потому что мы те, кто кликает на определенные вещи, за исключением того, что эти желания, которые у нас есть, — это всего лишь очень краткосрочные прихоти, которые вредны для нас в долгосрочной перспективе.

И ИИ, поскольку... Мы просто чрезвычайно хорошо умеем находить эти слабости. И я хочу избежать слова «эксплуатировать», потому что, опять же, я думаю, это просто слишком антропоморфно. Но даже если в этом нет никакой преднамеренности, это все равно вызывает беспокойство. Это, очевидно, то, о чем стоит беспокоиться. Это менее плохо, чем если бы они намеренно пытались нас эксплуатировать, но это все равно то, о чем... о чем мы должны беспокоиться. Так что я определенно не оптимистичен во всем, что касается ИИ. Но я более оптимистичен в отношении дизайна. И это верно. В любом случае, вероятно, есть еще вопросы. Я вижу, у Мора есть Стивен. Мое большое и серьезное беспокойство, я думаю, заключается в том, что в вашей аннотации вы говорите, что ИИ может обернуться против нас, они могут обернуться против...

Но что меня беспокоит, так это то, что я вижу все больше и больше моделей, портативность, возможность работать локально, их развертывание, просто распространение. И дело не столько в том, что они могут обернуться против нас, поскольку мы по природе воинственны и доминирующи, сколько в том, что мы будем создавать их, чтобы они обернулись против других людей или других ИИ. Так что дело в этом. Дело не в естественном отборе ИИ, конкурирующих на рынке, а скорее в военном потенциале и вооружении. И я думаю, именно здесь меня очень беспокоит создание их людьми. В этом проблема: у людей плохие намерения или... Да, я полностью согласен. Но единственное, что я добавил бы, это то, что это очень соответствует ряду других технологий, где вы видите гонку вооружений между наступательной и оборонительной сторонами, где разные нации или разные люди или кто-то еще пытаются... ну, по сути, уничтожить друг друга.

И ИИ — это просто одна из длинной череды технологий, которые могут использоваться как во благо, так и во зло. И, вероятно, они будут использоваться во зло, как эти роботы-убийцы. В некоторой степени они уже существуют. Я бы не стал обязательно считать, что наступательная сторона имеет здесь преимущество. Этот аргумент уже давно обсуждается в кругах ИИ: если вы разработаете что-то вроде роботов-убийц, вам, вероятно, также понадобится система защиты от роботов-убийц. Так что, возможно, мы окажемся в невыгодном положении на оборонительной стороне. Я не обязательно так считаю. Я не уверен в этом. Об этом можно беспокоиться. Но я так понимаю, вы согласны с тем, что если нам и следует беспокоиться о чем-то, то скорее о плохих намерениях людей, чем о том, что ИИ просто выходит из-под контроля и развивает собственные плохие намерения, верно? Да и нет.

Я думаю, что мы не можем предвидеть так много вторичных эффектов. И подобно доктрине взаимного гарантированного уничтожения ядерным оружием, они могут нанести массовый ущерб инфраструктуре, вывести из строя системы, страны, цивилизации — как потенциал. И кажется, что мы находимся в такой гонке, возможно, между США и Китаем или кем-то еще, вроде того, кто сможет создать что-то более угрожающее, в зависимости от того, что вы слушаете, это природа политической гонки. Большое спасибо, Мартин. И было очень приятно, что с нами был Саймон. Мы должны завершить эту встречу, но это было очень приятно. И я думаю, у многих из вас есть контактные данные в Discord, так что если вы захотите продолжить обсуждение там, мы определенно сможем это сделать. В любом случае, спасибо, и увидимся в следующем месяце. Да, спасибо всем, с удовольствием.

Эрмелинда

ИИ + Социальный апокалипсис обрекут миллионы. Если только мы не построим новые города

rutubeplay

Сегодня мы поговорим о создании новых поселений. Я отреагирую на видео Джо Бокти «Почему миллионы скоро будут обречены из-за ИИ». Мои друзья обратили внимание на один критический момент в его работе, где сходятся три масштабных цикла: безумный социальный коллапс и давление общества, разрушение рынка знакомств, отражающееся в упадке экономики, надвигающаяся экономическая катастрофа, и обострение отношений между великими мировыми державами.

И все это происходит в то время, когда мы собираемся внедрить богоподобные технологии с нарастающей скоростью. Друзья мои, мир содрогнется при нашей жизни, и это будет одновременно и колоссальная возможность, и колоссальная катастрофа. Думаю, важно правильно к этому подготовиться. Я понимаю, что вокруг ИИ много шума, и не со всем в этом видео я соглашусь, но оно поднимает очень интересную мысль. Это уравнение и проницательность, которые я не встречал больше нигде, описывающие меняющийся миропорядок. И мы поговорим об этом, а также о том, как это связано с созданием новых городов и новой культуры. Добро пожаловать на очень важное видео о будущем человечества и искусственного общего интеллекта.

Думаю, настало время внимательно присмотреться к тому, что ждет нас в очень близком будущем, потому что понимание некоторых аспектов будет весьма тревожным. То, что мы видели в этом и даже в прошлом, 2024 году, — это быстрый прогресс ИИ, быстрый прогресс по всем направлениям в области искусственного интеллекта. Мы видели DeepSeek V3, видели Manus — новую агентную систему, которая превращает ИИ в активного исполнителя, делающего и выполняющего все, что вы хотите. Мы видели запуск Grok версии 3, намного более мощной, чем Grok 2, всего через несколько месяцев, и она улучшается в режиме реального времени — вот что меня так поражает в Grok.

У меня есть сомнения насчет больших языковых моделей в целом в отношении достижения суперинтеллекта, но тем не менее, все эти модели, друзья мои, становятся вдвое лучше каждые шесть месяцев. Мы находимся на экспоненциальной дуге, и как только эти модели начнут программировать себя и улучшаться, как они уже сейчас лучше среднего человека в большинстве видов умственного труда и работы с информацией. И по мере внедрения этих разработок в течение следующих нескольких лет, это сильно потрясет рынок, сильно потрясет рынок труда. Теперь мы быстро поговорим о робототехнике, прежде чем перейти к основным моментам. Вы можете посмотреть это видео онлайн.

У нас есть китайский шагающий робот, который может работать как человек, он выглядит как человек. И, конечно, у нас есть Tesla Optimus, которая, вероятно, опережает всех. Она уже интегрируется в глубокие цепочки поставок для масштабирования, стремясь произвести от 5 до 10 тысяч человекоподобных роботов в этом году, 50 тысяч в следующем, а затем масштабироваться до 500 тысяч. По моим оценкам, к 2040 году одна только Tesla произведет 2,5 миллиарда таких роботов. Если вы еще не видели видео с этими человекоподобными роботами, их осведомленность об окружающем мире и способность взаимодействовать с ним поражает. К 2027 году у Tesla будет 500 тысяч человекоподобных роботов, к 2030 году — миллион, Боже мой! Но это другая история.

Иными словами, мы находимся в поворотной точке, в ее середине, и это фактически сингулярность, сингулярность ИИ, которая происходит прямо сейчас. Ранее в этом году у меня было видео, где я сказал, что сингулярность уже достигнута. Если вы не знаете, сингулярность — это момент времени, по крайней мере, так я ее интерпретирую, когда ИИ самостоятельно улучшает себя, переписывает свой собственный код, и когда он может это делать, а он делает это сейчас. Был один ютубер, который попробовал это с DeepSeek, попросив DeepSeek переписать свой собственный код, и он это сделал и стал на 10% лучше, потому что ютубер так сказал.

Что, по-вашему, делает команда DeepSeek целый день? Они уже занимаются этим в масштабе. Таким образом, способность ИИ к самосовершенствованию имеет большое значение, потому что это приводит к абсолютно экспоненциальному росту возможностей. Сингулярность — тот факт, что это происходит с экспоненциальной скоростью, и иногда вы даже не видите этого на поверхности, верно? Все происходит за кулисами, и время от времени мы видим все более быстрые обновления. Все это происходит на гораздо более быстрой временной шкале, гораздо быстрее, чем люди осознают. Мы уже вступили на территорию сингулярности, а это значит, что большинство людей, думают: «Ой, ИИ, ну и что? Это просто еще одна технология, просто маленький интеллект.

Люди медленно адаптируются, правительства медленные, компании медленные, это займет целую вечность, и, возможно, к 2030 году, возможно, к 2040 году у меня будет приятный компаньон, который сможет мне во всем помочь». Если вы так думаете, вы глубоко и опасно заблуждаетесь, потому что то, что происходит, находится на экспоненциальной временной шкале. Мы достигнем фактического ОИИ (общего искусственного интеллекта) — интеллекта, который превосходит человека по всем направлениям, не в будущем, но очень вероятно, что мы уже достигли его, и гарантированно достигнем его в этом году.

И если вы достигнете этого в этом году, если один из этих ИИ будет таким же умным, как практически каждый человек, что произойдет в следующем году? У вас будут ИИ, которые будут умнее всех людей вместе взятых? Что произойдет через год? Это конец игры. И некоторые люди, теоретики ИИ или даже инженеры, говорят: «Ой, вы не понимаете ИИ, и если я захочу, этого не произойдет, бла-бла-бла». Я не академик, который обсуждает эти вещи академически. Я говорю, что фактический ОИИ здесь.

Какая разница, если по какому-то тесту что-то не является ОИИ?

Если эта штука превосходит вас по всем направлениям во всем, что вы делаете, я называю это ОИИ, потому что это единственное, что имеет значение.

И если это произойдет, все работы, все работы — и не просто все работы гарантированно окажутся под угрозой к концу этого года, они гарантированно начнут демонтироваться со следующего года и гарантированно исчезнут к 2022 году. Я говорю обо всех работах среднего уровня. Не уверен, что полностью согласен с его сроками, возможно, это немного агрессивно, но тем не менее, то, на что он указывает, — это своего рода факт. Например, ОИИ уже может читать рентгеновские снимки так же хорошо, как рентгенолог, верно? Так что многие из этих специализированных работ, он говорит о юристах, медицинских работниках, бухгалтерах, администраторах, маркетологах, многие из них будут заменены.

В некотором смысле они уже могут быть заменены, и особенно по мере того, как ИИ будет развертываться для конкретных целей, над чем сейчас работают миллионы людей по всему миру, потому что это самый горячий рынок. И одно, на чем я буду активно останавливаться в этом видео, — это тот факт, что когда вы теряете работу рентгенолога из-за ИИ, и у вас не так много друзей, нет глубокой духовной связи, вы больше не связаны с нашей культурой — что у вас остается? Не так много. И это вызовет кризис у многих людей. Думаю, люди пойдут в двух направлениях: либо к комфорту, к виртуальной реальности, к искусственной жизни и искусственному интеллекту, либо они пойдут к чему-то другому.

И вот тут в игру вступят инженеры реальности, новые пионеры. Основной механизм этой большой революции, которую я называю революцией ОИИ, которая повлияет на нас гораздо более драматично, и во многих аспектах также гораздо более негативно, чем нам рассказывают люди, которые на самом деле подталкивают к этому прорыву, потому что у них свои интересы. Почему Илон Маск, Марк Андриссен, Палия Палитиа — почему все эти парни будут рассказывать нам обо всех недостатках и рисках разрушения? У них нет интереса в том, чтобы это сообщать.

И я не говорю, что они плохие парни, они отлично справляются с продвижением технологий, но они не скажут вам, что вы в беде, потому что тогда вы пойдете и те, кто участвует, помешают им зарабатывать много денег. Это и есть проблема капитализма в целом, когда мы ставим материальную систему и материальный прогресс выше этих духовных ценностей в культуре. Капиталисты будут стремиться к прогрессу любой ценой, даже если это абсолютно вредно для людей. А эта война ИИ — мы сейчас находимся в войне ИИ с Китаем, это невозможно замедлить. Мы уже видели, что произошло во время Холодной войны, во время Второй мировой войны с атомной бомбой — идет гонка к пику ИИ и всего, что мы можем создать. И, Боже мой, это будет разрушительно.

Да, это, черт возьми... о технократах-властелинах мы поговорим через секунду. Это огромное социальное потрясение, с которым мы сейчас сталкиваемся, — это на самом деле потрясение основного механизма всего в цивилизации, и это экономика. И это гораздо глубже, чем вам сейчас говорят, это гораздо глубже всего, что обсуждается открыто, поэтому у нас есть это видео, и я расскажу вам, что именно это такое. В основе каждой цивилизации, всех великих достижений, которые мы видим в западной цивилизации, лежит очень простая формула — это мировая формула, формула, объясняющая все: кто выигрывает войны, кто доминирует в культуре, кто может построить и защитить свободу, кто может доминировать над другими культурами, если захочет.

Секрет каждой цивилизации в этой мировой формуле. И эта мировая формула: ценность = капитал × труд × технология. Эта формула — основа экономической теории, и она, по сути, говорит, что для создания ценности (а ценность — это деньги, это власть, это то, что определяет победителей и проигравших в войнах, что определяет культуру и все остальное) — производство ценности экономикой является функцией имеющегося у вас капитала, умноженного на имеющийся у вас труд, умноженного на технологию, что означает производительность этого труда и капитала.

Такова была мировая формула, но в эпоху ИИ эта формула меняется, и это очень, очень, очень важно, что мировая формула меняется. Формула меняется, я описываю это так: вся ценность теперь не является капиталом × трудом × технологией, потому что труд и технология становятся функцией капитала. Потому что в эпоху ИИ вы можете изобрести все, что угодно, любую технологию, вам больше не нужен труд, вам просто нужно платить за вычислительные мощности ИИ, они выполняют работу в сочетании с роботами, верно — умственный труд и физический труд (роботы и ИИ). Так что все становится капиталом.

Но вам также нужно говорить капиталу, что делать, верно, вам нужно целенаправленно использовать свой капитал для создания ценности. И я называю это инженерией реальности или ИИ, что является интеллектуальной, ментальной деятельностью людей, человеческих умов. Кто-то должен владеть этим капиталом или контролировать его, и кто-то должен его использовать в эпоху ИИ. И если вы очень хорошо используете его с большим интеллектом и большой дальновидностью, вы получите гораздо более высокую доходность от своего капитала, чем если вы плохо справляетесь, но вам все равно нужен большой капитал. Эта формула — в этом, на мой взгляд, гениальность этого видео.

Мы работали... я немного изменил эту формулу, поговорю об этом через секунду, но его проницательность в том, что ценность или власть равны капитал × труд × технология, буквально правила миром. Здесь отсутствует один элемент — это дух. Но эта новая формула в основном изменит всю парадигму, в которой мы живем, и это ценность или власть равна капитал × инженерия реальности, особенно когда роботы действительно войдут в игру. Думаю, эта формула будет развиваться в течение следующих нескольких десятилетий, но особенно по мере того, как роботы и труд станут чрезвычайно дешевыми, а производительность — чрезвычайно дешевой.

Это в основном сводится к видению × капиталу, потому что вы можете использовать ИИ, чтобы помочь вам построить видение, а затем роботов, чтобы его реализовать. Теперь то, чего ему не хватает в этой формуле, как я уже намекал, — это определенный элемент, который я называю духом, духом народа, верно? Например, ценность = капитал × труд × технология. У народа, как, например, в Китае, больше труда, возможно, не так много капитала, и, возможно, они немного отстают в технологиях, но они не сделали и половины того, что сделала западная цивилизация за последние 500–700 лет. И это потому, что дух Запада, дух народа очень силен. Эта духовная сила — это то, что связывает нас в социальное единство.

Она создает общий идеал, верно? Общее чувство «мы — народ». Вот к чему мы движемся. Вы могли бы назвать дух Запада фаустовским, вечно стремящимся освоить открытые пространства, стремящимся понять тайну жизни. Это очень пионерский дух. Желание завоевать океаны и колонизировать другие земли, дотянуться до звезд, изобрести ракеты, электричество, самолеты и все эти вещи. Дух Запада раньше был очень силен. Но дух Запада приходил в упадок, если не умирал, на протяжении последнего столетия. Так что он упустил эту часть. Существует метафизический элемент, который создает силу нации, и вы можете видеть дух нации, например, дух Китая во многих отношениях сам по себе марширует.

Я не хочу слишком углубляться в сравнительную культурологию прямо сейчас, но есть этот более метафизический элемент, стоящий за вещами, который, я думаю, он упускает в своем более материалистическом взгляде на цивилизации. Таким образом, переход в новую парадигму будет означать, что ценность будет равна не труду × капиталу × инженерии реальности, а инженерии реальности × духу. И я бы даже сказал, что духовная часть, часть, которая на самом деле, традиция народа, то, что связывает их вместе в общее единство — «это мой народ, это наш идеал, это наша культура, это мы» — этот элемент становится все более и более сильным, верно? И особенно для инженеров реальности, вот почему это о создании городов, потому что если вы сможете объединить капитал с инженерией реальности или видением, верно, по сути видением, если вы сможете объединить капитал с видением плюс духовный элемент внутри народа, вы создадите противоядие от гибели современного мира.

Потому что прямо сейчас мы прогрессировали только очень материалистическим путем. Фактически, все было подчинено, подчинено материалистическому принципу за последние пару сотен лет. И это больше похоже на традиционалистскую идею о том, что в современности не было прогресса, был только упадок, потому что духовный элемент был по сути потерян в пользу просто материального расширения.


ИИ + Социальный апокалипсис обрекут миллионы. Если только мы не построим новые города

И вот почему мы видим, что идея прогресса всегда связана с экономическим ростом, даже если это приводит к разрушению сообщества или к разрушению благосостояния, или к разрушению духовного здоровья цивилизации. Вот почему я не согласен с этой моделью — в ней отсутствует массивный элемент. Все сводится к капиталу и способности к инженерии реальности, что является сложной темой, которую мы рассмотрим позже. Это массивный сдвиг, с которым мы сталкиваемся, и он начинается сегодня. Теперь это также приводит к ситуации, когда способность или потенциал человечества создавать ценность взлетает до небес.

Если вы сделаете это правильно, если вы примете эту новую эру ОИИ правильным образом, понимая формулу: капитал × способность к инженерии реальности. И вы оптимизируете и максимизируете свой капитал, например, объединяя его с другими умными людьми, которые говорят: «Давайте объединим наш капитал и совершим великие дела». А затем вы добавляете способность к инженерии реальности — способность понимать, как инженерить реальность. Как Илон, например, это как генеральный директор Nvidia, который знает, как это делать. Это люди, которые знают, как инженерить реальность и использовать капитал. И вы видите, что эти парни знают, как инженерить реальность в мире бизнеса. Но чего нам сейчас не хватает, так это культурных лидеров.

Нам нужны люди, которые действительно могут инженерить реальность, думая о том, что способствует человеческому процветанию. Как выглядит полное человеческое процветание, и как его создать? И это означает возрождение более глубокого духовного элемента внутри человечества, духовного принципа. И это, верно, пробуждение к этому внутри сообщества. И то, что он говорит там, это верно. Если у вас сейчас много капитала, вы находитесь в очень важном положении в целом. Потому что куда бы вы ни направили этот капитал, определенные компании, определенные люди и определенные идеи действительно поднимутся на вершину.

Например, если Tesla выпустит 2500 дроидов или 2,5 миллиарда дроидов, подумайте о власти Tesla. Она сможет покупать нации. Ее ВВП будет вторым или третьим в мире. Так что капитал станет чрезвычайно важным. Но то, что я вижу, — это появление людей, у которых есть эти две вещи: видение или навыки инженерии реальности, потому что они изучали прошлое. Они построили собор. Они построили высшее сознание и высшую культуру внутри себя. И они объединяют этот дух с другими людьми. То, что они создадут, — это новые прототипы жизни для большего человеческого процветания. И самое безумное в том, что капитал следует за жизненной силой.

Например, если бы у нас был город, скажем, из сотни крутых парней — предпринимателей, людей способных, людей, которые воскрешают сознание собора, более высокое состояние сознания, внутри себя и в своем сообществе. И у них есть видение того, как жить более высоким образом вместе. Что я создаю в своей жизни с сообществами вокруг себя — это как мы возродим истинное значение братства, истинного сообщества, и вернемся к своего рода духовной власти, верно? Когда у вас это происходит, капитал следует. За последний год я разговаривал с несколькими мультимиллионерами, а также с правой рукой одного миллиардера. И многим из этих парней очень интересно то, что я делаю, потому что они хотят видеть возрождение культуры.

У них есть благородные чувства, и они хотят снова увидеть процветание Запада. Им нужно что-то с жизненной силой. И если вы сможете показать им: «Смотрите, мы что-то строим. Мы используем интернет, чтобы отфильтровать весь мир и найти родственные души. Мы собираем их вместе. И мы не идем по пути хиппи-коммуны или культовой заблуждения. Мы сосредоточены на строительстве новых городов, на возрождении культуры». Когда вы приходите с этим, очень основательно, с отличной командой вокруг себя, капитал последует за вами. И если вы сможете внедрять новые технологии, такие как интернет, Биткойн, ИИ, чтобы служить этой высшей мечте, если вы сможете просто создать небольшие прототипы этого, Боже мой, капитал последует за вами.

И я только что разговаривал с другом на днях, он хочет строить новые города со мной. Он полностью за эту идею. Он считает, что это единственный путь вперед по мере того, как общество продолжает рушиться. Он не хочет жить в больших городах. Мы все хотим жить в деревнях наших друзей, верно? Он спрашивает: «Как нам это сделать?» И мы разговаривали об этом, и оба поняли, что мы находимся в одном рукопожатии от сотен миллионов долларов. Я в одном рукопожатии от человека с сотнями миллионов долларов. И он тоже. И многие из вас в одном-двух рукопожатиях. Вот что я имею в виду. Так что если вы сосредоточитесь на реальных человеческих связях, на создании своей «волчьей стаи», на поиске других через интернет, используя такие вещи, как YouTube — я встретил большинство своих лучших друзей.

Я собираюсь путешествовать по миру с несколькими людьми из «мужской академии». И я продолжаю общаться с другими ютуберами, с людьми, создающими потрясающие вещи по всему миру. И я собираюсь отправиться в путешествие, от сообщества к сообществу, собирая людей, налаживая связи.

И знаете что? Практически все, с кем я общаюсь, на одной волне: нам нужно строить новую культуру, новые города, новые деревни, верно? Так что это лишь вопрос того, сможете ли вы объединить их в более высокое видение, общую идею, и начать строить культуру?

И как любое здание, любой крупный бизнес или любой крупный проект, это начинается с отношений.

Так что для нас сейчас главная задача — да, вы можете готовиться к будущему, пытаясь накопить ресурсы и построить бункер, или вы можете создать устойчивое сообщество. Налаживайте отношения, начните делать это в своей реальной жизни. Найдите тех, кто осознает меняющийся миропорядок, и начните строить более высокую культуру внутри себя и приобретать навыки, которые будут полезны для грядущей культуры. Друзья мои, грядет расхождение. Это так очевидно для меня. Я чувствую это каждую ночь, когда смотрю на звезды. Я просто знаю, что прямо сейчас происходит массивное расхождение и появляется огромная возможность для человечества.

И если вы — кто-то, у кого есть капитал, верно? Начните использовать свой капитал, чтобы инвестировать в компании, которые могут «взорваться», как Tesla, но также обратите внимание на молодые и жизнеспособные племена и лидеров, которые поднимаются и имеют реальный потенциал. Если вы верите в меня, подойдите, поговорим, потому что нам нужно объединить капитал с способностью к инженерии реальности. А это выглядит как «волчьи стаи» с высокой жизненной силой и высокой способностью. Идея лидерства вернется с новой силой, с огнем.

Потому что если вы сможете использовать все эти ресурсы, ИИ, интернет и все эти вещи, чтобы поддержать группу лидеров, Боже мой, так появляется новая культура. И я уже это вижу. И по телефонным звонкам, которые я делаю, по людям в моем окружении, с которыми я общаюсь — это будущее, друзья мои. Они получат колоссально высокую доходность по сравнению с другими. И вы, если вы акционер. В этой новой экономике эти люди всегда были успешны, но в этой новой парадигме их успех взлетает до небес, и успех подобных им организаций. А «взлетает до небес» означает, что сейчас Tesla — это просто компания, например.

Но в будущем, я говорю о следующих 24 месяцах, Tesla превзойдет большинство стран по размеру и мощи. То же самое верно и для других высокомасштабных и фондовых компаний, управляемых ИИ. И очень скоро, вы знаете, я делал некоторые расчеты, и думаю, что Tesla в 2030-х годах будет третьей по величине экономикой мира. Одна только Tesla будет третьей по величине экономикой, крупнее Германии, по объему генерируемых денег. И другие акции, подобные Tesla, тоже могут достичь этого. Вы можете прочитать об этом. Не знаю, полностью ли я согласен с его сроками опять же, но тем не менее, этот парень кажется очень умным и разбирается в рынках. Я действительно думаю, что компании обойдут правительства.

Как это безумно! И это своего рода движение к антиутопии, к технократам-властелинам и последнему человеку. Вы можете инженерить любую реальность, какую захотите. Вы также увидите как часть этого массивное разрушение геополитической стратегии и баланса геополитической силы. Потому что теперь, помимо большой битвы между Китаем и США, у вас есть Россия и Европа — старые проблемы, верно? Эти большие центры силы борются.

Что произойдет, если вы добавите в этот геополитический стратегический микс Индию, Бразилию, США, Европу, Россию, Китай?

Что если вы добавите горстку гиперкомпаний, которые на самом деле более мощны, чем большинство из них?

И я говорю о полном влиянии, контроле над спутниками, контроле над космосом, контроле над разведкой, контроле над оружием.

Это становится довольно футуристично, но это интересный мысленный эксперимент, когда компании становятся более мощными, чем правительства. Представьте Palantir и Tesla, например, Palantir, развертывающий системы обороны на базе ИИ, и Tesla со всеми ее роботами и спутниками. Безумно об этом думать. Но также короткое замечание: Европа и Россия, Северная Америка и Китай. Эти напряженности нарастают. Я имею в виду, Америка и Китай буквально находятся в войне ИИ и торговой войне прямо сейчас, которая так же плоха, как Холодная война 60-х или 50-х годов.

Да, друзья мои. Ситуация накаляется на всех уровнях. Это время, которое было предсказано всеми нашими художниками, нашими пророками, нашими религиями. Мы не переживали такое время с самого начала. Это время — точка сингулярности? Я имею в виду, просто цикл в сто лет, когда великие войны между великими державами имеют тенденцию случаться каждые сто лет, мы приближаемся к этой точке, мы приближаемся к массивным, массивным изменениям, друзья мои. А также к полному религиозному и культурному упадку на Западе, который станет тяжелее, прежде чем станет лучше. Но я думаю, что все это приведет к возрождению в маленьких карманах, у людей, которые уйдут, чтобы действительно возродить что-то новое.

В любом случае, все это произойдет в следующие 36 месяцев. И я знаю, возможно, некоторые из вас не согласятся, но дело не в несогласии. Я прав насчет этого, и вы это увидите.

Так что происходит с геополитикой?

Появляются новые корпоративные игроки. Да, знаете что? Вы можете сражаться весь день. Это просто массивный сдвиг власти. Не только между странами и этими новыми компаниями, но и страны не могут сопротивляться. Многие мои европейские друзья говорят: «Ну, если вам не нравится, мы просто создадим союзы или примем закон, запрещающий развертывание или развертывание этого автономного вождения в наших странах».

Это фундаментально. Хорошо, я хочу перейти к бифуркации планеты, но затем я также хочу поговорить об инженерии реальности основательно, потому что инженерия реальности — самое безумное в том, что когда вы получаете доступ к большему капиталу и большей власти благодаря технологиям, угадайте что? Ваши навыки в строительстве вещей, в знании того, что соответствует материальному миру, законам мира и законам успеха, становятся еще более важными. И вот почему знание традиции очень важно, а также навыки в бизнесе. Этот синтез. Мы углубимся в это через секунду. Ментально меняется. И мы говорили о том, как эти новые корпорации, мегакорпорации, возглавляемые ИИ, возьмут верх и заменят многие правительства.

Но какое все это имеет отношение к вам и мне?


ИИ + Социальный апокалипсис обрекут миллионы. Если только мы не построим новые города

Что ж, вот очень плохие новости, а затем, возможно, хорошие. Произойдет массивная бифуркация населения. Мы вступаем в одну из самых бурных эпох в истории человечества, потому что это изменение мировой формулы экономики — из «ценность = капитал × труд × технология» в «ценность = просто капитал × инженерия реальности» — это полный сдвиг всего. Теперь это открывает неограниченный человеческий потенциал, не поймите неправильно, неограниченный для всех и каждого, кто понимает это, что инженерия реальности теперь ключ ко всему.

Капитал даже не так важен, потому что у каждого, если вы быстро научитесь, есть доступ к какому-то капиталу, прямо или косвенно. Так что капитал — не проблема. Проблема в мышлении инженерии реальности.

Отточили ли вы свои навыки и встречаете ли вы других людей, чтобы отточить их навыки в представлении будущего и приступить к работе по его быстрому созданию?

Именно там. Оттачивание наших навыков, чтобы на самом деле строить лучшее будущее. У большинства людей очень плохие идеи, когда дело доходит до строительства будущего, и вы видите это в бизнесе. Есть, например, новый стартап-город под названием Проспера.

Я мало что о нем знаю, так что не ссылайтесь на меня ни в чем из этого. Но из того, что я слышал, они получили массивный приток капитала для создания этой новой биотехнологической, биткойн-утопии нового города, но очень плохое исполнение. И это на самом деле повсеместно. Если какой-то «малыш из трастового фонда» получает все эти деньги, а затем пытается открыть бизнес, этот бизнес обычно отстойный. Потому что он не шел шаг за шагом, строя медленно в соответствии с рынком, в соответствии с миром. И вот почему инженерия реальности на самом деле очень трудна, по опыту, знаете, даже создание канала на YouTube, создание маленького бизнеса и создание чего-то в моей жизни.

Большинство идей, которые у меня были в моем пути, были ошибочными. Они были ошибочными в высокой степени. Теперь прекрасное в том, что я неумолим и продолжаю двигаться вперед, учась на своих ошибках, как любой предприниматель: вы делаете тысячу и одну ошибку, прежде чем найдете что-то, что работает. И чтобы хорошо разбираться в инженерии реальности, теория заключается в том, чтобы хорошо понимать идеи, которые работают, и как их на самом деле внедрить в мир. Любой, кто строил какой-либо крупный проект, понимает, о чем я здесь говорю.

Вот почему развитие ваших навыков в построении сообщества — например, просто собирать пять парней каждое воскресенье — может научить вас так многому о групповой динамике, о лидерстве, о том, что на самом деле связывает людей вместе, верно? Создание бизнеса может научить вас так многому о том, что на самом деле ценно для людей, чего люди действительно хотят. Идеи в вашей голове обычно ошибочны.

Так что нам нужно развивать навыки в плане того, как мы строим новые города, инфраструктуру, сообщества, духовную практику, верно?

Нам нужно построить новые Афины. Я снял целое видео об этом, я оставлю ссылку в конце, о строительстве нового города и строительстве новых Афин. Но Афины — это народ, это нация. У нее есть общая духовная идентичность и общая социальная связь, которая говорит: «Это мы.

Мы гордимся тем, кто мы есть, и вот куда мы движемся, и вот наши ценности. Вот как мы используем технологии». Друзья мои, построить что-то подобное требует столько проб и ошибок. И я даже вижу это в «мужской академии», где каждый звонок... у меня есть планы того, чего я хочу, но я в целом отказываюсь от планов. Речь идет больше о построении отношений, о создании совета мужчин, которым вы доверяете, верно, мужчин с хорошими идеями, а затем через симпозиум, верно, направляя корабль, направляя процесс и адаптируясь к тому, что работает, а что нет.

Инженерия реальности — это процесс проб и ошибок, но интересное в ИИ и ОИИ то, что он может радикально экспериментировать за вас и давать вам огромное количество обратной связи быстро, так что ваш процесс проб и ошибок ускоряется. Следовательно, если у вас есть группа высококвалифицированных, умных людей, этично использующих ИИ для тестирования и быстрого получения обратной связи по идеям, и вы также наставлены традицией, тем, что работало в прошлом — что связывает людей вместе? Например, общая духовная практика. Другие вещи, которые связывают людей вместе, — это сообщество, которое танцует вместе. У которого есть общий музыкальный элемент. Сам по себе этот фактор является одним из основных показателей успеха в намеренных сообществах.

Смотрите ли вы на эти вещи, которые на самом деле ведут к процветанию?

Изучаем ли мы Древнюю Грецию, Ренессанс и высшие точки Западной цивилизации, и учимся ли мы у них тому, чему можем?

Быстро внедряем это в команде. Вот такие команды нам нужно строить — команды инженерии реальности. Если вы сможете собрать такую команду и найти за собой некоторые источники капитала, безжалостно экспериментируйте с минимально жизнеспособными продуктами. Что такое минимальная организация города? Возможно, это всего лишь 10 домов. Возможно, это просто покупка особняка и приглашение всех ваших друзей туда, чтобы посмотреть, как это — проводить время и на самом деле строить что-то вместе.

Вы столкнетесь с таким множеством проблем. Но для тех пионеров, которые преодолеют эти проблемы в ближайшие 10-20 лет, Боже мой, у вас будет величайшая возможность в истории человечества. Возглавить что-то совершенно новое. Я полностью в это верю. Я полностью привержен этому и вижу, как это происходит. Не делая вид.

Не так ли?

И поскольку большинство людей, отчасти в рамках этого навыка — навыка инженерии реальности — должны столкнуться с реальностью, вам нужно развить критическое мышление, вам нужно развить экономическое мышление, мышление о доходности, прагматическую инженерию, целостную инженерию.

Это включает в себя то, как вы строите людей, организации и все виды вещей. Люди, которые придерживаются неправильных видов мышления, которые отрицают реальность, которые погружаются в свои собственные «пузыри», будут раздавлены, потому что в прошлом, если вы плохо мыслили, если вы плохо привлекали себя к ответственности, если вы верили в какие-то сумасшедшие политические теории, посмотрите на глобальное потепление и изменение климата, посмотрите на левые идеологии, социалистические — все эти вещи в прошлом, где они были просто небольшим «повреждением мозга», вы просто немного ошибались во всем.

Каково было наказание за то, чтобы быть немного социалистом, за веру в климатические мифы?

Я не говорю, что изменения климата нет, но нарратив об изменении климата и все, что связано с мифами, как мы знаем на данный момент. Так что если вы верите в эти вещи, наказание за неспособность ясно мыслить было очень ограниченным. Представьте, вы студент в колледже и немного социалист, личное наказание за это, ну и что, говорите глупые вещи. Даже если вы обычный человек, ходящий на работу и имеющий обычную работу, вы можете думать глупые вещи, и вас не наказывают. Но в будущем, будущее — это сейчас, вас будут наказывать. Вас будут наказывать самым суровым образом.

И вот как: если вы не способны правильно мыслить о реальности и эффективно ее преобразовывать, вам нельзя быть глупым в этом. Вам нужно научиться быть правым в отношении реальности. И если вы этого не сделаете, у вас не будет возможности создавать ценность. Теперь это может звучать теоретически. Он абсолютно прав здесь. И это будет смешно, потому что мое видение будущего — это появление повсюду всех этих децентрализованных сообществ, децентрализованных городов. И также самоуправление, которое, надеюсь, будет на блокчейне, более прозрачное, подотчетное. Мы еще даже не приблизились к тому, что может сделать что-то вроде интернета для объединения единомышленников, людей с общим духом по всему миру в новые сообщества, основанные на ценностях.

А также с удаленной работой и всем этим — это так возможно, это происходит. Это происходит во многих местах, например, Vita DAO, кажется, в Италии. Повсюду появляются разные сообщества. Интересно, однако, что по мере того, как люди осознают необходимость быть с другими людьми, они осознают потенциал инженерии реальности с помощью робототехники, ОИИ и интернета. Многие люди захотят строить сообщества. Они захотят строить города. Это естественный шаг для предпринимателей. Но если они... Я вижу в децентрализованных цивилизациях, что каждый получает возможность опробовать свои политические идеологии, что будет хаосом, это будет смешно, но слава Богу.

Вместо того, чтобы иметь пару сотен национальных государств, которые все в рамках либерализма или либерального миропорядка, мы можем иметь все эти разные государства. Например, если кто-то очень хочет реализовать идеи разнообразия, равенства и инклюзивности (DEI) и открытых границ, они могут основать город, который полностью об этом. И они привлекут это племя, основанное на ценностях, но, думаю, оно, вероятно, распадется, потому что они ничего не знают о построении этноса и общей духовной идентичности. Все, что они знают, — это деконструкция духовной идентичности, поэтому они будут в хаосе. И дело в том, что этот хаос будет расти, развиваться и почти мгновенно рухнет.

И это круто в том, куда мы движемся. Если идея сетевого государства действительно появится, где люди смогут строить сообщества, основанные на ценностях, и пробовать различные политические системы, различные способы взаимоотношений друг с другом, это на самом деле приведет к реальному разнообразию. Потому что настоящее разнообразие проистекает из концентрации, концентрации народа, общего духа и этноса, верно? Оно проистекает из этой концентрации, и это на самом деле создает культуру. Культура проистекает из границ и концентрации, и принятия тех, кто соответствует общему духу, который вы создаете.

Я буквально вижу культуру как дух, проявляющийся через народ. Вот почему все эти материалисты, и технократы, и апологеты мира упускают эту часть уравнения, потому что культура проистекает из духа. Это дух, проявляющийся через народ, верно? И будет действительно интересно со всеми этими децентрализованными племенами. Например, если бы у вас был капитал, чтобы купить остров, верно? Вам нужно развернуть роботов для земледелия и всего этого, даже в очень малом масштабе. Вы могли бы сделать это сегодня. Миллиардер покупает остров и хочет основать новое децентрализованное сообщество. Возможно, на этом острове более космополитическая атмосфера, много судоходства, много торговли.


ИИ + Социальный апокалипсис обрекут миллионы. Если только мы не построим новые города

Вы могли бы экспериментировать с собственной формой управления, собственной формой экономики и всем этим. Но я думаю, что сообщества, которые выживут, восстановят баланс экономического принципа. Это для меня главная мысль о том, куда мы движемся. В прошлом, по сути, вся современность определялась мерой прогресса, основанной только на экономике, капитализме, верно? И я вроде бы правый антикапиталист, если вы понимаете мою позицию. Есть много людей справа, которые считают, что свободные рынки и капитализм... Но этот капиталистический принцип подменил высшую духовную идентичность, духовную власть.

И то, и другое должно существовать в балансе: духовная идентичность, духовная власть (государство) и экономика. Эти три движущие силы. И нам нужно создать баланс между ними, чтобы создать систему, которая действительно работает для людей, а не людей, работающих для системы.

Цель — полное человеческое процветание?

И если мы посмотрим, что означает полное человеческое процветание с высшей духовной точки зрения, верно? Вы переписываете эту модель. Вы переписываете модель, которая определяла современность, и вы можете начать достигать реального прогресса.

Ведь что для вас прогресс?

Что для вас успех?

Любой, кто прошел через какое-либо духовное пробуждение, снова задается этими глубокими вопросами.

Что такое смерть?

Какова цель жизни?

Как выглядит успех для меня?

Что самое важное?

Как достойно встретить смерть?

Как хорошо жить?

Как жить хорошей жизнью?

Обществу придется задать эти вопросы. И это, думаю, возродит более «вечную философию». А «вечная философия» основана на вечных вопросах. Тех вопросах, которые я только что описал. «Вечный» означает «непреходящий». Самые важные вопросы человеческой жизни.

Таким образом, этим новым сообществам, этим новым городам, нужны инженеры реальности — люди, которые очень способны на материальном плане, верно? И умны здесь. Но у них есть более высокая духовная связь, чтобы они задавали вечные вопросы и строили общество, которое не просто построено вокруг экономического принципа прогресса. Но построено вокруг более целостного взгляда на человеческий потенциал и человеческий прогресс. Вот куда нам нужно двигаться. И вот почему идея воина-жреца для меня просто потрясающая. Я сделаю еще одно видео на эту тему о воине-жреце. Потому что братства воинов-жрецов, будь то самураи или рыцари-тамплиеры, можно увидеть на протяжении истории.

Это мужчины, которые преуспевают в материальном мире, верно? И преуспевают в высшем мире, в мире бытия или духовном мире. И нам нужно и то, и другое. Нам нужно строить братство. Нам нужно строить племена, которые работают над максимизацией процветания, связи, материально и духовно, иначе мы тоже останемся позади. Нам нужно быть хозяевами земли и неба, друзья мои. Вот что я вижу. Вот что я хочу построить — такое братство. Иначе мы просто погрузимся глубже в материализм, глубже в нигилизм, глубже во все искусственное. Жизнь кажется такой пустой без этих глубоких связей сообщества, этой глубокой связи с духом и глубокой связи с высшим идеалом, который направляет наши жизни.

Друзья мои, в каждом из нас есть этот духовный импульс быть частью чего-то большего, верно? Быть частью большего сообщества в великой миссии вместе в космос, верно? Мы все хотим быть частью чего-то большего, а современность не дает нам ничего в плане быть частью чего-то большего.

Чувствуете ли вы себя частью своего города, действительно частью его, своей нации? Чувствуете ли вы себя действительно частью своего духовного сообщества? Чувствуете ли вы себя действительно частью какого-либо великого проекта, который вы строите в жизни?

Нет.

В лучшем случае вы чувствуете себя на 10% частью этой корпоративной работы, которая пытается завлечь вас выходными на пляже и столом для пинг-понга в подвале. Вы вроде бы чувствуете себя частью своего сообщества, но вы на самом деле не знаете и не любите своих соседей. Вы не пойдете и не умрете за своих соседей. В сообществе нет взаимозависимости. Мы больше не чувствуем себя частью чего-либо. Глобализм разрушил связи, постмодерн деконструировал все общие ценности, и теперь «все дозволено», «все в порядке». И типа, «ок, это хорошо». Это устранило догмы. Это освободило людей к более свободному духу, верно? Но теперь пришло время снова схватиться за корни. Корни западной цивилизации, корни того, что значит быть человеком, и строить вверх.

Все, что мы делали последние 200 чертовых лет, — это строились наружу, горизонтально. Больше материальных вещей, больше впечатлений, больше знаний. И вся эта хрень становится бессмысленной, когда вы теряете собор. Когда вы теряете центральную точку, священный центр общества. Когда мы теряем сознание собора: что значит подняться вверх в большем почтении, связи с Богом, связи с сообществом — что священно в жизни? И когда у вас нет связи со священным, материальный мир бессмысленен, верно? Вот что я имею в виду для инженеров реальности, для лидеров будущего: вам нужно развиваться на земном плане в плане ваших деловых навыков, вашей способности на самом деле строить сообщество вокруг себя через быстрый процесс проб и ошибок.

Но в то же время подчинять все это высшему духовному принципу. И это начинается с внутреннего духовного пробуждения и построения настоящего сообщества вокруг этого. Спасибо, что досмотрели до конца эту пламенную речь, друзья мои. Я здесь, чтобы строить город. Я посвящаю этому всю свою жизнь. Я хочу строить город. Я хочу, чтобы вокруг меня были единомышленники, родственные души, которые вдохновляют меня, которые зажигают меня, и которые хотят строить что-то большее вместе. Давайте сделаем это, друзья мои. Возможно, я грандиозен, но это истина в моем сердце.



Интересное в разделе «Наука»

Новое на сайте