Видео в русском переводе.
Недавно появилась статья, которая может стать следующим большим прорывом в области искусственного интеллекта. В ней представлен фреймворк, позволяющий ИИ автономно проектировать все более совершенные модели ИИ. Похоже, чем больше вычислительной мощности (compute) подается в систему, тем больше новых идей она способна генерировать. В теории, дальнейшее масштабирование этого подхода может привести к множеству открытий, выходящих за рамки нашего воображения. Эта статья достаточно техническая, но мы постараемся изложить ее содержание простыми словами.
Рассмотрим, как работает эта система, ее впечатляющие результаты и существующие ограничения. Прежде чем углубиться в суть статьи, рассмотрим текущее состояние инноваций в области ИИ и проблему, которую пытаются решить исследователи.
Прогресс ИИ не замедляется: почти каждую неделю появляются более производительные, эффективные модели. От Grok 4 до KimiK2 и Quen 3, а возможно, на следующей неделе и GPT-5 – языковые модели ИИ становятся все лучше. Также улучшаются генераторы изображений, голоса и видео. Проблема заключается в том, что человеческие исследователи не могут угнаться за этим темпом. Исследователи отмечают, что темпы исследований в области ИИ линейно ограничены когнитивными способностями человека.
Это означает, что люди с их ограниченным временем и умственными возможностями являются «медленной частью» процесса, что создает все более серьезное препятствие для развития ИИ. Темпы инноваций в области ИИ сдерживаются не количеством вычислительных мощностей или графических процессоров, не объемом обучающих данных, а способностью человеческих исследователей к инновациям. Все существующие модели, такие как ChatGPT, Grok и Gemini, были в основном разработаны людьми.
Мы можем продолжать строить более крупные и совершенные центры обработки данных, что, собственно, и делают XAI и М⃰, возводя огромные дата-центры с сотнями тысяч графических процессоров. Это потенциально позволит обучать более крупные модели с большим количеством параметров, но не обязательно поможет создавать более интеллектуальные дизайны или архитектуры. В конечном итоге, самое большое ограничение – это не вычислительная мощность, а человеческий мозг и время. Мы не можем внедрять инновации достаточно быстро. Надеемся, это объясняет проблему, которую исследователи пытаются решить.
В этой статье они представляют систему под названием ASI-ARC, способную автономно проводить собственные научные исследования и проектировать более мощные модели нового поколения. То есть вместо того, чтобы ждать человеческих инноваций, мы позволяем ИИ делать это самостоятельно.
Разве мы не пытались использовать ИИ для автоматизации этого процесса проектирования раньше?
Да, такие попытки предпринимались. Существует метод, называемый нейросетевым архитектурным поиском (NAS, Neural Architecture Search), который был основным методом. По сути, это алгоритм, ищущий лучшую структуру нейронной сети для выполнения конкретной задачи. Но главное ограничение NAS заключается в том, что он все еще ограничен исследованием техник, разработанных человеком. Он просто перебирает различные комбинации строительных блоков, созданных людьми, и это может быть довольно ресурсоемко с точки зрения вычислений.
По сути, этому методу не хватает настоящей креативности для изобретения чего-то совершенно нового. Именно здесь начинается самое интересное. Эта статья представляет фреймворк под названием ASI-ARC, который позволяет автоматизировать инновации с помощью ИИ. В частности, он использует ИИ для поиска новых нейросетевых архитектур.
Система спроектирована как полностью автономная и, теоретически, может выполнять это без какого-либо вмешательства человека. Вот как выглядит этот фреймворк, который они называют «замкнутым эволюционным циклом». Он может повторяться снова и снова, как будто постоянно эволюционирует. Фреймворк состоит из четырех основных компонентов.
Компонент «Исследователь»
Это своего рода «творческий мозг» системы. Он генерирует совершенно новые идеи для проектирования моделей ИИ, и это не просто небольшие корректировки. Он пытается найти принципиально новые способы создания ИИ. Обучение происходит на основе «когнитивной базы», о которой мы поговорим чуть позже, но в основном, он ссылается на свои прошлые эксперименты, а также читает и анализирует уже существующую информацию, то есть научные статьи. Это помогает ему придумывать новые архитектурные идеи. Важно отметить, что «исследователь» не просто генерирует идеи.
Он фактически пишет компьютерный код для этих новых дизайнов ИИ, а затем проверяет, является ли новая идея действительно новой и имеет ли код смысл. Эта проверка на новизну и валидность помогает предотвратить избыточные дизайны и ошибки, экономя много усилий. Можно представить это как начальный контроль качества. Чтобы быть еще точнее, для создания новых дизайнов система случайным образом выбирает из 10 лучших архитектур. Одна из них становится «родительской» архитектурой, а затем к ней добавляются идеи из четырех других примеров, взятых из 50 лучших идей.
Таким образом, система основывается на успехе, но также рассматривает другие хорошие идеи. Этот процесс циклически повторяется, напоминая самоэволюцию. Фактически, вся эта система также зацикливается бесконечно, о чем мы поговорим чуть позже. Компонент «Инженер»
После того как «исследователь» придумывает новую и валидную идею, он передает ее «инженеру». «Инженер» проводит реальную оценку этой идеи.
Он обучает новую модель ИИ в реальной среде кодирования. Инновационным здесь является механизм самокоррекции. В отличие от других методов, которые просто отбрасывают идеи, которые не работают, новая система ASI-ARC отслеживает подробные журналы ошибок, если что-то идет не так во время обучения. Затем она поручает тому же агенту самостоятельно найти ошибку и исправить свои промахи. То есть она как бы отлаживает себя, и это предотвращает отбрасывание многообещающих идей из-за простых ошибок.
Кроме того, система имеет автоматизированную систему обеспечения качества, которая также анализирует журналы обучения. Если модель обучается слишком медленно, например, в два или три раза дольше, чем ожидалось, или если значение ошибки выглядит странно низким, это может указывать на ошибку. В таком случае сессия прерывается досрочно, и проблема передается агенту для исправления. Это значительно ускоряет весь процесс поиска, избегая траты вычислительных ресурсов, если система заходит в тупик.
Эта часть самокоррекции является ключом к успеху системы. Таким образом, «инженер» тестирует идею в реальной среде кодирования.
Как система определяет, что является хорошим?
Как она выбирает выигрышные идеи? Это немного сложнее, чем просто смотреть на лучшие результаты бенчмарков. Вместо этого они используют «оценку пригодности» (fitness score), которая представляет собой сочетание количественных и качественных показателей. Для количественной части используется хитрая сигмоидальная трансформация, которая придает большее значение небольшим, но значимым улучшениям, но при этом ограничивает экстремальные значения. Этот шаг помогает предотвратить «взлом» ИИ, то есть погоню за одним показателем и своего рода обход системы.
Что касается качественной части, они используют отдельную большую языковую модель (LLM), которая выступает в роли эксперта-оценщика.
Этот LLM-судья оценивает такие параметры, как производительность, сложность дизайна, скорость и новизна идей по сравнению с предыдущими моделями. После объединения этих качественных и количественных метрик система выдает «оценку пригодности», которая показывает, насколько хороша идея. Затем эта оценка отправляется компоненту «аналитик» для рассмотрения.
Компонент «Аналитик»
Этот модуль «аналитика» собирает существующую информацию из «когнитивной базы» и также синтезирует собственные экспериментальные результаты, включая оценку пригодности, метрики производительности и журналы обучения. Во-первых, в части сбора существующих знаний, он обращается к «когнитивной базе», которая, по сути, анализирует существующие человеческие знания. Он извлекает концепции, алгоритмы и исторический контекст из почти сотни важных научных статей из различных архивов.
И, конечно, он также генерирует инсайты из текущих экспериментальных данных, включая журналы обучения.
Он также рассматривает «родительские» и «родственные» дизайны, то есть другие похожие идеи, которые эта система разработала в своем «генеалогическом древе», о котором мы поговорим чуть позже. По сути, он сравнивает тесно связанные дизайны, и это помогает понять, почему определенные изменения работают или не работают. Таким образом, он использует человеческую мудрость, но также учится на собственном непосредственном опыте через свои эксперименты. Затем инсайты от этого компонента «аналитика» архивируются в центральную базу данных. Это как бы обновление его памяти.
И это используется для информирования следующего цикла проектирования «исследователя». Таким образом, этот процесс зацикливается снова и снова, в зависимости от того, сколько вычислительной мощности вы хотите в него вложить. В целом, это очень сложный цикл обратной связи. Все это звучит невероятно ресурсоемко с точки зрения вычислений, все эти исследования и тестирования.
Система не может просто грубо перебирать тысячи огромных моделей, верно? Каждая идея модели должна пройти тщательное тестирование, и это займет тонны вычислений. Вот еще одна деталь о системе. Они также используют очень умную двухэтапную стратегию: сначала исследование, затем верификация. Этап исследования и верификации
Первый этап – исследование, на котором используются меньшие модели, примерно с 20 миллионами параметров, обучаемые на меньшем объеме данных. Также используется ограниченное количество проверочных выборок. Это, по сути, быстрые и «грязные» тесты для поиска многообещающих идей. Цель состоит в том, чтобы быстро определить большой пул перспективных кандидатов без траты огромного количества вычислительных ресурсов. И только лучшие из этого этапа переходят на этап верификации. Здесь они масштабируются до более крупных моделей.
Затем они проходят обширное обучение и тщательное тестирование с гораздо большими наборами данных.
Представьте этот процесс как широкий поиск сначала, а затем глубокую, сфокусированную валидацию. Последнее, что следует отметить: вероятно, из-за ограничений по времени и ресурсам, система была разработана для изучения и придумывания только новых архитектур с линейным механизмом внимания. Это особый тип трансформера, который обычно меньше и быстрее. Это потому, что если вы запустите это для тысяч экспериментов с тысячами различных архитектур моделей, если вы будете заставлять ее каждый раз создавать что-то вроде GPT или DeepSeek, то обучение и тестирование всех этих идей займет вечность.
Вот почему в этой статье они сосредоточились только на архитектурах с линейным механизмом внимания, потому что они, как правило, намного меньше и быстрее. Результаты работы системы
Итак, в двух словах, именно так работает система. В этой статье они использовали ее для проведения 1773 автономных экспериментов, занявших более 20 000 часов работы GPU.
Окупились ли эти усилия? Оказалось, результаты были довольно впечатляющими. Система обнаружила 106 инновационных и передовых архитектур с линейным механизмом внимания. «Передовые» означает, что они лучше существующих на сегодняшний день. На рисунке показаны 1700 разработанных системой дизайнов. По сути, это визуальная карта, показывающая, как архитектуры или все идеи, разработанные этой системой ИИ, связаны друг с другом, подобно генеалогическому древу. Вверху находится исходный «родитель» — DeltaNet.
Это существующая архитектура с линейным механизмом внимания, разработанная человеком. Затем, опираясь на эту исходную архитектуру, ИИ придумывает множество новых идей для первого поколения, затем для второго поколения и так далее. Смысл в том, что ИИ не просто создает случайные новые идеи, а генерирует новые архитектуры, напрямую изменяя код существующей.
Это создает своего рода отношения «родитель-потомок», где старая родительская модель редактируется или улучшается для создания новой дочерней модели. Именно так и работают человеческие ученые, не правда ли? Они не придумывают что-то совершенно новое из ниоткуда. Прорывы обычно происходят путем умножения идей на основе проверенных технологий. Эта система ИИ также разработана для инноваций таким образом. Из первого поколения, скажем так, «потомков», некоторые показали довольно плохие результаты, поэтому они были окрашены в красный цвет.
Некоторые показали удовлетворительные результаты, они были окрашены в желтый, но некоторые оказались даже лучше «родителя», и они были окрашены в синий цвет. Если взять лучшие экземпляры из этого поколения и совершенствовать их снова и снова, из поколения в поколение, вы получите это генеалогическое древо, и увидите, что модели становятся все лучше и лучше, или, другими словами, становятся все более темно-синими по мере продвижения вниз по поколениям.
Другими словами, все синие модели лучше, чем эта родительская модель, разработанная человеком. Обнаружение 106 совершенно новых дизайнов, которые лучше существующих, — это довольно впечатляющее число, особенно в очень специфической, хорошо изученной области, такой как линейный механизм внимания. И, вероятно, поэтому они упомянули «момент AlphaGo» в названии.
Что такое «момент AlphaGo»?
В 2016 году Google DeepMind выпустила ИИ, который стал чемпионом мира по игре в го. В отличие от других настольных игр, таких как шахматы, го намного сложнее, потому что имеет огромное количество возможных ходов и конфигураций доски. Это делает полный перебор практически невозможным. Го требует глубокого распознавания образов и долгосрочной стратегии. В то время было очень сложно разработать систему, которая хорошо играла бы в го. В 2016 году Google DeepMind организовала матч между AlphaGo и чемпионом мира Ли Седолем.
Во второй партии, на 37-м ходу, AlphaGo сделала ход, который шокировал всех.
Она сделала то, чего профессионалы никогда бы не сделали так рано в игре. Сначала комментаторы посчитали это ошибкой или сбоем. Но по мере развития игры стало ясно, что этот ход был гениальным. И он в итоге разгромил Ли Седоля. Бедному парню после этого пришлось выйти покурить. У него, должно быть, развилось посттравматическое стрессовое расстройство от этого. Впоследствии этот ход был назван «Богоподобным ходом». Это событие стало так называемым «моментом AlphaGo».
Это когда ИИ придумал совершенно новую стратегию, о которой люди никогда не задумывались, и даже разгромил чемпиона мира. Это продемонстрировало, что ИИ действительно обладает способностью к инновациям и созданию чего-то за пределами человеческого мышления. И имейте в виду, это было еще в 2016 году. Возвращаясь к нашей статье, это своего рода то же самое. Этот ИИ демонстрирует то, что исследователи назвали «возникающими принципами проектирования».
Они не просто постепенно превосходят человеческие разработки, но часто делают это совершенно новыми подходами, о которых мы никогда раньше не задумывались. И некоторые из этих дизайнов были совершенно неожиданными. Это открывает множество новых путей для инноваций и действительно бросает вызов нашим предположениям о том, что на самом деле возможно. Вот почему они назвали это «моментом AlphaGo». Хотя странно, что авторы объявили об этом сами, вместо того, чтобы дать миру решить. Вот некоторые из их лучших открытий, полученных в ходе этих экспериментов.
Во-первых, они обнаружили, что чем дольше работает система, то есть чем больше часов GPU в нее вложено, тем больше передовых идей она выдает.
Помните, в начале упоминалось, что текущие темпы инноваций в области ИИ ограничены человеческим временем и интеллектуальными способностями? Теперь это не так, потому что если вы используете эту систему ИИ для инноваций, для проектирования архитектур ИИ, то ограничением становится вычислительная мощность, или как долго вы можете ее запускать. Видно, что тенденция, по сути, линейна, и нет никаких признаков замедления. Так что, если масштабировать это еще больше, кто знает, сколько еще сумасшедших открытий она может придумать. Теперь давайте рассмотрим некоторые из ее идей.
Какие из ее топовых разработок заслуживают внимания? Напомним, что эта статья сосредоточена на создании новых моделей с линейным механизмом внимания. В настоящее время лучшие существующие модели включают Mamba 2, Gated DeltaNet и DeltaNet. Обратите внимание, что все эти три модели были разработаны людьми. Эти пять моделей — лишь некоторые из множества идей, которые ИИ смог предложить и которые действительно работают.
При этом средний результат бенчмарка для всех этих моделей лучше, чем у существующих моделей, разработанных людьми. Особенно интересна Path Gate Fusion Net. Ее архитектура представляет собой иерархическую двухэтапную систему маршрутизации. Можете представить ее как двухступенчатую систему управления трафиком внутри модели, которая регулирует поток информации. Конечно, человеческие исследователи могли концептуально подумать об этом раньше, но они не могли придумать стабильных рабочих решений.
Суть в том, что эта система ИИ смогла спроектировать такую архитектуру, которая реально работает и обеспечивает стабильность обучения. Еще одна интересная идея называется Content-Aware Sharpness Gating. В модели с линейным механизмом внимания, когда она обрабатывает слово в предложении, ей нужно решить, куда отправить это слово дальше.
Здесь используется «гейт резкости, учитывающий содержание» (content sharp gate), чтобы интеллектуально решить, куда направить слово, и это делается с помощью обучаемого температурного параметра, который, по сути, контролирует решение о маршрутизации. Также существует архитектура параллельного сигмоидного слияния и удержания (parallel sigmoid fusion and retention architecture), которая принципиально изменила механизм гейтирования.
Вместо одного гейта, принимающего решение между путями, она использует параллельные независимые сигмоидные гейты для каждого пути, так что пути могут активироваться одновременно. На самом деле, существует 106 таких новых архитектурных идей, каждая из которых превосходит существующие модели с линейным механизмом внимания. Сравнение моделей
В этой таблице перечислены множество новых моделей, разработанных системой. Верхние две строки — это существующие модели, разработанные человеком: DeltaNet и Gated DeltaNet.
Как видите, для всех этих новых идей, разработанных системой ИИ, значение ошибки (loss) ниже, чем у существующих моделей, разработанных людьми. А также тестовый балл, то есть производительность, выше. Это весь исчерпывающий список, и вы можете видеть, что все они являются передовыми. Они превосходят ведущие модели с линейным механизмом внимания, существующие на данный момент. Все это — новые, легитимные и работающие архитектуры ИИ. Насколько это безумно?
Если посмотреть на следующий рисунок, левый график отслеживает фактическую производительность 50 лучших архитектур, обнаруженных системой, по мере проведения все большего количества экспериментов. Производительность — это синяя линия. Как видно, средняя производительность 50 лучших моделей становится все лучше и лучше по мере проведения большего количества экспериментов. Фиолетовая линия — это ошибка (loss). И, как видите, она также снижается с увеличением количества экспериментов.
Справа показана оценка пригодности (fitness score), которую мы рассмотрели в этой диаграмме. Опять же, это, по сути, качественная и количественная мера того, насколько хороша и нова идея. Красная линия — это оценка пригодности. И, как видно, чем больше экспериментов вы проводите, тем лучше становится средняя оценка пригодности для лучших моделей. Однако обратите внимание, что она немного замедляется, но все равно продолжает расти. Таким образом, в общих чертах, это краткое изложение данной статьи.
Эта система ИИ автономно учится на существующих идеях, исправляет свои собственные ошибки и разрабатывает рабочие дизайны новых архитектур ИИ, которые со временем становятся все лучше. Она разработала 106 передовых идей для моделей ИИ, все из которых доказано лучше, чем те, что могли бы придумать люди, по крайней мере, в части архитектур с линейным механизмом внимания.
Несмотря на то, что она начинала с одного «семени» или «родителя», разработанного человеком, как видно из этого древа, лучшие идеи все чаще исходили из ее собственных открытий, а не просто переделки человеческих идей. И это показывает, что она действительно креативна. Она может придумывать новые инновации, о которых мы раньше не задумывались.
Ограничения системы
Конечно, у этой работы есть ограничения. Опять же, они сосредоточились только на архитектурах с линейным механизмом внимания, которые являются гораздо меньшими и менее производительными моделями ИИ. И мы не уверены, сможем ли мы взять этот существующий фреймворк и заставить его придумывать более общие или разнообразные архитектуры. Но это только начало. Приятно то, что они опубликовали весь код.
ИИ может автономно проектировать все более совершенные модели ИИ
Недавно появилась статья, которая может стать следующим большим прорывом в области искусственного интеллекта. В ней представлен фреймворк, позволяющий ИИ автономно проектировать все более совершенные модели ИИ. Похоже, чем больше вычислительной мощности (compute) подается в систему, тем больше новых идей она способна генерировать. В теории, дальнейшее масштабирование этого подхода может привести к множеству открытий, выходящих за рамки нашего воображения. Эта статья достаточно техническая, но мы постараемся изложить ее содержание простыми словами.
Рассмотрим, как работает эта система, ее впечатляющие результаты и существующие ограничения. Прежде чем углубиться в суть статьи, рассмотрим текущее состояние инноваций в области ИИ и проблему, которую пытаются решить исследователи.
Прогресс ИИ не замедляется: почти каждую неделю появляются более производительные, эффективные модели. От Grok 4 до KimiK2 и Quen 3, а возможно, на следующей неделе и GPT-5 – языковые модели ИИ становятся все лучше. Также улучшаются генераторы изображений, голоса и видео. Проблема заключается в том, что человеческие исследователи не могут угнаться за этим темпом. Исследователи отмечают, что темпы исследований в области ИИ линейно ограничены когнитивными способностями человека.
Это означает, что люди с их ограниченным временем и умственными возможностями являются «медленной частью» процесса, что создает все более серьезное препятствие для развития ИИ. Темпы инноваций в области ИИ сдерживаются не количеством вычислительных мощностей или графических процессоров, не объемом обучающих данных, а способностью человеческих исследователей к инновациям. Все существующие модели, такие как ChatGPT, Grok и Gemini, были в основном разработаны людьми.
Мы можем продолжать строить более крупные и совершенные центры обработки данных, что, собственно, и делают XAI и М⃰, возводя огромные дата-центры с сотнями тысяч графических процессоров. Это потенциально позволит обучать более крупные модели с большим количеством параметров, но не обязательно поможет создавать более интеллектуальные дизайны или архитектуры. В конечном итоге, самое большое ограничение – это не вычислительная мощность, а человеческий мозг и время. Мы не можем внедрять инновации достаточно быстро. Надеемся, это объясняет проблему, которую исследователи пытаются решить.
В этой статье они представляют систему под названием ASI-ARC, способную автономно проводить собственные научные исследования и проектировать более мощные модели нового поколения. То есть вместо того, чтобы ждать человеческих инноваций, мы позволяем ИИ делать это самостоятельно.
Разве мы не пытались использовать ИИ для автоматизации этого процесса проектирования раньше?
Да, такие попытки предпринимались. Существует метод, называемый нейросетевым архитектурным поиском (NAS, Neural Architecture Search), который был основным методом. По сути, это алгоритм, ищущий лучшую структуру нейронной сети для выполнения конкретной задачи. Но главное ограничение NAS заключается в том, что он все еще ограничен исследованием техник, разработанных человеком. Он просто перебирает различные комбинации строительных блоков, созданных людьми, и это может быть довольно ресурсоемко с точки зрения вычислений.
По сути, этому методу не хватает настоящей креативности для изобретения чего-то совершенно нового. Именно здесь начинается самое интересное. Эта статья представляет фреймворк под названием ASI-ARC, который позволяет автоматизировать инновации с помощью ИИ. В частности, он использует ИИ для поиска новых нейросетевых архитектур.
Система спроектирована как полностью автономная и, теоретически, может выполнять это без какого-либо вмешательства человека. Вот как выглядит этот фреймворк, который они называют «замкнутым эволюционным циклом». Он может повторяться снова и снова, как будто постоянно эволюционирует. Фреймворк состоит из четырех основных компонентов.
Компонент «Исследователь»
Это своего рода «творческий мозг» системы. Он генерирует совершенно новые идеи для проектирования моделей ИИ, и это не просто небольшие корректировки. Он пытается найти принципиально новые способы создания ИИ. Обучение происходит на основе «когнитивной базы», о которой мы поговорим чуть позже, но в основном, он ссылается на свои прошлые эксперименты, а также читает и анализирует уже существующую информацию, то есть научные статьи. Это помогает ему придумывать новые архитектурные идеи. Важно отметить, что «исследователь» не просто генерирует идеи.
Он фактически пишет компьютерный код для этих новых дизайнов ИИ, а затем проверяет, является ли новая идея действительно новой и имеет ли код смысл. Эта проверка на новизну и валидность помогает предотвратить избыточные дизайны и ошибки, экономя много усилий. Можно представить это как начальный контроль качества. Чтобы быть еще точнее, для создания новых дизайнов система случайным образом выбирает из 10 лучших архитектур. Одна из них становится «родительской» архитектурой, а затем к ней добавляются идеи из четырех других примеров, взятых из 50 лучших идей.
Таким образом, система основывается на успехе, но также рассматривает другие хорошие идеи. Этот процесс циклически повторяется, напоминая самоэволюцию. Фактически, вся эта система также зацикливается бесконечно, о чем мы поговорим чуть позже. Компонент «Инженер»
После того как «исследователь» придумывает новую и валидную идею, он передает ее «инженеру». «Инженер» проводит реальную оценку этой идеи.
Он обучает новую модель ИИ в реальной среде кодирования. Инновационным здесь является механизм самокоррекции. В отличие от других методов, которые просто отбрасывают идеи, которые не работают, новая система ASI-ARC отслеживает подробные журналы ошибок, если что-то идет не так во время обучения. Затем она поручает тому же агенту самостоятельно найти ошибку и исправить свои промахи. То есть она как бы отлаживает себя, и это предотвращает отбрасывание многообещающих идей из-за простых ошибок.
Кроме того, система имеет автоматизированную систему обеспечения качества, которая также анализирует журналы обучения. Если модель обучается слишком медленно, например, в два или три раза дольше, чем ожидалось, или если значение ошибки выглядит странно низким, это может указывать на ошибку. В таком случае сессия прерывается досрочно, и проблема передается агенту для исправления. Это значительно ускоряет весь процесс поиска, избегая траты вычислительных ресурсов, если система заходит в тупик.
Эта часть самокоррекции является ключом к успеху системы. Таким образом, «инженер» тестирует идею в реальной среде кодирования.
Как система определяет, что является хорошим?
Как она выбирает выигрышные идеи? Это немного сложнее, чем просто смотреть на лучшие результаты бенчмарков. Вместо этого они используют «оценку пригодности» (fitness score), которая представляет собой сочетание количественных и качественных показателей. Для количественной части используется хитрая сигмоидальная трансформация, которая придает большее значение небольшим, но значимым улучшениям, но при этом ограничивает экстремальные значения. Этот шаг помогает предотвратить «взлом» ИИ, то есть погоню за одним показателем и своего рода обход системы.
Что касается качественной части, они используют отдельную большую языковую модель (LLM), которая выступает в роли эксперта-оценщика.
Этот LLM-судья оценивает такие параметры, как производительность, сложность дизайна, скорость и новизна идей по сравнению с предыдущими моделями. После объединения этих качественных и количественных метрик система выдает «оценку пригодности», которая показывает, насколько хороша идея. Затем эта оценка отправляется компоненту «аналитик» для рассмотрения.
Компонент «Аналитик»
Этот модуль «аналитика» собирает существующую информацию из «когнитивной базы» и также синтезирует собственные экспериментальные результаты, включая оценку пригодности, метрики производительности и журналы обучения. Во-первых, в части сбора существующих знаний, он обращается к «когнитивной базе», которая, по сути, анализирует существующие человеческие знания. Он извлекает концепции, алгоритмы и исторический контекст из почти сотни важных научных статей из различных архивов.
И, конечно, он также генерирует инсайты из текущих экспериментальных данных, включая журналы обучения.
Он также рассматривает «родительские» и «родственные» дизайны, то есть другие похожие идеи, которые эта система разработала в своем «генеалогическом древе», о котором мы поговорим чуть позже. По сути, он сравнивает тесно связанные дизайны, и это помогает понять, почему определенные изменения работают или не работают. Таким образом, он использует человеческую мудрость, но также учится на собственном непосредственном опыте через свои эксперименты. Затем инсайты от этого компонента «аналитика» архивируются в центральную базу данных. Это как бы обновление его памяти.
И это используется для информирования следующего цикла проектирования «исследователя». Таким образом, этот процесс зацикливается снова и снова, в зависимости от того, сколько вычислительной мощности вы хотите в него вложить. В целом, это очень сложный цикл обратной связи. Все это звучит невероятно ресурсоемко с точки зрения вычислений, все эти исследования и тестирования.
Система не может просто грубо перебирать тысячи огромных моделей, верно? Каждая идея модели должна пройти тщательное тестирование, и это займет тонны вычислений. Вот еще одна деталь о системе. Они также используют очень умную двухэтапную стратегию: сначала исследование, затем верификация. Этап исследования и верификации
Первый этап – исследование, на котором используются меньшие модели, примерно с 20 миллионами параметров, обучаемые на меньшем объеме данных. Также используется ограниченное количество проверочных выборок. Это, по сути, быстрые и «грязные» тесты для поиска многообещающих идей. Цель состоит в том, чтобы быстро определить большой пул перспективных кандидатов без траты огромного количества вычислительных ресурсов. И только лучшие из этого этапа переходят на этап верификации. Здесь они масштабируются до более крупных моделей.
Затем они проходят обширное обучение и тщательное тестирование с гораздо большими наборами данных.
Представьте этот процесс как широкий поиск сначала, а затем глубокую, сфокусированную валидацию. Последнее, что следует отметить: вероятно, из-за ограничений по времени и ресурсам, система была разработана для изучения и придумывания только новых архитектур с линейным механизмом внимания. Это особый тип трансформера, который обычно меньше и быстрее. Это потому, что если вы запустите это для тысяч экспериментов с тысячами различных архитектур моделей, если вы будете заставлять ее каждый раз создавать что-то вроде GPT или DeepSeek, то обучение и тестирование всех этих идей займет вечность.
Вот почему в этой статье они сосредоточились только на архитектурах с линейным механизмом внимания, потому что они, как правило, намного меньше и быстрее. Результаты работы системы
Итак, в двух словах, именно так работает система. В этой статье они использовали ее для проведения 1773 автономных экспериментов, занявших более 20 000 часов работы GPU.
Окупились ли эти усилия? Оказалось, результаты были довольно впечатляющими. Система обнаружила 106 инновационных и передовых архитектур с линейным механизмом внимания. «Передовые» означает, что они лучше существующих на сегодняшний день. На рисунке показаны 1700 разработанных системой дизайнов. По сути, это визуальная карта, показывающая, как архитектуры или все идеи, разработанные этой системой ИИ, связаны друг с другом, подобно генеалогическому древу. Вверху находится исходный «родитель» — DeltaNet.
Это существующая архитектура с линейным механизмом внимания, разработанная человеком. Затем, опираясь на эту исходную архитектуру, ИИ придумывает множество новых идей для первого поколения, затем для второго поколения и так далее. Смысл в том, что ИИ не просто создает случайные новые идеи, а генерирует новые архитектуры, напрямую изменяя код существующей.
Это создает своего рода отношения «родитель-потомок», где старая родительская модель редактируется или улучшается для создания новой дочерней модели. Именно так и работают человеческие ученые, не правда ли? Они не придумывают что-то совершенно новое из ниоткуда. Прорывы обычно происходят путем умножения идей на основе проверенных технологий. Эта система ИИ также разработана для инноваций таким образом. Из первого поколения, скажем так, «потомков», некоторые показали довольно плохие результаты, поэтому они были окрашены в красный цвет.
Некоторые показали удовлетворительные результаты, они были окрашены в желтый, но некоторые оказались даже лучше «родителя», и они были окрашены в синий цвет. Если взять лучшие экземпляры из этого поколения и совершенствовать их снова и снова, из поколения в поколение, вы получите это генеалогическое древо, и увидите, что модели становятся все лучше и лучше, или, другими словами, становятся все более темно-синими по мере продвижения вниз по поколениям.
Другими словами, все синие модели лучше, чем эта родительская модель, разработанная человеком. Обнаружение 106 совершенно новых дизайнов, которые лучше существующих, — это довольно впечатляющее число, особенно в очень специфической, хорошо изученной области, такой как линейный механизм внимания. И, вероятно, поэтому они упомянули «момент AlphaGo» в названии.
Что такое «момент AlphaGo»?
В 2016 году Google DeepMind выпустила ИИ, который стал чемпионом мира по игре в го. В отличие от других настольных игр, таких как шахматы, го намного сложнее, потому что имеет огромное количество возможных ходов и конфигураций доски. Это делает полный перебор практически невозможным. Го требует глубокого распознавания образов и долгосрочной стратегии. В то время было очень сложно разработать систему, которая хорошо играла бы в го. В 2016 году Google DeepMind организовала матч между AlphaGo и чемпионом мира Ли Седолем.
Во второй партии, на 37-м ходу, AlphaGo сделала ход, который шокировал всех.
Она сделала то, чего профессионалы никогда бы не сделали так рано в игре. Сначала комментаторы посчитали это ошибкой или сбоем. Но по мере развития игры стало ясно, что этот ход был гениальным. И он в итоге разгромил Ли Седоля. Бедному парню после этого пришлось выйти покурить. У него, должно быть, развилось посттравматическое стрессовое расстройство от этого. Впоследствии этот ход был назван «Богоподобным ходом». Это событие стало так называемым «моментом AlphaGo».
Это когда ИИ придумал совершенно новую стратегию, о которой люди никогда не задумывались, и даже разгромил чемпиона мира. Это продемонстрировало, что ИИ действительно обладает способностью к инновациям и созданию чего-то за пределами человеческого мышления. И имейте в виду, это было еще в 2016 году. Возвращаясь к нашей статье, это своего рода то же самое. Этот ИИ демонстрирует то, что исследователи назвали «возникающими принципами проектирования».
Они не просто постепенно превосходят человеческие разработки, но часто делают это совершенно новыми подходами, о которых мы никогда раньше не задумывались. И некоторые из этих дизайнов были совершенно неожиданными. Это открывает множество новых путей для инноваций и действительно бросает вызов нашим предположениям о том, что на самом деле возможно. Вот почему они назвали это «моментом AlphaGo». Хотя странно, что авторы объявили об этом сами, вместо того, чтобы дать миру решить. Вот некоторые из их лучших открытий, полученных в ходе этих экспериментов.
Во-первых, они обнаружили, что чем дольше работает система, то есть чем больше часов GPU в нее вложено, тем больше передовых идей она выдает.
Помните, в начале упоминалось, что текущие темпы инноваций в области ИИ ограничены человеческим временем и интеллектуальными способностями? Теперь это не так, потому что если вы используете эту систему ИИ для инноваций, для проектирования архитектур ИИ, то ограничением становится вычислительная мощность, или как долго вы можете ее запускать. Видно, что тенденция, по сути, линейна, и нет никаких признаков замедления. Так что, если масштабировать это еще больше, кто знает, сколько еще сумасшедших открытий она может придумать. Теперь давайте рассмотрим некоторые из ее идей.
Какие из ее топовых разработок заслуживают внимания? Напомним, что эта статья сосредоточена на создании новых моделей с линейным механизмом внимания. В настоящее время лучшие существующие модели включают Mamba 2, Gated DeltaNet и DeltaNet. Обратите внимание, что все эти три модели были разработаны людьми. Эти пять моделей — лишь некоторые из множества идей, которые ИИ смог предложить и которые действительно работают.
При этом средний результат бенчмарка для всех этих моделей лучше, чем у существующих моделей, разработанных людьми. Особенно интересна Path Gate Fusion Net. Ее архитектура представляет собой иерархическую двухэтапную систему маршрутизации. Можете представить ее как двухступенчатую систему управления трафиком внутри модели, которая регулирует поток информации. Конечно, человеческие исследователи могли концептуально подумать об этом раньше, но они не могли придумать стабильных рабочих решений.
Суть в том, что эта система ИИ смогла спроектировать такую архитектуру, которая реально работает и обеспечивает стабильность обучения. Еще одна интересная идея называется Content-Aware Sharpness Gating. В модели с линейным механизмом внимания, когда она обрабатывает слово в предложении, ей нужно решить, куда отправить это слово дальше.
Здесь используется «гейт резкости, учитывающий содержание» (content sharp gate), чтобы интеллектуально решить, куда направить слово, и это делается с помощью обучаемого температурного параметра, который, по сути, контролирует решение о маршрутизации. Также существует архитектура параллельного сигмоидного слияния и удержания (parallel sigmoid fusion and retention architecture), которая принципиально изменила механизм гейтирования.
Вместо одного гейта, принимающего решение между путями, она использует параллельные независимые сигмоидные гейты для каждого пути, так что пути могут активироваться одновременно. На самом деле, существует 106 таких новых архитектурных идей, каждая из которых превосходит существующие модели с линейным механизмом внимания. Сравнение моделей
В этой таблице перечислены множество новых моделей, разработанных системой. Верхние две строки — это существующие модели, разработанные человеком: DeltaNet и Gated DeltaNet.
Как видите, для всех этих новых идей, разработанных системой ИИ, значение ошибки (loss) ниже, чем у существующих моделей, разработанных людьми. А также тестовый балл, то есть производительность, выше. Это весь исчерпывающий список, и вы можете видеть, что все они являются передовыми. Они превосходят ведущие модели с линейным механизмом внимания, существующие на данный момент. Все это — новые, легитимные и работающие архитектуры ИИ. Насколько это безумно?
Если посмотреть на следующий рисунок, левый график отслеживает фактическую производительность 50 лучших архитектур, обнаруженных системой, по мере проведения все большего количества экспериментов. Производительность — это синяя линия. Как видно, средняя производительность 50 лучших моделей становится все лучше и лучше по мере проведения большего количества экспериментов. Фиолетовая линия — это ошибка (loss). И, как видите, она также снижается с увеличением количества экспериментов.
Справа показана оценка пригодности (fitness score), которую мы рассмотрели в этой диаграмме. Опять же, это, по сути, качественная и количественная мера того, насколько хороша и нова идея. Красная линия — это оценка пригодности. И, как видно, чем больше экспериментов вы проводите, тем лучше становится средняя оценка пригодности для лучших моделей. Однако обратите внимание, что она немного замедляется, но все равно продолжает расти. Таким образом, в общих чертах, это краткое изложение данной статьи.
Эта система ИИ автономно учится на существующих идеях, исправляет свои собственные ошибки и разрабатывает рабочие дизайны новых архитектур ИИ, которые со временем становятся все лучше. Она разработала 106 передовых идей для моделей ИИ, все из которых доказано лучше, чем те, что могли бы придумать люди, по крайней мере, в части архитектур с линейным механизмом внимания.
Несмотря на то, что она начинала с одного «семени» или «родителя», разработанного человеком, как видно из этого древа, лучшие идеи все чаще исходили из ее собственных открытий, а не просто переделки человеческих идей. И это показывает, что она действительно креативна. Она может придумывать новые инновации, о которых мы раньше не задумывались.
Ограничения системы
Конечно, у этой работы есть ограничения. Опять же, они сосредоточились только на архитектурах с линейным механизмом внимания, которые являются гораздо меньшими и менее производительными моделями ИИ. И мы не уверены, сможем ли мы взять этот существующий фреймворк и заставить его придумывать более общие или разнообразные архитектуры. Но это только начало. Приятно то, что они опубликовали весь код.
