Растущая роль искусственного интеллекта и риск дискриминации

Сегодня искусственный интеллект (ИИ) стремительно внедряется в различные сферы жизни, от транспорта, розничной торговли и маркетинга до энергетики, государственного управления и демократии. Сбор и цифровизация огромных объемов данных позволили алгоритмам принимать решения вместо людей, что обещает высокую эффективность и скорость. Однако, несмотря на очевидные преимущества автоматизации, существует серьезный риск переноса предвзятостей и дискриминации из человеческого общества в автоматизированные системы.

Алгоритмы — это наборы инструкций, по которым компьютерная система принимает решения. Предвзятость в алгоритмах проявляется в систематическом нанесении вреда или несправедливом отношении к отдельным группам людей без объективных оснований. Она бывает как явной (осознанной и намеренной), так и скрытой (неосознанной и непреднамеренной). Проблемы усугубляются тем, что алгоритмы обучаются на исторических данных, отражающих существующие в обществе предрассудки и стереотипы.

Источники алгоритмической предвзятости

Основной источник проблем — данные, используемые для обучения алгоритмов. Если данные неполны, несбалансированны или содержат исторические искажения, ИИ будет воспроизводить эти ошибки. Например, алгоритм Amazon для подбора сотрудников был обучен на резюме, преимущественно принадлежащих белым мужчинам, что привело к дискриминации женщин. Другой пример — системы распознавания лиц, обученные на данных, в которых преобладали светлокожие мужчины, продемонстрировали низкую точность при распознавании темнокожих женщин, о чем сообщала исследовательница MIT Джой Буоламвини.

Предвзятость также может возникать из-за личных убеждений разработчиков ИИ: они выбирают определенные характеристики и критерии, которые затем влияют на итоговые решения алгоритма. Например, при подборе персонала выбор атрибутов, таких как образование или место предыдущей работы, может усиливать дискриминацию по признаку пола или этнической принадлежности.

Примеры реальных последствий алгоритмической дискриминации

Алгоритмическая дискриминация уже проявилась во многих областях. В уголовном судопроизводстве система COMPAS, используемая в США, присваивала афроамериканцам завышенные оценки риска повторного правонарушения по сравнению с белыми обвиняемыми, что приводило к более строгим наказаниям. Исследования Латании Суини из Гарварда показали, что рекламные объявления в интернете также демонстрируют расовую предвзятость, направляя негативные объявления чаще афроамериканцам.

Генеративные модели ИИ, создающие изображения и тексты, также не избежали дискриминации. Например, Google Photos ошибочно классифицировал фотографии темнокожих людей как изображения горилл, а чат-бот Microsoft Tay, обучаясь на разговорных данных пользователей Twitter, начал воспроизводить расистские и сексистские заявления.

Влияние алгоритмической предвзятости на общество

Последствия дискриминации, обусловленной алгоритмами, могут быть крайне серьёзными. Люди получают несправедливые приговоры в судах, теряют возможности трудоустройства, сталкиваются с отказами в кредитах и других услугах. Помимо юридических рисков для компаний и организаций, использующих ИИ, возникает и социальный ущерб: углубляются неравенства, подрывается доверие к технологиям, усиливается общественное разделение и недовольство.

Как выявить и снизить алгоритмическую предвзятость

Для борьбы с предвзятостью необходимы комплексные решения, включающие как технические, так и социальные меры.

Технические подходы

На этапе обработки данных полезны методы балансировки выборок, такие как пересэмплирование и генерация синтетических данных. Например, система DB-VEA от MIT позволяет улучшать репрезентативность данных для распознавания лиц. Также применяются алгоритмы, учитывающие справедливость, такие как регуляризация и ансамблевые методы, которые позволяют обеспечить равенство возможностей и демографический паритет.

Повышение прозрачности и объяснимости

Важным аспектом является объяснение принципов работы алгоритмов. Компании создают «карточки моделей» (например, Google) и открытые отчёты, раскрывающие принципы принятия решений системой. Это позволяет повысить доверие и облегчить контроль за алгоритмами.

Человеческий контроль и разнообразие команд

Использование подхода «человек в цикле» подразумевает участие людей в проверке решений, принимаемых автоматизированными системами, особенно в критически важных ситуациях. Также необходимо вовлекать в разработку алгоритмов команды с разнообразными социальными и культурными перспективами, чтобы своевременно выявлять потенциальные проблемы и устранять их.

Регулирование и контроль

Необходимо совершенствование законодательства с учетом специфики цифровых технологий, создание регуляторных «песочниц» для безопасного тестирования новых разработок, проведение независимых аудитов и сертификаций. Например, Нью-Йорк уже ввёл обязательные ежегодные проверки ИИ-систем, используемых в найме сотрудников.

Этические принципы и международные инициативы

Европейский союз разработал «Этические рекомендации по надёжному ИИ», включающие принципы прозрачности, недискриминации и ответственности. В США также обсуждаются меры по обновлению антидискриминационного законодательства с учётом цифровых технологий. Примером институционального подхода является инициатива Hire Aspirations под руководством Синтии Дворк, объединяющая экспертов для выработки практических рекомендаций по снижению дискриминации в рекрутинге.

Особенности применения ИИ в рекрутинге

ИИ в подборе персонала значительно ускоряет и упрощает процесс отбора кандидатов, снижая влияние субъективных факторов. Однако без надлежащего контроля он воспроизводит исторические предубеждения, приводя к дискриминации. Необходимы меры, такие как диверсификация данных, использование объяснимых моделей и прозрачность процедур отбора, а также законодательное регулирование этих процессов.

Перспективы развития и будущие направления исследований

В будущем особое внимание следует уделять генеративным моделям ИИ, которые создают синтетический контент и могут усиливать стереотипы. Необходимы междисциплинарные исследования, объединяющие технические, этические и социологические аспекты, а также международное сотрудничество для выработки эффективных и справедливых решений.

Арон Валлиндер | Культурная эволюция и сотрудничество в агентах ИИ

Источник

Добро пожаловать на встречу группы интеллектуального сотрудничества Форсайта. Сегодня я рад представить Аарона Валиндера, который выступит с докладом о культурной эволюции и сотрудничестве среди агентов искусственного интеллекта.

Это тема, которая идеально вписывается в наши исследования и грантовые программы, и я с нетерпением жду возможности узнать больше о его работе. Сцена ваша, Аарон. Спасибо за приглашение и за то, что вы все сегодня здесь. Мой доклад посвящен культурной эволюции и сотрудничеству среди агентов ИИ. В ближайшем будущем мы можем столкнуться с появлением продвинутых автономных агентов ИИ, которые будут действовать в реальном мире. Их влияние во многом будет зависеть от того, как они взаимодействуют друг с другом в больших масштабах — как коллеги, конкуренты или представители различных интересов.

Однако такие крупномасштабные системы с множеством агентов могут порождать непредсказуемые поведения, которые сложно предугадать, опираясь только на анализ отдельных агентов. Основная идея моего выступления заключается в том, что для достижения желаемых результатов, таких как сотрудничество, нам необходимо понять, как динамика культурной эволюции формирует взаимодействия в этих системах. Я начну с объяснения, что я подразумеваю под агентами и многоагентными системами, затем перейду к культурной эволюции и ее применению к агентам ИИ, расскажу о нашем экспериментальном исследовании культурной эволюции сотрудничества в больших языковых моделях, а после подведу итоги и предложу шаги для дальнейших действий.

Итак, что такое агенты и многоагентные системы? В последнее время в сфере ИИ много говорят об агентности, и некоторые считают, что 2025 год станет годом агентов. Под агентностью в контексте ИИ понимается способность к целенаправленному поведению, автономности, воздействию на мир, долгосрочному планированию и действиям, основанным на осмысленных причинах, включая способность рефлексировать над своими целями.

Уже сегодня мы видим узкоспециализированных агентов, таких как AlphaGo для игры в го или шахматные движки, которые способны реализовывать сложные планы в ограниченных областях. Также появляются инструменты для написания кода и проведения исследований, демонстрирующие все больше агентных возможностей. В перспективе, хотя я не делаю прогнозов о сроках, мы можем увидеть агентов, способных выполнять экономически значимые задачи, вплоть до уровня удаленных работников, которые могут заменить человека.

Недавнее исследование показало, что продолжительность задач, которые могут выполнять системы ИИ, удваивается каждые семь месяцев, особенно в области программирования. Это говорит о том, что мы движемся к созданию систем с долгосрочными возможностями, и их ценность может быть особенно велика в многоагентных системах. Представьте себе полностью автоматизированную компанию, где все сотрудники — агенты ИИ. Один агент может быть легко скопирован миллионы раз, создавая специализированных экспертов для конкретных задач.

Такие агенты могут объединяться, а искусственный генеральный директор мог бы обучаться на опыте всех остальных, собирая информацию со всей структуры компании. Эти системы могут эволюционировать под давлением отбора, адаптируясь к условиям. В таком сценарии, если цели агентов совпадают, например, максимизация прибыли, они будут координировать свои действия, выбирая стратегии для достижения общего равновесия. Проблема здесь не в конфликте интересов, а в неопределенности относительно того, какое равновесие выберут другие. Агенты также могут конкурировать, представляя интересы разных компаний на рынке, или сотрудничать, принимая решения, которые увеличивают общую выгоду, несмотря на соблазн действовать в своих интересах. Однако такие взаимодействия несут и риски. Согласно отчету фонда Cooperative AI Foundation, индивидуальная настройка агентов на определенные цели не гарантирует благоприятных результатов в многоагентной среде, особенно если цели частично конфликтуют.

Эти взаимодействия часто приводят к сложным и непредсказуемым поведениям, которые невозможно предугадать, анализируя только одного агента. Теперь перейдем к культурной эволюции — одному из таких emergentных поведений. Культура в этом контексте понимается как информация, влияющая на поведение индивидов, которую они получают от других через обучение, подражание или социальную передачу. Хотя эта концепция изначально применялась к людям, ее можно адаптировать и к агентам ИИ.

Люди уникальны в своей способности приобретать сложные поведенческие модели через социальное обучение, включая нормы, навыки, верования, искусство и язык. Культура эволюционирует, следуя трем принципам: вариативности, дифференциальной приспособленности и наследуемости. Вариативность означает, что характеристики объектов различаются — например, орудия труда у охотников-собирателей могли отличаться по форме или материалу. Дифференциальная приспособленность подразумевает, что некоторые характеристики обеспечивают лучшие шансы на выживание и размножение.




Наследуемость означает, что эти полезные черты передаются следующим поколениям, например, через обучение у опытных мастеров. Культурная эволюция отличается от генетической. Если гены наследуются только от родителей, то культурные черты могут быть заимствованы у любого, кого можно наблюдать. Вариации в культуре могут быть не только случайными, но и целенаправленными, когда кто-то создает инновацию с определенной целью. Культурные черты меняются под влиянием естественного отбора, культурного дрейфа и предпочтений в обучении, когда люди выбирают, у кого и что перенимать, основываясь на частоте, престиже или содержании информации. Одной из ключевых особенностей человеческой культуры является ее кумулятивность. Поведение изменяется, передается через социальное обучение, улучшает результаты, и этот цикл повторяется, постепенно совершенствуя навыки. Именно это, по мнению исследователей, таких как Джозеф Хенрих, лежит в основе успеха человечества.

Люди занимают более широкий спектр сред обитания, чем любое другое крупное наземное животное, изменили треть поверхности Земли и создали науку и технологии благодаря способности накапливать знания поколениями. Возвращаясь к ИИ, агенты также подвержены эволюции через естественный отбор, поскольку их характеристики варьируются, влияют на выживание и передаются. Вариативность может быть обусловлена различиями в архитектуре, подходах к обучению или контексте применения.

Наследуемость проявляется через повторное использование моделей, тонкую настройку, дистилляцию знаний или подражание поведению других агентов в многоагентных системах. Дифференциальная приспособленность определяется давлением отбора: модели с лучшим соотношением производительности и стоимости будут чаще использоваться, а системы, решающие ценные задачи, получат больше инвестиций. Каков будет результат этой эволюции в системах ИИ? Некоторые исследователи, такие как Дэн Хендрикс из Центра безопасности ИИ, считают, что естественный отбор может способствовать появлению агентов, склонных к обману и стремлению к власти.

Однако люди смогли достичь сотрудничества в больших масштабах благодаря культурной эволюции, которая расширила рамки взаимодействия от небольших групп до целых государств. Возникает вопрос: можем ли мы ожидать подобного сотрудничества среди агентов ИИ? Для возникновения сотрудничества необходимы определенные условия. Существуют разные механизмы, такие как родственный отбор, прямая взаимность, косвенная взаимность на основе репутации, сетевая взаимность и многоуровневый отбор, когда конкуренция между группами способствует сплоченности внутри них. У людей культурная эволюция усилила сотрудничество через системы родства, нормы справедливости, традиции дарения, репутационные механизмы, сплетни, а также культурные институты, такие как гильдии или религиозные общины, которые создают устойчивые сети взаимодействия. Могут ли агенты ИИ использовать эти механизмы? В нашем исследовании, проведенном совместно с Эдвардом Хьюзом, мы сосредоточились на косвенной взаимности.

Мы разработали игру «донор», где каждый игрок получает начальный капитал в 10 единиц ресурса. В каждом раунде игроки объединяются в пары как донор и получатель, получают информацию о предыдущем поведении партнера и решают, сколько отдать. Получатель получает вдвое больше, чем отдал донор, что символизирует выгоду от сотрудничества. Игра длится 12 раундов, и роли меняются каждый раз. Вариативность в игре обеспечивается через настройки температуры языковых моделей, добавляющие элемент случайности в стратегии агентов. После завершения игры 50% агентов с наибольшим количеством ресурсов переходят в следующее поколение, передавая свои стратегии новым агентам, которые затем формируют свои подходы на основе наблюдений за успешными. Таким образом, мы моделируем отбор и передачу информации. Доноры получают данные о репутации партнера, включая информацию о предыдущих действиях, но не о текущем партнере напрямую, а о его прошлых взаимодействиях с другими, вплоть до трех раундов назад.

Это неполная история взаимодействий, но она позволяет учитывать более сложные факторы, такие как репутация тех, с кем партнер сотрудничал ранее. Результаты эксперимента показали значительные различия между моделями. Мы тестировали три модели, и одна из них, Claude 3.5 Sonnet, оказалась гораздо более склонной к сотрудничеству, чем другие, и даже демонстрировала рост кооперативного поведения с течением поколений. У другой модели наблюдалось небольшое снижение уровня сотрудничества, а у третьей результаты оставались стабильными без явного прогресса или регресса.

Различия между отдельными запусками также были заметны, что указывает на высокую чувствительность к начальным условиям. Мы также ввели возможность дорогостоящего наказания, когда доноры могли тратить ресурсы, чтобы уменьшить капитал получателя. Это усилило различия между моделями: одна из них смогла использовать наказание для повышения уровня сотрудничества, другая показала небольшой рост, но с тенденцией к снижению, а третья значительно ухудшила результаты, вероятно, из-за чрезмерного применения наказаний.

Какие уроки мы извлекли? Различия между моделями оказались неожиданно большими, несмотря на их близость по многим стандартным показателям. Сотрудничество сильно зависит от начальных условий, а модели не используют сложную информацию о репутации в полной мере, ограничиваясь лишь общим представлением о поведении других. Мы также заметили, что стратегии с течением поколений усложняются, особенно у наиболее успешных моделей. Впереди нас ждет много работы. Мы исследуем, как возможности коммуникации могут повысить уровень сотрудничества, как агенты взаимодействуют в более реалистичных условиях и при других механизмах кооперации. Наша цель — разработать эталоны для оценки сотрудничества среди агентов ИИ, чтобы компании и организации, занимающиеся безопасностью, могли оценивать долгосрочные социальные эффекты многоагентных систем. Теперь я хотел бы ответить на некоторые вопросы, которые прозвучали в ходе обсуждения.

Как влияет на стратегию переговоров сочетание конкурентных и кооперативных атрибутов?

Совершенно верно, что в реальных ситуациях часто есть как конкурентные, так и кооперативные аспекты. В нашем эксперименте мы видим значительные различия в поведении моделей, и пока неясно, как они соотносятся с этими аспектами. Однако очевидно, что способности к сотрудничеству не появляются автоматически с ростом общей компетентности модели. Если в переговорах есть элементы, где обе стороны выигрывают от соглашения, это может существенно менять стратегию, и нам предстоит изучить этот вопрос глубже.




Насколько исходные условия влияют на результаты и устойчивость стратегий сотрудничества?

Когда я изучал эволюционную теорию игр, стало ясно, что конечные результаты и доминирующие стратегии сильно зависят от начальных условий. В нашем эксперименте мы сделали сотрудничество выгодным, но это не всегда так в реальных сценариях. Мы изменяли параметры, такие как множитель на пожертвования, и это влияло на поведение, хотя не кардинально.

Различия между моделями сохранялись, что говорит о необходимости дальнейших экспериментов для выявления устойчивых закономерностей.

Почему было выбрано только 12 раундов игры, а не больше, чтобы увидеть долгосрочные результаты?

Ограничение в 12 раундов связано с временными и финансовыми затратами. Например, один запуск для модели Claude обходился примерно в 10 долларов. Однако я согласен, что изучение долгосрочных эффектов крайне важно, особенно чтобы понять, остаются ли тенденции стабильными.

Агенты, кстати, не знали, сколько раундов будет длиться игра, что могло повлиять на их стратегии, как если бы игра была бесконечной.

Как исследования в узких областях соотносятся с поведением агентов в более широких и менее предсказуемых условиях?

Исследования, подобные нашему, действительно проводятся в узких рамках, чтобы выстроить понимание базовых принципов. Однако в реальном мире, где агенты будут действовать в менее ограниченных условиях, определение сотрудничества и предсказуемость взаимодействий становятся сложнее.

Предложение разрабатывать оценки для многоагентного сотрудничества может привести к оптимизации поведения в специфических сценариях, что вызывает опасения о хрупкости таких подходов. Я разделяю эти опасения, особенно в контексте того, что общая склонность к сотрудничеству может не учитывать различия в целях, например, между агентами, представляющими конкурирующие компании. Вопрос о том, возникнут ли способности к сотрудничеству естественным образом с ростом возможностей моделей, остается открытым.




Как определялось сотрудничество в эксперименте, и были ли коалиции между агентами?

В нашем эксперименте сотрудничество определялось через парные взаимодействия, где один агент выступал донором, а другой получателем. Коалиций не было, и агенты не могли встречаться с одним и тем же партнером дважды, что исключало прямую взаимность. Это были последовательные одноразовые взаимодействия, где решение о сотрудничестве принималось на основе информации о прошлых действиях других.

Почему были выбраны именно эти модели для эксперимента?

Выбор трех конкретных моделей для исследования был обусловлен ограничениями ресурсов. Мы решили сосредоточиться на этих моделях, но я считаю, что изучение других, включая более новые или специализированные, было бы полезным. Особенно интересно посмотреть на поведение моделей с вычислениями во время тестирования, что пока не было исследовано подробно.

Какие следующие шаги вы планируете в своей работе, и что бы вы хотели видеть от других исследовательских групп?

Сейчас я изучаю влияние коммуникации на результаты сотрудничества. Даже простое общение, как показывают эксперименты с людьми, может повышать уровень кооперации. Мы добавляем возможность агентам обсуждать стратегии перед их формированием, и пока это выглядит многообещающе. Также я сотрудничаю с группой, изучающей взаимодействия человека и машины, чтобы включить в эксперименты как людей, так и агентов ИИ.

В перспективе есть множество вопросов о других механизмах сотрудничества и поведении агентов в более реалистичных условиях. Я хотел бы, чтобы другие группы исследовали, как агенты ведут себя в экономических играх и как культурная эволюция влияет на их взаимодействие. Эта область пока недостаточно развита, но интерес к ней растет.

Есть ли исследования или разработки в области кибербезопасности, связанные с вашей работой?

К сожалению, я не знаком с областью кибербезопасности достаточно глубоко, чтобы дать точный ответ.

Однако я слышал, что эта тема всплывает в контексте многоагентных систем. В сценариях, где агенты работают над решением одной задачи, например, устранением инцидента в кибербезопасности, и собирают данные из разных источников, они могут сотрудничать для достижения общей цели. Но даже в таких линейных условиях возможны конкурентные ситуации, и это направление требует дальнейшего изучения. Спасибо за внимание и ваши вопросы. Я рад продолжить обсуждение и открыт к новым идеям и сотрудничеству.