Оптимизация исследования безопасности ИИ: интервью с Оуэном Коттон-Барреттом

Искусственный интеллект представляет собой множество рисков для человечества. Исследования безопасности ИИ направлены на решение всех этих проблем. Но при ограниченном финансировании и слишком малом количестве исследователей, компромиссы в исследованиях неизбежны. Для обеспечения того, чтобы сообщество ИИ занималось самыми важными вопросами безопасности , исследователи должны уделять первоочередное внимание их причинам.

Оуэн Коттон-Баррэтт, вместе коллегами в Институте Будущего человечества  (Future of Humanity Institute (FHI) и Центре Эффективного Альтруизма (CEA) (Centre for Effective Altruism), рассматривает эту «приоритизацию причин» для сообщества безопасности ИИ. Они анализируют, какие проекты с большей вероятностью помогут смягчить катастрофические или экзистенциальные риски от высокоразвитых систем ИИ, особенно от искусственного общего интеллекта (AGI). Путем моделирования компромиссов между различными типами исследований, Коттон-Баррэтт надеется направить ученых на более эффективные исследовательские проекты в области безопасности ИИ.

Техническая и стратегическая работа

Первым делом «приоритезации» причин является понимание уже проделанной работы. Исследования безопасности ИИ происходят в двух областях: техническая работа и стратегическая работа.

Заставляя системы ИИ быть более предсказуемыми, более прозрачными и более уверенными в соответствии с нашими целями и ценностями, мы можем значительно снизить риск нанесения вреда. Техническая безопасность включает в себя исследования Стюарта Рассела в области изучения технической безопасности и работу Дэна Велда над объяснимым машинным обучением, так как они улучшают фактическое программирование в системах ИИ.

Кроме того, Исследовательский институт Machine Intelligence (MIRI) недавно опубликовал программу технической безопасности, нацеленную на то, чтобы в долгосрочной перспективе обеспечить согласованность машинного интеллекта с человеческими интересами, в то время как OpenAI, еще одна некоммерческая исследовательская компания ИИ, исследует «множество проблем исследования, связанных с обеспечением того, чтобы современные системы машинного обучения работали по назначению», следуя предложениям из оригинальной статьи «Конкретные проблемы безопасности ИИ».

Стратегическая работа по обеспечению безопасности является более обширной и планирует как общество может лучше подготовиться к рискам от мощного ИИ и смягчить их. Это исследование включает анализ политической обстановки вокруг развития ИИ, содействие открытому диалогу между исследовательскими областями, сдерживание гонки вооружений, и изучение теории игр и неврологии о вероятных результатах ИИ. В последнее время профессор Йельского университета Аллан Дафоэ сосредоточил свое внимание на стратегической работе, изучении международной политики искусственного интеллекта и консалтинга для правительств, лабораторий ИИ и некоммерческих организаций, связанных с рисками ИИ. И Йельский биоэтик Вендель Валаш, кроме его работы по «силовому разбору», изучается формы глобального управления ИИ.

Приоритет также является стратегической работой. Котон-Барратт объясняет:

«Стратегическая работа включает в себя анализ самого ландшафта безопасности и рассмотрение того, какую работу мы думаем, что у нас будет много, чего у нас будет меньше, и, следовательно, помогая нам управлять ресурсами и быть более целенаправленными в нашей работе ».

Кому нужно больше финансирования?

Как показывает приведенный выше график, расходы на обеспечение безопасности ИИ значительно выросли с 2015 года. И хотя больше денег не всегда приводит к улучшению результатов, схемы финансирования легко оцениваются и могут много говорить о приоритетах исследований. Себ Ф., коллега Коттона-Барратта в CEA, написал ранее в этом году пост, анализируя финансирование безопасности ИИ и предлагая способы более эффективного распределения будущих инвестиций.

Для начала он предлагает, чтобы научно-исследовательское сообщество получило больше личных испытателей, чтобы взять текущие исследовательские задачи, подробно описанные в «Конкретные проблемы безопасности ИИ», OpenAI уже старается брать инициативу на себя. Кроме того, сообщество должно стараться гарантировать, чтобы появляющиеся центры безопасности AI наняли лучших кандидатов, так как эти исследователи сформируют успех каждого центра в течение многих последующих лет.

В целом Фаркухар предлагает, чтобы больше людей сосредоточилось на улучшении коммуникации для долгосрочных стратегий между группами исследований безопасности ИИ, между сообществом безопасности ИИ и более широким сообществом ИИ, а также между разработчиками, политиками и исследователями. В дополнение к данным Фаркухар , коллега Коттон-Баррата Макс Далтон создал математическую модель для отслеживания того, как больше средств и больше людей, работающих над проблемой безопасности, переходят в полезный прогресс или решения. Модель пытается ответить на такие вопросы, как: если мы хотим уменьшить экзистенциальные риски ИИ, насколько эффект мы получаем, вкладывая деньги в стратегические исследования и технические исследования?

Технические исследования легче отслеживать, чем стратегические работы в математических моделях. Например, более значительные расходы на исследования в области стратегической этики могут иметь жизненно важное значение для безопасности ИИ, но трудно оценить ее. Однако улучшение моделей обучения может привести к созданию более безопасных и более устойчивых машин. Благодаря более четким схемам обратной связи эти технические проекты лучше всего подходят для моделей Dalton.

Близорукость и AGI

Но эти модели также сталкиваются с большой неопределенностью. Никто не знает, как будет развиваться AGI, и это затрудняет определение наиболее важных исследований. Если AGI будет развиваться через пять лет, возможно, исследователи должны сосредоточиться только на наиболее важных мерах безопасности, таких как повышение прозрачности в системах ИИ. Но если у нас есть тридцать лет, исследователи, вероятно, могут позволить себе погрузиться в более теоретическую работу.

Кроме того, никто действительно не знает, как AGI будет функционировать. Машинное обучение и глубокие нейронные сети несут новую революцию ИИ, но AGI будет, вероятно, развит на архитектуре, сильно отличающейся от AlphaGo и Уотсона.

Это делает некоторые долгосрочные исследования безопасности рискованными инвестициями, даже если, как утверждают многие, это самое важное исследование, которое мы можем сделать. Например, исследователи могли проводить годы, делая глубокие нейронные сети безопасными и прозрачными, когда AGI развивается на совершенно другой архитектуре программирования.

Коттон-Баретт приписывает эту проблему ‘близорукости’ и обсудил его в недавнем разговоре в Эффективном Альтруизме, этим летом. Люди часто не могут ожидать подрывное изменение, и исследователи ИИ не исключение.

«Работа, которую мы могли бы сделать для долгосрочных сценариев, может оказаться совершенно запутанной, потому что мы не думали о правильном типе вещей», — объясняет он. «У нас больше рычагов воздействия на краткосрочные сценарии, потому что мы более способны оценить, как они будут выглядеть».

Любое дополнительное исследование безопасности ИИ лучше, чем ни одного, но, учитывая неизвестные временные рамки и потенциальную серьезность угроз ИИ человечеству, нам лучше проводить самые эффективные исследования безопасности ИИ, насколькор это возможно.

Помогая прогрессу исследований ИИ идти в более эффективном и всестороннем направлении, Коттон-Барретт и его коллеги надеются гарантировать правильность подхода к проблеме когда машины в конечном счете перехитряют нас.

Оригинал: futureoflife.org

Оставьте ответ

Ваш электронный адрес не будет опубликован.

Этот сайт использует Akismet для борьбы со спамом. Узнайте как обрабатываются ваши данные комментариев.