Прозрачный и интерпретируемый ИИ: интервью с Перси Лян

Percy Liang

В конце 2017 года Палата представителей Соединенных Штатов приняла законопроект, называемый Законом о саморегулировании, в котором излагаются первоначальные федеральные рамки регулирования автономных транспортных средств. Автономные автомобили проходят испытания на дорогах общего пользования почти два десятилетия. С прохождением этого законопроекта, наряду с растущими преимуществами безопасности автономных транспортных средств, вполне вероятно, что они станут еще более распространенными в нашей повседневной жизни. Это относится к многочисленным автономным технологиям, в том числе к медицинским, юридическим и безопасным областям, и это лишь некоторые из них.

С этой целью исследователи, разработчики и пользователи должны иметь возможность доверять этим технологиям, которые в значительной степени зависят от искусственного интеллекта (ИИ). Это распространяется за пределы автономных транспортных средств, применяя ко всему от устройств безопасности в вашем умном доме до личного помощника на вашем телефоне.

Предсказуемость в машинном обучении

Перси Лян, доцент Информатики в Стэнфордском университете, объясняет, что люди полагаются на определенную степень предсказуемости в их ежедневных взаимодействиях — и с другими людьми и с автоматизированными системами (включая, но не ограниченные, их автомобили). Одним из способов создания этой предсказуемости является использование машинного обучения.

Машинное обучение имеет дело с алгоритмами, которые позволяют ИИ «учиться» на основе данных, собранных из предыдущего опыта. Разработчикам не нужно писать код, который диктует каждое действие или намерение для ИИ. Вместо этого система распознает шаблоны из своего опыта и принимает на себя соответствующие действия на основе этих данных. Это похоже на процесс проб и ошибок.

Ключевой вопрос, который часто задают системы машинного обучения в исследовательской и испытательной среде, заключается в следующем: «Почему система сделала это предсказание?» Об этом поиске намерений, Лян объясняет:

«Если вы пересекаете дорогу, и машина подходит к вам, у вас есть модель того, что собирается сделать другой человек. Но если автомобиль контролируется ИИ, как люди должны знать, как себя вести? «

Важно видеть, что система работает хорошо, но, возможно, даже более важной является ее способность объяснять в легко понятных терминах, почему она действовала так, как она действовала. Даже если система не является точной, она должна быть объяснима и предсказуема. Для безопасного развертывания ИИ системы должны полагаться на хорошо понятные, реалистичные и проверяемые предположения.

Современные теории, которые исследуют идею надежного ИИ, направлены на то, чтобы подбирать наблюдаемые результаты в данных обучения. Однако, как объясняет Лян, это может привести к «автономной системе вождения, которая хорошо работает на тестах проверки, но не понимает человеческие ценности, лежащие в основе желаемых результатов».

Разумеется, выполнение нескольких тестов очень важно. Эти типы моделирования, объясняет Лян, «хороши для методов отладки — они позволяют нам более легко выполнять контролируемые эксперименты, и они позволяют ускорить итерацию».

Однако, чтобы действительно знать, эффективна ли техника, «нет никакой замены для применения ее к реальной жизни, — говорит Лян, — это касается языка, зрения и робототехники». Автономный автомобиль может хорошо работать во всех условиях тестирования, но нет никакого способа точно предсказать, как это могло произойти в непредсказуемом стихийном бедствии.

Интерпретируемые системы ML

Лучше всего выступающие модели во многих областях — например, глубокие нейронные сети для изображения и распознавания речи — очевидно довольно сложны. Их считают “моделями черного ящика”, и их предсказания могут быть трудными, если не невозможный, для них, чтобы объяснить.

Лян и его команда работают над тем, чтобы интерпретировать эти модели, исследуя, как конкретная ситуация в обучении приводит к предсказанию. Как поясняет Лян, «алгоритмы машинного обучения берут данные обучения и производят модель, которая используется для прогнозирования на новых входах».

Этот тип наблюдения приобретает все большее значение, поскольку ИИ принимают более сложные задачи — думают о ситуациях жизни или смерти, например, об интерпретации медицинских диагнозов. «Если данные обучения имеют выбросы или состязательные данные, — говорит Лян, — это повлияет на (поврежденную) модель, что, в свою очередь, приведет к ошибочным прогнозам на новых входах. Функции влияния позволяют точно отслеживать, как одна точка тренировки влияет на предсказание на конкретном новом входе ».

По сути, понимая, почему модель делает свои решения, команда Ляна надеется улучшить работу моделей, открыть новую науку и предоставить конечным пользователям объяснения действий, которые влияют на них.

Другим аспектом исследований Ляна является обеспечение того, чтобы ИИ понимал и мог сообщать свои пределы людям. По его словам, традиционная метрика успеха — это средняя точность, «которая не является хорошим интерфейсом для безопасности ИИ». Он полагает, «что же делать с надежной системой на 80 процентов»?

Лян не ищет, чтобы система получала точный ответ в 100% случаев. Вместо этого он хочет, чтобы система могла признать, когда она не знает ответа. Если пользователь спрашивает систему «Сколько болеутоляющих средств я должен принимать?», Лучше, чтобы система говорила «Я не знаю», а не делала дорогостоящее или опасное неправильное предсказание.

Команда Ляна работает над этой задачей, отслеживая предсказания модели с помощью своего алгоритма обучения — вплоть до данных обучения, в которых возникли параметры модели.

Команда Ляна надеется, что этот подход — рассмотрения модели через линзу данных тренировки — станет стандартной частью набора инструментов развития, понимания и диагностирования машинного изучения. Он объясняет, что исследователи могли связать это со многими заявлениями: медицинский, компьютер, системы понимания естественного языка и различные деловые приложения аналитики.

«Я думаю, — заключает Лян, — есть некоторая путаница в отношении роли симуляций — некоторые полностью избегают этого, а некоторые счастливы делать все в симуляции. Возможно, нам нужно изменить культурно, чтобы иметь место для обоих. »

Таким образом, Лян и его команда планируют заложить основу для нового поколения алгоритмов машинного обучения, которые работают надежно, изящно изнашиваются и снижают риски.

Оригинал: futureoflife.org

Оставьте ответ

Ваш электронный адрес не будет опубликован.

Этот сайт использует Akismet для борьбы со спамом. Узнайте как обрабатываются ваши данные комментариев.