Исследователи создали метод, помогающий работникам сотрудничать с системами искусственного интеллекта.
В загруженной больнице рентгенолог использует систему искусственного интеллекта, чтобы диагностировать заболевания на основе рентгеновских снимков пациентов. Использование системы ИИ может помочь ей быстрее ставить диагнозы, но как она узнает, когда доверять прогнозам ИИ?
Она не знает. Вместо этого он может полагаться на свой опыт, уровень достоверности, предоставленный самой системой, или объяснение того, как алгоритм сделал свой прогноз, который может выглядеть убедительно, но все же быть неверным, чтобы сделать оценку.
Чтобы помочь людям лучше понять, когда доверять «товарищу по команде» ИИ, исследователи Массачусетского технологического института создали метод адаптации, который помогает людям лучше понимать те ситуации, в которых машина делает правильные прогнозы, и те, в которых что делает неверные прогнозы.
Показывая людям, как ИИ дополняет их способности, метод обучения может помочь людям принимать более обоснованные решения или быстрее делать выводы при работе с агентами ИИ.
«Мы предлагаем этап обучения, на котором мы постепенно знакомим людей с этой моделью ИИ, чтобы они могли сами увидеть ее слабые и сильные стороны», - говорит Хусейн Мозаннар, аспирант факультета социальных и инженерных наук. Докторская программа по системам в Институте данных, систем и общества (IDSS), который также является исследователем в Группе клинического машинного обучения Лаборатории компьютерных наук и искусственного интеллекта (CSAIL) и Институте медицинской инженерии и науки.«Мы делаем это, имитируя то, как человек будет взаимодействовать с ИИ на практике, но мы вмешиваемся, чтобы дать им обратную связь, чтобы помочь им понять каждое взаимодействие, которое они делают с ИИ».
Мозаннар написал статью вместе с Арвиндом Сатьянараяном, доцентом компьютерных наук, который возглавляет группу визуализации в CSAIL; и старший автор Дэвид Зонтаг, адъюнкт-профессор электротехники и компьютерных наук Массачусетского технологического института и руководитель группы клинического машинного обучения. Исследование будет представлено в Ассоциации развития искусственного интеллекта в феврале.
Ментальные модели
Эта работа посвящена ментальным моделям, которые люди строят о других. Если радиолог не уверен в конкретном случае, он может обратиться к коллеге, являющемуся экспертом в определенной области. Из прошлого опыта и своего знания этого коллеги у нее есть мысленная модель его сильных и слабых сторон, которую она использует для оценки его советов.
Люди строят такие же ментальные модели, когда взаимодействуют с агентами ИИ, поэтому важно, чтобы эти модели были точными, говорит Мозаннар. Когнитивная наука предполагает, что люди принимают решения для сложных задач, вспоминая прошлые взаимодействия и опыт. Итак, исследователи разработали процесс адаптации, который предоставляет репрезентативные примеры совместной работы человека и ИИ, которые служат ориентирами, на которые человек может опираться в будущем. Они начали с создания алгоритма, который может идентифицировать примеры, которые лучше всего расскажут человеку об ИИ.
«Сначала мы изучаем предубеждения и сильные стороны человека-эксперта, используя наблюдения за их прошлыми решениями без помощи ИИ», - говорит Мозаннар. «Мы объединяем наши знания о человеке с тем, что мы знаем об ИИ, чтобы увидеть, где человеку будет полезно полагаться на ИИ. Затем мы получаем случаи, когда мы знаем, что человек должен полагаться на ИИ, и аналогичные случаи, когда человеку не следует полагаться на ИИ.”
Исследователи проверили свою технику онбординга на задаче ответа на вопрос на основе отрывка: пользователь получает письменный отрывок и вопрос, ответ на который содержится в отрывке. Затем пользователь должен ответить на вопрос и может нажать кнопку, чтобы «дать ответ ИИ». Однако пользователь не может заранее увидеть ответ ИИ, что требует от него полагаться на свою ментальную модель ИИ. Разработанный ими процесс адаптации начинается с показа этих примеров пользователю, который пытается сделать прогноз с помощью системы ИИ. Человек может быть прав или неправ, а ИИ может быть прав или неправ, но в любом случае после решения примера пользователь видит правильный ответ и объяснение, почему ИИ выбрал свой прогноз. Чтобы помочь пользователю обобщить пример, показаны два контрастирующих примера, которые объясняют, почему ИИ понял это правильно или неправильно.
Например, возможно, обучающий вопрос спрашивает, какое из двух растений произрастает на большем количестве континентов, основываясь на запутанном абзаце из учебника по ботанике. Человек может ответить сам или позволить ответить системе ИИ. Затем она видит два дополнительных примера, которые помогают ей лучше понять возможности ИИ. Возможно, ИИ ошибается в последующем вопросе о фруктах, но прав в вопросе о геологии. В каждом примере выделены слова, которые система использовала для предсказания. Видение выделенных слов помогает человеку понять ограничения агента ИИ, объясняет Мозаннар.
Чтобы помочь пользователю запомнить то, что он узнал, пользователь затем записывает правило, которое он выводит из этого обучающего примера, например: «Этот ИИ не умеет предсказывать цветы». Затем она может ссылаться на эти правила позже, когда работает с агентом на практике. Эти правила также представляют собой формализацию ментальной модели ИИ пользователя.
Воздействие обучения
Исследователи протестировали эту технику обучения с тремя группами участников. Одна группа прошла всю процедуру адаптации, другая группа не получила последующих сравнительных примеров, а базовая группа не получила никакого обучения, но могла заранее увидеть ответ ИИ.
«Участники, получившие обучение, поступили так же хорошо, как и участники, которые не получили обучения, но могли видеть ответ ИИ. Таким образом, можно сделать вывод, что они способны имитировать ответ ИИ так же, как если бы они его видели», - говорит Мозаннар.
Исследователи углубились в данные, чтобы увидеть правила, написанные отдельными участниками. Они обнаружили, что почти 50 процентов людей, прошедших обучение, написали точные уроки о способностях ИИ. Те, у кого были точные уроки, были правы в 63 процентах примеров, тогда как те, у кого не было точных уроков, были правы в 54 процентах. А те, кто не обучался, но мог видеть ответы ИИ, были правы на 57% вопросов.
«Успешное обучение оказывает значительное влияние. Это вынос здесь. Когда мы можем эффективно обучать участников, они могут работать лучше, чем если бы вы действительно дали им ответ», - говорит он.
Но результаты также показывают, что пробел все еще существует. Только 50 % тех, кто прошел обучение, построили точные ментальные модели ИИ, и даже те, кто это сделал, были правы только в 63 % случаев. Мозаннар говорит, что, несмотря на то, что они усвоили правильные уроки, они не всегда следовали собственным правилам.
Это один из вопросов, который заставляет исследователей ломать голову: даже если люди знают, что ИИ должен быть прав, почему они не прислушиваются к своей собственной ментальной модели? Они хотят изучить этот вопрос в будущем, а также усовершенствовать процесс адаптации, чтобы сократить время, которое он занимает. Они также заинтересованы в проведении исследований пользователей с более сложными моделями ИИ, особенно в медицинских учреждениях.
«Когда люди сотрудничают с другими людьми, мы в значительной степени полагаемся на знание сильных и слабых сторон наших сотрудников - это помогает нам понять, когда (а когда нет) обращаться к другому человеку за помощью. Я рада, что это исследование применяет этот принцип к людям и ИИ», - говорит Кэрри Кай, научный сотрудник групп People + AI Research и Responsible AI в Google, которая не участвовала в этом исследовании.«Обучение пользователей сильным и слабым сторонам ИИ необходимо для достижения положительных совместных результатов человека и ИИ».
Это исследование было частично поддержано Национальным научным фондом.
Публикуется с разрешения MIT News. Прочтите исходную статью.