Обучая алгоритмы на человеческих данных, они изучают наши предубеждения.
У моей машины галлюцинации? Является ли алгоритм, управляющий системой полицейского наблюдения в моем городе, параноиком? У андроида Марвина из книги Дугласа Адамса «Автостопом по Галактике» болели все диоды с левой стороны. Так ли чувствует себя мой тостер?
Все это звучит нелепо, пока мы не осознаем, что наши алгоритмы все чаще создаются по нашему собственному образу. По мере того, как мы узнавали больше о собственном мозге, мы использовали эти знания для создания алгоритмических версий самих себя. Эти алгоритмы контролируют скорость беспилотных автомобилей, определяют цели для автономных военных дронов, вычисляют нашу восприимчивость к коммерческой и политической рекламе, находят родственную душу в онлайн-службах знакомств и оценивают наши страховые и кредитные риски. Алгоритмы становятся почти разумным фоном нашей жизни.
Самые популярные алгоритмы, внедряемые в настоящее время в рабочую силу, - это алгоритмы глубокого обучения. Эти алгоритмы отражают архитектуру человеческого мозга, создавая сложные представления информации. Они учатся понимать окружающую среду, переживая ее, определяя, что кажется важным, и выясняя, что предсказывает что. Подобно нашему мозгу, эти алгоритмы все больше подвержены риску проблем с психическим здоровьем.
Deep Blue, алгоритм, победивший чемпиона мира по шахматам Гарри Каспарова в 1997 году, сделал это с помощью грубой силы, просматривая миллионы позиций в секунду, вплоть до 20 ходов в будущем. Любой мог понять, как это работает, даже если он не мог этого сделать сам. AlphaGo, алгоритм глубокого обучения, победивший Ли Седоля в игре Го в 2016 году, принципиально отличается. Используя глубокие нейронные сети, она создала собственное понимание игры, считающейся самой сложной из настольных игр. AlphaGo училась, наблюдая за другими и играя сама с собой. Компьютерщики и игроки в го сбиты с толку неортодоксальной игрой AlphaGo. Его стратегия сначала кажется неуклюжей. Только задним числом мы понимаем, о чем думала AlphaGo, да и то не все так ясно.
Чтобы лучше понять, что я имею в виду под мышлением, подумайте об этом. Такие программы, как Deep Blue, могут иметь ошибку в программировании. Они могут вылететь из-за перегрузки памяти. Они могут впасть в состояние паралича из-за бесконечного цикла или просто выдать неправильный ответ в таблице поиска. Но все эти проблемы решает программист, имеющий доступ к исходному коду, коду, в котором был написан алгоритм.
Алгоритмы, такие как AlphaGo, совершенно другие. Их проблемы не видны при просмотре их исходного кода. Они встроены в то, как они представляют информацию. Это представление представляет собой постоянно меняющееся многомерное пространство, очень похожее на ходьбу во сне. Для решения проблем там нужен не что иное, как психотерапевт для алгоритмов.
Возьмите случай беспилотных автомобилей. Беспилотный автомобиль, который увидит свой первый знак «стоп» в реальном мире, уже увидит миллионы знаков «стоп» во время обучения, когда он выстроит свое мысленное представление о том, что такое знак «стоп». При разном освещении, в хорошую и плохую погоду, с пулевыми отверстиями и без них, знаки остановки, которые он выставлял, содержали ошеломляющее разнообразие информации. В большинстве нормальных условий беспилотный автомобиль распознает знак остановки таким, какой он есть. Но не все состояния являются нормальными. Некоторые недавние демонстрации показали, что несколько черных наклеек на знаке «стоп» могут обмануть алгоритм, заставив его думать, что знак «стоп» - это знак скорости 60 миль в час. Под воздействием чего-то пугающе похожего на высококонтрастный оттенок дерева алгоритм галлюцинирует.
Сколькими способами алгоритм может галлюцинировать? Чтобы это выяснить, нам пришлось бы предоставить алгоритму все возможные комбинации входных стимулов. Это означает, что существует потенциально бесконечное количество способов, которыми это может пойти не так. Программисты Crackerjack уже знают об этом и пользуются этим, создавая так называемые состязательные примеры. Исследовательская группа искусственного интеллекта LabSix из Массачусетского технологического института показала, что, представляя изображения алгоритму классификации изображений Google и используя данные, которые он отправляет обратно, они могут определить слабые места алгоритма. Затем они могут делать вещи, похожие на то, как обманывают программное обеспечение Google для распознавания изображений, заставляя его поверить в то, что изображение с рейтингом X - это всего лишь пара щенков, играющих в траве.
Алгоритмы также совершают ошибки, потому что они улавливают особенности среды, которые коррелируют с результатами, даже если между ними нет причинно-следственной связи. В алгоритмическом мире это называется переоснащением. Когда это происходит в мозгу, мы называем это суеверием.
Самый большой алгоритмический сбой из-за суеверия, о котором мы знаем до сих пор, называется притчей о Google Flu. Google Flu использовал то, что люди вводят в Google, чтобы предсказать место и интенсивность вспышек гриппа. Прогнозы Google Flu поначалу работали хорошо, но со временем они становились все хуже, пока в конечном итоге не стало прогнозировать вдвое больше случаев заболевания, чем было представлено в Центры по контролю за заболеваниями США. Подобно алгоритмическому знахарю, Google Flu просто обращал внимание на неправильные вещи.
Алгоритмические патологии могут быть исправимы. Но на практике алгоритмы часто представляют собой проприетарные черные ящики, обновление которых защищено коммерческой лицензией. В книге Кэти О’Нил «Оружие математического разрушения» (2016) описывается настоящее уродское шоу коммерческих алгоритмов, чьи коварные патологии коллективно разыгрываются, чтобы разрушить жизни людей. Алгоритмическая линия разлома, отделяющая богатых от бедных, особенно убедительна. Более бедные люди чаще имеют плохую кредитную историю, живут в районах с высоким уровнем преступности и находятся в окружении других бедняков со схожими проблемами. Из-за этого алгоритмы нацеливают этих людей на вводящую в заблуждение рекламу, которая наживается на их отчаянии, предлагают им субстандартные кредиты и посылают больше полиции в их районы, увеличивая вероятность того, что они будут остановлены полицией за преступления, совершаемые с аналогичными показателями в более богатых районах. Алгоритмы, используемые судебной системой, дают этим людям более длительные сроки тюремного заключения, уменьшают их шансы на условно-досрочное освобождение, блокируют их работу, повышают ставки по ипотечным кредитам, требуют более высоких страховых взносов и так далее..
Эта алгоритмическая смертельная спираль скрыта в матрешках черных ящиков: алгоритмы черных ящиков, которые скрывают свою обработку в многомерных мыслях, к которым мы не можем получить доступ, дополнительно спрятаны в черных ящиках частной собственности. Это побудило некоторые места, такие как Нью-Йорк, предложить законы, обеспечивающие контроль за справедливостью алгоритмов, используемых муниципальными службами. Но если мы не можем обнаружить предвзятость в себе, то почему мы должны ожидать ее обнаружения в наших алгоритмах?
Обучая алгоритмы на человеческих данных, они изучают наши предубеждения. Одно недавнее исследование, проведенное Айлин Калискан из Принстонского университета, показало, что алгоритмы, обученные новостям, узнают о расовых и гендерных предубеждениях практически за одну ночь. Как заметил Калискан: «Многие думают, что машины не предвзяты. Но машины обучаются на человеческих данных. А люди предвзяты».
Социальные сети - это корчащееся гнездо человеческих предубеждений и ненависти. Алгоритмы, проводящие время в социальных сетях, быстро становятся фанатиками. Эти алгоритмы предвзято относятся к мужчинам-медсестрам и женщинам-инженерам. Они будут рассматривать такие вопросы, как иммиграция и права меньшинств, таким образом, который не выдерживает расследования. Учитывая хотя бы половину шанса, мы должны ожидать, что алгоритмы будут относиться к людям так же несправедливо, как люди относятся друг к другу. Но алгоритмы по своей конструкции самонадеянны, не имеют чувства собственной непогрешимости. Если они не обучены этому, у них нет причин сомневаться в своей некомпетентности (как и у людей).
Для описанных выше алгоритмов проблемы с психическим здоровьем связаны с качеством данных, на которых они обучаются. Но алгоритмы также могут иметь проблемы с психическим здоровьем в зависимости от того, как они построены. Они могут забыть старые вещи, когда узнают новую информацию. Представьте, что вы узнали имя нового коллеги и вдруг забыли, где живете. В крайнем случае алгоритмы могут страдать от того, что называется катастрофическим забыванием, когда весь алгоритм больше не может ничего запоминать или запоминать. Теория снижения когнитивных функций человека с возрастом основана на аналогичной идее: когда память становится переполненной, мозгу и настольным компьютерам требуется больше времени, чтобы найти то, что они знают.
Когда что-то становится патологическим, часто это вопрос мнения. В результате психические аномалии у людей обычно остаются незамеченными. Синестеты, такие как моя дочь, которые воспринимают написанные буквы как цвета, часто не осознают, что у них есть дар восприятия, пока они не станут подростками. Доказательства, основанные на речевых моделях Рональда Рейгана, теперь позволяют предположить, что у него, вероятно, была деменция, когда он был президентом США. А The Guardian сообщает, что массовые расстрелы, которые происходили каждые девять из 10 дней в течение примерно последних пяти лет в США, часто совершаются так называемыми «нормальными» людьми, которые ломаются из-за чувства преследования и депрессии.
Во многих случаях для обнаружения проблемы требуется многократная неисправность. Диагноз шизофрении требует, по крайней мере, одного месяца довольно изнурительных симптомов. Антисоциальное расстройство личности, современный термин для обозначения психопатии и социопатии, не может быть диагностировано у лиц до достижения ими 18-летнего возраста, и только в том случае, если в анамнезе имеются расстройства поведения до 15-летнего возраста.
Для большинства психических расстройств не существует биомаркеров, как нет ошибок в коде AlphaGo. Проблема не видна в нашем железе. Это в нашем программном обеспечении. Множество способов, которыми наш разум ошибается, делают каждую проблему психического здоровья уникальной. Мы классифицируем их по широким категориям, таким как шизофрения и синдром Аспергера, но большинство из них представляют собой расстройства спектра, охватывающие симптомы, в разной степени присущие всем нам. В 2006 году психологи Мэтью Келлер и Джеффри Миллер утверждали, что это неизбежное свойство устройства мозга.
В таких умах, как наши, многое может пойти не так. Карл Юнг однажды предположил, что в каждом здравомыслящем человеке скрывается сумасшедший. По мере того, как наши алгоритмы становятся все более похожими на нас самих, их становится все легче скрывать.
Томас Ти Хиллз