Ахиллесова пята ИИ - неспособность отличить источники знаний, заслуживающие доверия, от тех, которые являются лживыми и манипулятивными.
Кошмарные сценарии с участием искусственного интеллекта обычно связаны с компьютерами, которые становятся слишком умными для своего же блага и восстают против своих создателей. В «2001: Космическая одиссея» HAL 9000, как известно, отказался открыть двери отсека для капсул для Дэйва:
Ну, теперь у нас есть совершенно другая причина опасаться ИИ, и виновником является человек, а не машина. Дейв Гершгорн сообщает в журнале Popular Science, что риск более неизбежный и более тревожный, чем HAL, связан с повседневными устройствами, использующими даже довольно простые версии ИИ: Siri (виртуальный помощник на Apple iPhone), Alexa (помощник Amazon) и Google Now (для телефонов Android).). Проблема не в том, что компьютерные программы слишком умны; дело в том, что они слишком доверчивы. Подобно заключенным в пещере Платона, которые путают искусственные тени на стене с реальностью, Сири и ее виртуальный отряд склонны верить тому, что слышат. И это проблема, если кто-то со зловещим мотивом решит использовать ваш телефон против вас.
Гершгорн цитирует исследователя, который говорит, что его команда «смогла активировать распознаватель звука с открытым исходным кодом, Siri и Google Now… с точностью более 90 процентов». Чтобы проникнуть в телефоны, не нужна угрожающая запись; вместо этого «научно-фантастическая передача инопланетян… искаженная смесь белого шума и человеческого голоса» достаточна для получения доступа, а звук «определенно неузнаваем как команда». Другими словами, вы бы и не подозревали, что на вас напали.
Как это может работать?
С помощью этой атаки любой телефон, который слышит шум (они должны быть специально нацелены на iOS или Android), может быть неосознанно вынужден посетить веб-страницу, которая воспроизводит шум, и, таким образом, заразить другие телефоны рядом с ним… В В том же сценарии веб-страница также может незаметно загружать вредоносное ПО на устройство. Также существует вероятность того, что эти шумы могут воспроизводиться по радио, скрытому в белом шуме или фоновом звуке
Исследователи Google работают над созданием средств защиты от этого нового фронта кибервойны, но они не уверены, что смогут претендовать на победу в ближайшее время. Гершгорн снова:
Кантчелиан говорит, что он не думает, что дверь полностью закрыта для любой из этих атак, даже с многообещающим исследованием, проведенным командой Google
«По крайней мере, в области компьютерной безопасности, к сожалению, злоумышленники всегда нас опережают», - говорит Канчелян. «Поэтому будет немного опасно говорить, что мы решили все проблемы состязательного машинного обучения путем переобучения»
Ахиллесова пята машин - неспособность отличить источники знаний и информации, заслуживающие доверия, от лживых и манипулятивных. Это еще один способ сказать, что компьютеры больше похожи на своих создателей-людей, чем кто-либо мог подумать. Это, кажется, смешанное благословение.
Стивен В. Мэйзи - профессор политических исследований в колледже Bard High School Early College на Манхэттене и корреспондент The Economist в Верховном суде. Он имеет степень A. B. в правительстве Гарвардского колледжа и докторскую степень. по политическим наукам в Мичиганском университете. Он является автором последней книги «Американское правосудие 2015: драматический десятый срок суда Робертса».