Существенным препятствием на пути к портативному искусственному интеллекту был нейронный синапс, который было особенно сложно воспроизвести на аппаратном уровне. До настоящего времени.
Дженнифер Чу | Офис новостей Массачусетского технологического института
Когда дело доходит до вычислительной мощности, человеческий мозг просто невозможно превзойти
Внутри мягкого органа размером с футбольный мяч находится около 100 миллиардов нейронов. В любой момент один нейрон может передавать инструкции тысячам других нейронов через синапсы - промежутки между нейронами, через которые происходит обмен нейротрансмиттерами. Существует более 100 триллионов синапсов, которые опосредуют передачу сигналов нейронами в мозге, укрепляя одни связи и обрезая другие, в процессе, который позволяет мозгу распознавать закономерности, запоминать факты и выполнять другие учебные задачи с молниеносной скоростью.
Исследователи в новой области «нейроморфных вычислений» попытались разработать компьютерные чипы, которые работают как человеческий мозг. Вместо выполнения вычислений на основе двоичных сигналов включения/выключения, как сегодня делают цифровые чипы, элементы «мозга на чипе» будут работать аналоговым способом, обмениваясь градиентом сигналов или «весами», во многом подобно нейроны, которые активируются по-разному в зависимости от типа и количества ионов, протекающих через синапс.
Таким образом, маленькие нейроморфные чипы могли бы, подобно мозгу, эффективно обрабатывать миллионы потоков параллельных вычислений, которые в настоящее время возможны только при наличии больших банков суперкомпьютеров. Но одним существенным препятствием на пути к такому портативному искусственному интеллекту был нейронный синапс, который было особенно сложно воспроизвести на аппаратном уровне.
Теперь инженеры Массачусетского технологического института разработали искусственный синапс таким образом, что они могут точно контролировать силу электрического тока, протекающего через него, подобно тому, как ионы текут между нейронами. Команда построила небольшой чип с искусственными синапсами, сделанными из кремния германия. В ходе моделирования исследователи обнаружили, что чип и его синапсы можно использовать для распознавания образцов почерка с точностью 95 процентов.
Эта конструкция, опубликованная сегодня в журнале Nature Materials, является важным шагом на пути к созданию портативных маломощных нейроморфных чипов для использования в распознавании образов и других обучающих задачах.
Исследование возглавил Джихван Ким, доцент кафедры развития карьеры 1947 года на кафедрах машиностроения, материаловедения и инженерии, а также главный научный сотрудник Исследовательской лаборатории электроники и микросистемных технологий Массачусетского технологического института.. Его соавторами являются Шинхён Чой (первый автор), Скотт Тан (соавтор), Зефан Ли, Юнджо Ким, Чанёль Чой и Ханвул Ён из Массачусетского технологического института, а также Пай-Ю Чен и Шимэн Ю из Аризонского государственного университета.
Слишком много путей
Большинство конструкций нейроморфных чипов пытаются имитировать синаптическую связь между нейронами, используя два проводящих слоя, разделенных «переключающей средой» или синапсоподобным пространством. Когда прикладывается напряжение, ионы должны двигаться в переключающей среде, создавая проводящие нити, подобно тому, как изменяется «вес» синапса.
Но было сложно контролировать поток ионов в существующих конструкциях. Ким говорит, что это связано с тем, что большинство переключающихся сред, сделанных из аморфных материалов, имеют неограниченные возможные пути, по которым могут перемещаться ионы - что-то вроде Пачинко, механической аркадной игры, в которой маленькие стальные шарики направляются вниз через серию штифтов и рычагов, которые действуют либо отклонять или направлять шары из автомата.
Как и Пачинко, существующие коммутационные среды содержат несколько путей, что затрудняет прогнозирование того, где пройдут ионы. Ким говорит, что это может создать нежелательную неравномерность в работе синапса.
«После того как вы подадите некоторое напряжение для представления некоторых данных с помощью вашего искусственного нейрона, вы должны стереть и иметь возможность снова записать их точно таким же образом», - говорит Ким. «Но в аморфном твердом теле, когда вы снова пишете, ионы расходятся в разных направлениях, потому что в нем много дефектов. Этот поток меняется, и его трудно контролировать. Это самая большая проблема - неравномерность искусственного синапса».
Идеальное несоответствие
Вместо того, чтобы использовать аморфные материалы в качестве искусственного синапса, Ким и его коллеги обратились к монокристаллическому кремнию, бездефектному проводящему материалу, состоящему из атомов, расположенных в непрерывно упорядоченном порядке. Команда стремилась создать точный одномерный линейный дефект или дислокацию в кремнии, через который могли бы предсказуемо течь ионы.
Для этого исследователи начали с кремниевой пластины, напоминающей, при микроскопическом разрешении, узор из проволочной сетки. Затем они вырастили аналогичный образец из кремний-германия - материала, который также обычно используется в транзисторах - поверх кремниевой пластины. Решетка кремния-германия немного больше, чем у кремния, и Ким обнаружил, что вместе два совершенно несовместимых материала могут образовывать воронкообразную дислокацию, создавая единственный путь, по которому могут течь ионы.
Исследователи изготовили нейроморфный чип, состоящий из искусственных синапсов, сделанных из германиевого кремния, каждый синапс размером около 25 нанометров в поперечнике. Они приложили напряжение к каждому синапсу и обнаружили, что все синапсы демонстрировали более или менее одинаковый ток или поток ионов с примерно 4-процентной вариацией между синапсами - гораздо более однородная производительность по сравнению с синапсами, сделанными из аморфного материала.
Они также протестировали один и тот же синапс в нескольких испытаниях, применяя одно и то же напряжение в течение 700 циклов, и обнаружили, что синапс демонстрирует одинаковый ток с разницей всего в 1 процент от цикла к циклу.
«Это самое однородное устройство, которое мы смогли создать, что является ключом к демонстрации искусственных нейронных сетей», - говорит Ким.
Письмо, распознано
В качестве последнего теста команда Кима исследовала, как его устройство будет работать, если оно будет выполнять реальные учебные задачи, в частности, распознавать образцы почерка, что исследователи считают первым практическим тестом для нейроморфных чипов.. Такие чипы будут состоять из «входных/скрытых/выходных нейронов», каждый из которых соединен с другим «нейроном» через искусственные синапсы на основе нитей.
Ученые считают, что такие наборы нейронных сетей можно заставить «обучаться». Например, при подаче на вход рукописной «1» с выходом, который помечен как «1», определенные выходные нейроны будут активированы входными нейронами и весами из искусственного синапса. Когда в один и тот же чип подается больше примеров рукописных «1», одни и те же выходные нейроны могут активироваться, когда они чувствуют сходные черты между разными образцами одной и той же буквы, таким образом «обучаясь» способом, подобным тому, что делает мозг.
Ким и его коллеги провели компьютерную симуляцию искусственной нейронной сети, состоящей из трех листов нейронных слоев, соединенных через два слоя искусственных синапсов, свойства которых они основывали на измерениях своего настоящего нейроморфного чипа. Они ввели в свою симуляцию десятки тысяч образцов из набора данных для распознавания рукописного текста, обычно используемого нейроморфными разработчиками, и обнаружили, что их оборудование нейронной сети распознает рукописные образцы в 95% случаев по сравнению с 97-процентной точностью существующих программных алгоритмов.
Команда находится в процессе изготовления работающего нейроморфного чипа, который может выполнять задачи по распознаванию рукописного ввода не в симуляции, а в реальности. Помимо рукописного ввода, Ким говорит, что искусственный синаптический дизайн команды позволит использовать гораздо меньшие портативные устройства нейронной сети, которые могут выполнять сложные вычисления, которые в настоящее время возможны только на больших суперкомпьютерах.
«В конечном итоге мы хотим, чтобы чип размером с ноготь заменил один большой суперкомпьютер, - говорит Ким. «Это открывает трамплин для производства настоящего искусственного оборудования».
Это исследование было частично поддержано Национальным научным фондом.
Перепечатано с разрешения MIT News