О том, что из себя представляет искусственный нейрон и как близко мы подошли к созданию нейрокомпьютера, имитирующего деятельность мозга, в лекции для «Газеты.Ru» рассказывает к. ф. н. Александр Самардак, разработчик нового класса материалов и базовых элементов для спинтроники.

Освободив человечество от выполнения целого ряда рутинных задач, компьютеры стали неотъемлемой частью нашей жизни. Они позволяют принимать решения, используя численные вычисления. Компьютеры формируют всемирную информационную паутину и предоставляют широкие возможности по безопасной передаче данных, используя криптографические алгоритмы.

Но, в отличие от людей, компьютеры неспособны принимать решения, основываясь на неполных или неоднозначных данных.

Они не могут учиться на своем опыте – для решения любой проблемы требуется вмешательство программиста. Люди же способны распознать мелодию на фоне шума, и для них не составляет труда идентифицировать своего поседевшего знакомого через много лет после встречи.

Другой пример. Способность распознавать шаблоны позволяет опытному шахматисту с «полувзгляда» предсказывать исход игры без вычисления каждого отдельного хода. Шахматист принимает решение о следующем ходе, сравнивая позицию фигур на доске со схожей позицией, изученной ранее в процессе приобретения опыта. Компьютеры же вычисляют, как текущее положение фигур повлияет на число удачных ходов в будущем, и в соответствии с этим делают выбор последовательности ходов для оптимизации исхода партии.

Таблица 1. Сравнение характеристик традиционного компьютера и нейрокомпьютера.

У самого совершенного нейрокомпьютера – человеческого мозга – конкурентов нет, но сопоставить его с традиционной последовательной архитектурой для проведения вычислений можно (таблица 1).

Так, если провести сравнение обычного компьютера, который мы используем каждый день для работы и развлечений, и нейрокомпьютера, то окажется, что медленный нейрокомпьютер (аналогом является мозг человека) обрабатывает образную информацию всё ещё намного быстрее традиционных ЭВМ, да и емкость памяти у него на несколько порядков выше. Если речь заходит о зрении, слухе, распознавании образов и обучении, компьютеры не идут ни в какое сравнение с мозгом человека. А уж про эксплуатационные характеристики и говорить нечего! Современный суперкомпьютер (например, Deep Blue фирмы IBM, который обыгрывал Гарри Каспарова исключительно с помощью грубой силы: машина оценивала около 200 млн возможных ходов в секунду) в несколько тысяч раз тяжелее, занимает в 10 тыс. раз больше места и потребляет в миллион раз больше энергии, чем нейрочип размером с рублевую монету.

Созданием нейрокомпьютеров, способных имитировать работу головного мозга, человечество занято с момента реализации первой транзисторной вычислительной машины.

Было сделано немало попыток по разработке устройств, успешно моделирующих некоторые функциональные особенности биологических нейронов. Наиболее удовлетворительные результаты были получены в процессе моделирования нервной системы с помощью мощных вычислительных кластеров. Так, широко известен амбициозный проект Blue Brain Project, стартовавший в 2005 году. Исследователи, участвующие в проекте, работают над имитацией мозговой активности животных, в частности крысы, на молекулярном и клеточном уровнях, привлекая мощный суперкомпьютер. Однако, как признаются сами исследователи, для имитации мозга человека потребуются намного более производительные ЭВМ.

В случае успешной реализации искусственные нейрокомпьютеры найдут применение во всех сферах жизни, включая медицину, безопасность и мониторинг жизнедеятельности человека. Такой компьютер без труда распознает террориста или преступника, эффективно анализируя в реальном времени потоки визуальной информации. Микрочип с нейроосцилляторами сможет управлять сердечными ритмами у больного аритмией, модуль ассоциативной памяти будет использован как нейроимплантат для восстановления мнемонической функции мозга.

Нейропроцессор благодаря своей универсальности сможет применяться как базовый элемент для плат нейроускорителей, для создания нейрокомпьютерных параллельных вычислительных систем большой производительности, а также для аппаратной поддержки операций над матрицами большой размерности и в задачах цифровой обработки сигналов.

Как создать нейрокомпьютер?

Одним из замечательнейших свойств, проявляемых сетями из биологических нейронов, является кодирование сенсорной информации последовательностью электрических импульсов, называемых спайками (англ. «импульс», «скачок», «возбуждение»). Нейрон, возбужденный стимулирующим сигналом, будет посылать спайки со скоростью, возрастающей с увеличением интенсивности импульса. Как полагают многие ученые, в этом случае информация о стимулирующем импульсе содержится в межспайковых интервалах. Такой механизм кодирования информации открывает наиболее интересные и перспективные возможности для создания адаптивных нейрокомпьютеров, способных обучаться, принимать решения и обрабатывать образную информацию.

В настоящее время процессы кодирования информации распределенными по времени электрическими импульсами являются основным стимулом для исследователей в сфере изучения когнитивных процессов и в области создания интеллектуальных человеко-машинных интерфейсов, таких как сердечные стимуляторы и нейроимплантаты. На макроскопическом уровне физика нелинейных явлений разрабатывает методы и инструменты для объяснения поведения сложных сетевых структур.

Однако все известные подходы основываются на моделях индивидуальных нейронов, которые описывают некоторые особенности поведения реального нейрона.

Например, исследователи пренебрегают пространственной структурой нейрона, фокусируясь только на его динамических свойствах. Такое упрощение в моделях делается даже при моделировании самых простых сетей, состоящих из двух нейронов. Так, используя биосенсоры для изучения активности реальных нейронов, на микроскопическом уровне создают электронные микросхемы, которые повторяют возбуждающий отклик нейронов путем имитации проводимости их ионных каналов.

Важность учета пространственно-распределенной структуры нейронов стала очевидна, как только установили, что нервные волокна – это, по сути, линии передачи сигналов с задержкой по времени. Временные задержки позволяют синхронизировать совместную работу нейронов и стабилизируют нерегулярную импульсную динамику. Пространственно распределенные нейронные сети также позволяют нейронам переходить в фазу возбуждения вдоль линий передачи входных импульсов, формируя, таким образом, так называемые нейронные аттракторы. Такие линии сохраняют информацию о входных сигналах более эффективно, чем нейронные сети Хопфилда такой же размерности (см. дополнение).

Следует также отметить, что, как показали исследования, потенциал действия, распространяющийся в нервных мембранах, есть не что иное, как солитонная волна (см. ниже «Дополнение: что такое солитон»). Это привело к формированию солитонной модели, которая более точно описывает динамику нейронной сети, и предлагаемая коллективом разработчиков из ДВФУ схема искусственной нейросети будет первым экспериментальным объектом, который позволит проверить правильность данной теории.

Как близко мы подошли к созданию искусственной нейронной сети?

Рисунок 1. Строение биологического нейрона.

В совместной работе коллектива, объединяющего ученых из Дальневосточного федерального университета и Университета Бата (Великобритания), «Импульсные вычисления и стохастическое усиление сигнала в нейроморфной полупроводниковой микроструктуре» («Spiking computation and stochastic amplification in a neuron-like semiconductor microstructure», Journal of Applied Physics) нами предложено нейроморфное устройство на основе полупроводниковой структуры, способное функционировать как биологический нейрон. Для того чтобы разобраться в принципе работы искусственного нейрона, необходимо рассмотреть строение и принцип работы биологического нейрона, изображение которого представлено на рис. 1.

Биологический нейрон состоит из трех основных компонентов: дендритов (входные каналы), сомы (центральный «процессор») и аксона (выходной канал).

Слово «дендрит» произошло от греческого «дерево», что вполне оправдывает его ветвеобразную структуру. Дендриты имеют широкий диапазон форм и размеров. Дендриты выступают в роли «антенн» нейрона, собирая электрические сигналы (нервные импульсы), приходящие от соседних нейронов, и направляя их к соме. Дендриты через специальные связи – синапсы – принимают нервные импульсы и передают их в сому, где они в случае синхронности суммируются. Средний размер сомы лежит в диапазоне от 4 до 100 мкм.

Аксон может иметь протяженность от сотен микрометров до нескольких метров (как у жирафов) и диаметр от сотен нанометров до нескольких миллиметров (как у гигантского кальмара). Основание аксона (место соединения аксона и сомы) генерирует потенциал действия (электрический сигнал) только тогда, когда результирующий (просуммированный) сигнал равен или оказывается больше некоторого порога возбуждения. Затем потенциал действия распространяется по аксону к другим нейронам.

В человеческом мозге весом примерно 5 кг содержится триллион нейронов, которые образуют разветвленную нейронную сеть посредством синаптических связей. Отдельный нейрон может иметь до 10000 таких связей, что в среднем дает десять квадрильонов (1016) синапсов. Одновременная обработка входной информации большим числом нейронов обеспечивает беспрецедентную на сегодняшний день производительность головного мозга человека.

Реализация параллельного нейрокомпьютера осложняется из-за того, что трудно воплотить в «железе» все особенности реальной нейронной сети.

Во-первых, такая сеть должна быть пространственно распределенной, т. е. электрический сигнал должен проходить по сети не мгновенно (как это происходит в обычной электрической цепи), а за какое-то конечное время (пространственно-временное распределение сигнала).

Во-вторых, нейрон должен суммировать сигналы, приходящие к нему от других нейронов сети.

В-третьих, каждый отдельный нейрон должен обладать встроенной функцией (порогом возбуждения), управляющей возбуждением передаваемого сигнала, если он достигает либо превышает предельное значение этой функции.

До недавнего времени реализовать устройство с подобными функциями не представлялось возможным, поэтому исследователи и инженеры ограничивались лишь искусственными нейронными сетями, созданными с помощью программного обеспечения на базе последовательного компьютера, на основе сверхбольших интегральных микросхем или нейрочипов.

Рисунок 2. Аналогия между нервным волокном и pn-проволокой. (a) – Распространение потенциала действия в нервном волокне. Точки (1) и (2) соответствуют диффузии Na+ ионов внутрь мембраны и оттоку K+ ионов на внешнюю стенку мембраны. Точка (3) соответствует рефракторному периоду, в течение которого мембрана невосприимчива к новому потенциалу действия. (b) – Принцип распространения потенциала действия по нервному волокну. (с) – Принцип диффузии электрического сигнала (импульса) в искусственном нервном волокне на основе полупроводниковой проволоки с pn- переходом.

Еще пятьдесят лет назад американский физик Уильям Шокли высказал идею, что полупроводники подобны нервным волокнам и способны передавать взаимодействие при помощи электронов и дырок, которые имитируют поведение K+ и Na+ ионов в нервном волокне (рис. 2). Другими словами,

полупроводник с pn-переходом – это подходящая среда для распространения и управления электрическими импульсами, подобная биологической мембране с калиево-натриевыми насосами, создающими разность потенциалов между внешней и внутренней стенками мембраны.

Эта идея и легла в основу принципиально новой реализации искусственного нейрона.

За основу была взята модель персептрона, или модель Маккаллога – Питтса. В такой модели (рис.3) входные сигналы (Input1÷3) с весовыми коэффициентами w1÷3 (коэффициенты определяют вклад каждого отдельного входа) суммируются сомой (ядром нейрона). Если результирующий сигнал достигает либо оказывается выше установленного порога возбуждения, то сома генерирует импульс, распространяющийся по выходному каналу (аксону) к другим нейронам. Основой для представленного искусственного нейрона может служить полупроводниковая подложка из таких материалов, как GaAs, Si, Ge.

Итак, искусственный нейрон использует полупроводниковые нанопроволоки для передачи сигнала подобно биологическим дендритам и аксону.

Сома в нейроне – это активный элемент, в котором приходящие импульсы интерферируют. Сома, по сути, это квантовый туннельный усилитель, вертикально интегрированный с нанопроволоками для регенерации импульсов. Искусственный нейрон имеет сигмоидальную амплитудную характеристику, аналогичную для биологических нейронов.

Нелинейный отклик нейрона позволяет использовать мощность белого шума для усиления подпороговых сигналов. Подавая на нейрон белый шум и полезный периодический сигнал, мы показали (9), что шум улучшает передачу подпороговых сигналов, что подтверждается наблюдаемым стохастическим резонансом. Это ключевое явление в неврологии. Так, например, показано, что ушная улитка использует броуновский шум для усиления звуков.

Продолжим рассмотрение схемы работы искусственного нейрона.

Рисунок 3. Схема полупроводникового наноразмерного нейрона.

В искусственном нейроне, как показано на схеме (рис. 3), сигналы от источников (других нейронов) распространяются вдоль pn-перехода двух легированных слоев полупроводника.

В точке соединения входных каналов (дендритов) сигналы суммируются. Результирующий сигнал «анализируется» туннельным диодом (сомой), который формируется туннельным переходом между p+ и n+ (высоколегированными) слоями. Если сома возбуждается, то она генерирует импульс, распространяющийся вдоль pn-перехода к другим нейронам. Размеры нейрона могут ограничиваться только лишь технологическими пределами оборудования.

Допустим, что каждый отдельный нейрон будет занимать площадь 1 мкм2. Тогда на одном квадратном сантиметре полупроводниковой подложки можно будет расположить нейронную сеть из 108 нейронов.

Заметьте, что это сравнимо с мозгом собаки, содержащим в среднем 1,6x108 нервных клеток!

Такая сеть будет способна обучаться и затем решать ряд поставленных перед ней задач по логическому выводу и по распознаванию образов.

В результате развития научных идей, представленных в нашей статье, на которую я уже ссылался, может возникнуть новое индустриальное направление по созданию компьютеров с параллельным аналоговым процессором для распознавания образной информации и обработки больших массивов данных.

Рисунок 5. Микро-изображение искусственного нейрона, полученное сканирующей электронной микроскопией. На верхнем увеличенном снимке показаны три входных канала, сходящиеся в одну точки у основания туннельного диода (сомы), который имеет два контакта для включения в цепь. Слева показано увеличенное изображение pn- проволоки, свободно стоящей над поверхностью подложки.

На основе полупроводниковой нейронной сети могут быть построены модули ассоциативной памяти и нейрочипы, например, для управления электронными стимуляторами сердца и для протезирования головного мозга человека. В перспективе современные нанотехнологии позволят создавать сверхминиатюрные наноразмерные нейросети и нейрокомпьютеры, которые станут основой вычислительных технологий недалекого будущего человечества. 

Возможности, которые открывает пока еще не созданный искусственный интеллект, имитирующий работу человеческого мозга как совокупности объединенных в сеть нейронов, завораживают не только писателей-фантастов и читателей их произведений, но и многие группы ученых по всему миру. В случае успеха такой нейрокомпьютер будет обладать способностью «мыслить» и «обучаться», но в силу гибридизации и стремительного развития технологий позволит делать это во много раз быстрее и эффективнее человека.

Литература:

1. Samardak A. S., Nogaret A., Balanov A. G., Janson N. B., Farrer I., Ritchie D. A., Spiking computation and stochastic amplification in a neuron-like semiconductor microstructure, Journal of Applied Physics (2011).

2. Samardak A. S., Nogaret A., Balanov A. G., Janson N. B., Farrer I., Ritchie D. A., Noise Induced Amplification of Sub-threshold Pulses in Multi-thread Excitable Semiconductor 'Neurons', Physica E: Low dimensional systems and nanostructures 42 (2010).

3. A. Samardak, A. Nogaret, N. B. Janson, A. G. Balanov, I. Farrer, D. A. Ritchie, Noise controlled signal transmission in a multithread semiconductor neuron, Phys.Rev.Lett. 102, 226802 (2009).

4. Samardak A. S., Nogaret A., Taylor S., Balanov A. G., Janson N. B., Farrer I., Ritchie D. A., Regular pulsing induced by noise in a monolithic semiconductor neuron, AIP Conf. Proc., 1199 (2009) 523.

5. A. Samardak, S. Taylor, A. Nogaret, G. Hollier, J. Austin, I. Farrer, D. A. Ritchie, Coincidence detection and spike regeneration in artificial neurons, Phys.Stat.Solidi (a) 205, 2651 (2008).

6. A. Samardak, A. Nogaret, S. Taylor, J. Austin, I. Farrer and D. A. Ritchie, An analogue sum and threshold neuron based on the quantum tunnelling amplification of electrical pulses, New.J.Phys. 10, 083010 (2008).

7. A. Samardak, S. Taylor, A. Nogaret, G. Hollier, J. Austin, I. Farrer and D. A. Ritchie, Analogue summation of electrical spike trains in semiconductor nerve fibres, Physica E 40, 2214 (2008).

8. A. Samardak, S. Taylor, A. Nogaret, G. Hollier, J. Austin and D. A. Ritchie, Propagation and spatiotemporal summation of electrical pulses in semiconductor nerve fibers, Appl.Phys.Lett. 91, 073502 (2007).

9. A. Samardak, A. Nogaret, N. B. Janson, A. G. Balanov, I. Farrer, D. A. Ritchie, Noise Controlled Signal Transmission in a Multi-Thread Semiconductor Neuron, Phys.Rev.Lett. 102, 226802 (2009).

Дополнение: что такое солитон

Солитон — структурно устойчивая уединённая волна, распространяющаяся в нелинейной среде.

Солитоны ведут себя подобно частицам (частицеподобная волна): при взаимодействии друг с другом или с некоторыми другими возмущениями они не разрушаются, а двигаются, сохраняя свою структуру неизменной. Это свойство может использоваться для передачи данных на большие расстояния без помех.

История изучения солитона началась в августе 1834 года на берегу канала Юнион вблизи Эдинбурга. Джон Скотт Рассел наблюдает на поверхности воды явление, которое он называет уединённой волной — solitary wave.

Солитоны бывают различной природы: на поверхности жидкости (первые солитоны, обнаруженные в природе), иногда считают таковыми волны цунами и бор; ионозвуковые и магнитозвуковые солитоны в плазме; гравитационные солитоны в слоистой жидкости; солитоны в виде коротких световых импульсов в активной среде лазера.

Способность солитона сохранять при распространении свою форму неизменной объясняется тем, что поведение его определяется двумя действующими взаимно противоположно процессами. Во-первых, это так называемое нелинейное укручение (фронт волны достаточно большой амплитуды стремится опрокинуться на участках нарастания амплитуды, поскольку задние частицы, имеющие большую амплитуду, движутся быстрее впереди бегущих). Во-вторых, проявляется такой процесс, как дисперсия (зависимость скорости волны от ее частоты, определяемая физическими и геометрическими свойствами среды; при дисперсии разные участки волны движутся с разными скоростями и волна расплывается). Таким образом, нелинейное укручение волны компенсируется ее расплыванием за счет дисперсии, что и обеспечивает сохранение формы такой волны при ее распространении.

Отсутствие вторичных волн при распространении солитона свидетельствует о том, что энергия волны не рассеивается по пространству, а сосредоточена в ограниченном пространстве (локализована). Локализация энергии есть отличительное качество частицы.

Еще одной удивительной особенностью солитонов (отмеченной еще Расселом) является их способность сохранять свои скорость и форму при прохождении друг через друга. Единственным напоминанием о состоявшемся взаимодействии являются постоянные смещения наблюдаемых солитонов от положений, которые они занимали бы, если бы не встретились. Есть мнение, что солитоны не проходят друг через друга, а отражаются подобно столкнувшимся упругим шарам. В этом также проявляется аналогия солитонов с частицами.

Долго считалось, что уединенные волны связаны только с волнами на воде и изучались они специалистами – гидродинамиками. В 1946 г. М. А. Лаврентьев (СССР), а в 1954-м К. О. Фридрихс и Д. Г. Хайерс (США) опубликовали теоретические доказательства существования уединенных волн.

Современное развитие теории солитонов началось с 1955 г., когда была опубликована работа ученых из Лос-Аламоса (США) Энрико Ферми, Джона Пасты и Стена Улама, посвященная исследованию нелинейных дискретно нагруженных струн (такая модель использовалась для изучения теплопроводности твердых тел). Длинные волны, бегущие по таким струнам, оказались солитонами. Интересно, что методом исследования в этой работе стал численный эксперимент (расчеты на одной из первых созданных к этому времени ЭВМ).

Приложения солитонной теории в настоящее время находят применение при исследованиях линий передачи сигналов с нелинейными элементами (диоды, катушки сопротивления), пограничного слоя, атмосфер планет (Большое красное пятно Юпитера), волн цунами, волновых процессов в плазме, в теории поля, физике твердого тела, теплофизике экстремальных состояний веществ, при изучении новых материалов (например, джозефсоновских контактов, состоящих из разделенных диэлектриком двух слоев сверхпроводящего металла), при создании моделей решеток кристаллов, в оптике, биологии и многих других.

В последнее время нервные импульсы также рассматривают в виде устойчивых уединенных волн.

Дополнение: нейронная сеть Хопфилда

Нейронная сеть Хопфилда — полносвязная нейронная сеть с симметричной матрицей связей искусственных нейронов. В процессе работы динамика таких сетей сходится (конвергирует) к одному из положений равновесия. Эти положения равновесия являются локальными минимумами функционала, называемого энергией сети. Такая сеть может быть использована как автоассоциативная память, как фильтр, а также для решения некоторых задач оптимизации. В отличие от многих нейронных сетей, работающих до получения ответа через определённое количество тактов, сети Хопфилда работают до достижения равновесия, когда следующее состояние сети в точности равно предыдущему: начальное состояние является входным образом, а при равновесии получают выходной образ.

Сеть Хопфилда можно отнести к автоассоциативной памяти, то есть такой, которая может завершить или исправить образ, но не может ассоциировать полученный образ с другим образом.

Алгоритм обучения сети Хопфилда существенно отличается от таких классических алгоритмов обучения перцептронов, как метод коррекции ошибки или метод обратного распространения ошибки.

Некоторые авторы относят сеть Хопфилда к обучению без учителя. Но это неверно, так как обучение без учителя предполагает отсутствие информации о том, к каким классам нужно относить стимулы. Для сети Хопфилда без этой информации нельзя настроить весовые коэффициенты, поэтому здесь можно говорить лишь о том, что такую сеть можно отнести к классу оптимизирующих сетей (фильтров).

Обработка визуальных образов (фильтрация и ассоциативная память) — не единственная область применения модели Хопфилда. Динамическая процедура, описанная выше, на каждом шаге понижает значение энергии нейронной сети. Это позволяет решать комбинаторные задачи оптимизации, если они могут быть сформулированы как задачи минимизации энергии. Классической проблемой такого типа является задача коммивояжёра.

Источник: http://www.gazeta.ru/science/2012/02/14_a_4000373.shtml