Т.Щукин, Общественное движение «Россия2045»

Опубликовано в сборнике трудов конференции "Нелинейная динамика в когнитивных исследованиях-2011" стр. 238. 

В феврале 2011 года ряд российских исследователей заявили о намерении создать искусственное тело человека, управляемое посредством нейроинтерфейса, уже к 2045 году. Помимо очевидных технических проблем, связанных с непосредственным конструированием протезов конечностей и тела, обеспечения их энергетического снабжения, адекватных длительностей реакций на команды, наличия чувствительных элементов и обратных связей, главное затруднение видится именно в создании адекватной поставленным задачам системы управления. Т.к. любое управление требует проходимости прямых команд и наличия обратных связей, то имеет смысл сформулировать требования к средствам измерения в контексте создания системы управления. Под средствами измерения имеется в виду не только регистрация команд ЦНС, но и системы обработки данных и поиска связанных с картой управляющих действий паттернов – то есть весь цикл измерения и обработки.
Рассмотрим стоящую перед нами задачу. Требуется осуществить обучение управлению сложной системой, например протезом руки или даже целым антропоморфным роботом с количеством степеней свободы, приближающимся к таковому у человека. При этом подразумевается, что управляемая система по своим характеристикам может сильно отличаться от привычной – т.е. обладать другой функциональной структурой и, соответственно, незнакомой оператору внутренней моделью. Например, протез-хобот или протез-аналог конечности головоногого.
Имеется три принципиальных подхода к решению задачи (см.рис.1)

Рис. 1. Способы решения задачи управления протезом

Перехват и перенаправление команд (и, в принципе, обратной связи разных уровней от результатов действий) может осуществляться на различных уровнях ЦНС – как на уровне конечных эфферентов, так и на уровне спинно-мозговых нервов или даже на уровне центрального управления. Примером первого подхода (блок 1.1. рис.1) является электромиографическое управление с интактной конечности протезом (см. например [1]), копирующим движения естественной руки. Примером реализации второго подхода (блок 1.3. рис.1) являются эксперименты, в которых протез в качестве управляемых входов использует активность, регистрируемую непосредственно с нервных волокон, ранее иннервировавших конечность (см. например [2]). Примером реализации третьего подхода (блок 1.2. рис.1) является прямое электроэнцефалографическое управление протезом (или компьютерной системой) (см. например [3]).

В первых двух случаях речь об обучении практически не идет, т.к. используются уже готовые функциональные системы, ранее (или даже параллельно) обеспечивавшие управление конечностью. Третий случай более интересен. Тут также существует два принципиально различных подхода к решению задачи. Первый – использование паттернов электроэнцефалографической (в широком смысле) активности, которые изначально являются отражением работы функциональных систем мозга, связанных с той или иной командой телу, которая перенаправляется протезу или, шире, искусственному телу (блок 1.2.1. рис.1). Второй – выбор произвольных индексов ЭЭГ для последующего формирования из них фазового пространства состояний управляемой системы (блок 1.2.2. рис.1).
Рассмотрим первый вариант. Очевидно, что подобный подход требует решения задачи распознавания образов по массивам ЭЭГ данных максимальной размерности с последующей адаптацией результатов ко всему пространству возможных состояний (блок 1.2.1.1. рис.1). Где образы – классы распознавания соответствуют ключевым командам тела.
Решение данной задачи является сложным, но стандартным. Необходимо составить словарь команд, количественно соответствующих числу степеней свободы, или независимых переменных, формирующих полный образ системы, например – механической системы протеза кисти. Вторым этапом необходимо зарегистрировать максимальное количество случаев фактической реализации команд в виде набора кейсов. Далее требуется провести распознавание образов, в котором система распознаваемых классов формируется с опорой на пространство степеней свободы управляемой системы, а массив признаков формируется на основе примеров выполнения деятельности. Очевидно, что предпочтительным является использование для распознавания программных систем, способных преодолеть проблему комбинаторного взрыва, работать с неполными анкетами и не только обучаться, как классические искусственные нейросети, но и формировать интерпретируемый набор весовых коэффициентов – т.е. «профиль действия». Желательным является наличие встроенной системы контроля статистических артефактов, а также системы классификации.

На наш взгляд, наиболее подходящей   является программная реализация автоматизированного системно-когнитивного анализа – система «Эйдос» (см. например [4]). Набор многомерных профилей классов  формирует пространство, соответствующее пространству степеней свободы исследуемой системы. При превышении степени сходства получаемых в реальном времени данных с тем или иным профилем определенной заранее величины, подается соответствующая профилю команда на протез-манипулятор.

Набор профилей классов соответствует системе правил кодирования системы управления движением в регистрируемых сигналах. Так как речь идет о (например) ЭЭГ, то мы говорим о действующей модели той части функциональных систем мозга, которые отражаются в регистрируемых параметрах. Очевидно, что знание этих «кодов» заранее   позволит существенно снизить размерность подаваемых на вход системы распознавания данных – т.к. с системы распознавания снимается задача по раскодированию этих кодов и вместо сырых или незначительно обработанных данных могут использоваться индексы, полученных с помощью обработки исходных данных в соответствии с, например гипотезой о частотно-фазовом кодировании информации в ЦНС Ливанова-Лебедева [5], сегментация ЭЭГ по Каплану-Шишкину [6],  практическая реализация гипотез о функциональной архитектуре нейросети В.Л. Дунина-Барковского [7] или Дж. Хоппфилда [8] и т.д. Фактически мы заменяем пока неизвестную часть «модели работы мозга» или «справочника кодов» результатом работы системы распознавания. Очевидно, что полное знание системы кодирования делает распознавание ненужным. В целом использование этого – первого – способа решения задачи прямого ЭЭГ-управления протезом является подстройкой компьютерной системы (через систему распознавания) к неизменной системе управления конечностью (или, шире, телом), изначально присутствующей в мозге.
Второй способ реализации задачи прямого электроэнцефалографического (в широком смысле) управления протезом или компьютерной системой – это использование произвольных индексов ЭЭГ для формирования из них пространства состояний управляемой системы (блок 1.2.2. рис.1). В этом случае речь идет уже о подстройке человека к неизменной системе управления конечности. Традиционно задача такого рода решается следующим образом: Во-первых, выбирается система управляющих входов, например – повышение мощности ЭЭГ в альфа-диапазоне в 02 на 10% – сигнал «рука вверх на 5 градусов», понижение – «рука вниз на 5 градусов». После этого осуществляется обучение человека произвольному изменению выбранных параметров. Тут могут использоваться несколько способов решения задачи:
1. Использование метода биологической обратной связи для обучения человека произвольному управлению динамикой отдельных индексов или их паттернами (блок 1.2.2.1 рис.1). Давно известно, что биуправление при помощи этого метода способно поставить под сознательный контроль функционирование как отдельной нервной клетки, так и сложного паттерна ЭЭГ. Традиционно именно этот метод используется для обучения нейроуправлению. Как правило, в качестве управляющих индексов используются спектральные показатели ЭЭГ, которые могут быть (для дополнительного усложнения пространств управления) привязаны к различным отведениям. В этом методе в качестве сигнала обратной связи используется динамика стимула, не имеющего самостоятельного витального смысла, – изображение на экране, звук, свет лампы, вибрация и т.д.
2. Использование методов, основанных на оперантном обуславливании (блок 1.2.2.2. рис.1). Фактически данный метод сильно похож на метод БОС, с той разницей, что стимул – обратная связь обладает собственным витальным смыслом (как правило, это система стимулов «поощрение – наказание»). При использовании этого метода привязывание управляемой физиологической функции к сигналу – т.е. выстраивание новой функциональной системы происходит неосознанно. По очевидным причинам этот метод более распространен в работе на животных, но на человеке такие средства также могут применяться и применяются – в частности, при околопороговом формировании условных рефлексов в экспериментальных целях, или для управления паттернами ЭЭГ для приведения их в форму, соответствующую позитивному прогнозу при выводе пациента из комы [10]. В последнем случае в качестве положительного стимула, например, используются голоса близких.
Для второго способа решения задачи ЭЭГ-управления бионическим протезом – использования обучения произвольно выбранным набором ЭЭГ-параметров, связанным с системой управления, вне зависимости от типа решения (БОС или оперантное обуславливание) характерен ряд проблем.
Во-первых, в качестве управляющих воздействий используются существующие ЭЭГ-события. Само их существование говорит о том, что они являются отражением актуальных для ЦНС процессов. Когда же они, в ходе обучения управлению протезом, встраиваются в новые ФС, та система, в которую они были встроены ранее, может пострадать. Очевидно, что имеет смысл в качестве управляющих параметров использовать системы как можно более низкого уровня – вплоть до отдельных клеток, – так ущерб системе, в которую изначально был включен управляющий параметр, будет минимальным. Однако на настоящий момент такой подход подразумевает инвазивность либо дороговизну аппаратуры и программных средств. Альтернативный путь решения – использование в качестве управляющего параметра тех систем, которые изначально не жестко привязаны к каким-либо существующим функциональным системам. Например, если предположить, что существуют нейронные ансамбли, которые удерживают образ результата при выполнении задачи, хранят алфавит объектов в решении задач множественного выбора и т.д., то использование сигналов от такого рода ансамблей никак не повредит системе в целом, т.к. самой их природой является быстрая перестройка под задачу.
Во-вторых, подобные навыки плохо автоматизируются – т.е. основа формирования любого сложного навыка заключается в том, что по мере отработки его элементов, увеличения их предсказуемости иррелевантные элементы перестают осознаваться, оставляя под контролем сознания только лишь «вершины» иерархических функциональных систем. В случае с нейроинтерфейсами этого практически не происходит. Причины этого до конца не ясны, однако можно предположить, что если система управления реальной конечностью имеет множество уровней, но в случае искусственной конечности вся внутренняя сложность системы управления «спроецирована на плоскость» – т.е. сведена к одному уровню. Имеет смысл экспериментально проверить возможность построения многоуровневой системы управления искусственной конечностью с помощью БОС и автоматизируемость навыков нижнего уровня по мере развития процесса обучения. Низкая информационная пропускная пособность, которая часто называется в числе факторов, затрудняющих использование нейроинтерфейсов для решения практических задач управления сложными искусственными системами, является, на наш взгляд, результатом того же «уплощения» системы управления – пресловутый потолок в 3 бита информации в сигнале могут являться адресом в пространстве состояний управляемой системы, которое уже связано с целым набором необходимых действий отдельных эффекторов. Очевидно, что информационная емкость сигнала управления в данном случае зависит от сложности управляемой системы и сложности соответствующего ей пространства управления.
В-третьих, плохо удается плавное управление функцией, система чаще сваливается в состояние «максимум» или «минимум». Нам кажется, что эта проблема в своей основе имеет недостатки обратной связи от промежуточных «контрольных точек». Оператор не обладает представлением об этих точках, т.к. не получает отдельную обратную связь об их прохождении. Ему в процессе обучения необходимо выделить стратегию управления, способную изолировать нахождение сигнала на контрольной точке, отличную от стратегии подгонки сигнала к следующей точке. Нащупать точку может помочь нелинейная обратная связь. Нелинейность ее может быть достигнута двумя способами. Первый: график, отражающий значение управляемой функции в пространство сигнала обратной связи, может быть, например, параболическим, с контрольной точкой в точке перегиба функции. Второй: график сигнала обратной связи является функцией нескольких переменных, или вообще является сложным сигналом от паттерна функций. Известно, что обучение с помощью БОС проходит намного быстрее в случае использования паттернов функций вместо управления одним выделенным параметром.
Рассмотрев два основных подхода к решению задач управления искусственными конечностями (или системами в широком смысле), хотелось бы указать на тот факт, что: использование систем распознавания образов для определения и предикции состояний, нахождения управляющих параметров в ЭЭГ и т.д. обычно не используется одновременно с решением задачи биоуправления по БОС, хотя этот подход является потенциально весьма интересным (блок 1.3. рис.1). Причины очевидны: если подстраиваются оба «собеседника» – и человек и компьютер, то такая подстройка не может состояться, т.к. в ней отсутствует предсказуемость – например, система распознавания распознавала образ команды, а человек тем временем уже поменял соответствующий паттерн, развязав его с функциональной системой, частью которой является поданная команда.
В целом задача, решаемая нами, заключается в наискорейшем построении функциональной системы, ответственной за управление новой конечностью, в системе психической регуляции человека. Упрощенно процесс построения этой системы можно представить себе так: оператор, обладая обобщенным образом результата, инициирует деятельность с помощью новой системы. Управляющие воздействия в незнакомой системе приводят к случайным результатам – хаотическим движениям. На следующем этапе происходит постепенное выдавливание из системы шумов – в соответствии с, например, уровнями построения движения по Берштейну. Т.е. первым делом обеспечивается тонус «мышц» и нащупываются проприоцептивные связи, указывающие на статус тонуса. Далее следуют уровни синергий, ансамблей движений и т.д. Фактически человек обычно осуществляет управляющие воздействия высокого уровня, команда, которую получает система управления конечностью, звучит как «взять предмет со стола». При этом человек способен, переведя внимание, осознанно и произвольно пошевелить отдельным пальцем своей руки, напрямую обращаясь к тем уровням регуляции движения, которые ранее были скрыты и автоматизированы, находясь в структуре сложного движения. Система адресации к разным уровням иерархии команд скрыта в субстрате, поддерживающем наборы ответственных за движения функциональных систем мозга. Для ускорения формирования навыка управления искусственной рукой с большим количеством степеней свободы, необходимо частично перенести эту систему на искусственный носитель. Т.е. получая команду «взять предмет со стола», искусственная рука должна автоматически осуществлять координацию всех нижележащих уровней организации движения – причем с опорой на собственный «интеллект», заменяющий автоматизированные уровни регуляции естественной системы . При этом в любой момент человек-оператор должен быть в состоянии направить команду непосредственно, например, отдельному пальцу руки. Хотя окончательное решения данной задачи пока еще не найдено, существуют предпосылки к его появлению. Ответ, возможно, заключается в формировании простой структуры управления, которая на стороне оператора выглядит состоящей из двух пространств. Первое – уровень команды. От общих действий до микроуправления отдельными эффекторами. Т.е. – выбор управляемой системы (рука в целом, кисть, плечо и т.д.). Второе – команда на целенаправленное действие в пространстве, ограниченном степенями свободы управляемой системы. При подаче команды высокого уровня иерархии нижние уровни иерархии управляются компьютерной системой (в режиме АСУ), которая прошла обучение (в режиме распознавания образов) во время освоения оператором этих уровней управления. Таким образом, требуемая общая информационная емкость управляющего сигнала может быть снижена на много порядков.

Мы рассмотрели некоторые ключевые проблемы, связанные с практическим решением задачи создания нейроуправляемого тела в целом или протеза в частности и предложили базовую классификацию средств решения этих задач. Проблемы, относящиеся как к симуляции живых систем в части создания вынесенной вовне функциональной системы управления движением, так и к требуемым измерительным средствам в широком смысле – как собственно средствам регистрации, так и средствам первичной обработки данных. Задача управления бионическим протезом и, шире, искусственным телом представляется нам в целом решаемой.

Литература: 

. 1. Application of EMG signals for controlling exoskeleton robots.

Fleischer C, Wege A, Kondak K, Hommel G. Biomed Tech (Berl). 2006 Dec;51(5-6):314-9.

2.Kuiken TA, Li G, Lock BA, Lipschutz RD, Miller LA, Stubblefield KA, Englehart KB.Targeted muscle reinnervation for real-time myoelectric control of multifunction artificial arms.JAMA. 2009 Feb 11;301(6):619-28.

3. Müller-Putz GR, Scherer R, Pfurtscheller G, Neuper C. Front Neurosci.

Temporal coding of brain patterns for direct limb control in humans.2010 Jun 18;4. pii: 34.

4. Луценко Е.В. АСК-анализ как метод выявления когнитивных функциональных зависимостей в многомерных зашумленных данных./ Е.В. Луценко // Научный журнал КубГАУ [Электронный ресурс]. – Краснодар: КубГАУ, 2005. – №11(03).

5. Lebedev AN, Lutski? VA. Electroencephalographic rhythms--result of interrelated oscillatory neuronal processes. Biofizika. 1972 May-Jun;17(3):556-8.

6. Бродский Б.Е., Дарховский Б.С., Каплан А.Я., Шишкин С.Л. Статистическая сегментация электрических сигналов мозга: непараметрический подход // Автоматика и телемеханика. - 1997

7. Dunin-Barkovski? VL. Configuration generators of neuronal rhythm.

Biofizika. 1984 Sep-Oct;29(5):899-902.

8. Hopfield JJ. Neurodynamics of mental exploration.

Proc Natl Acad Sci U S A. 2010 Jan 26;107(4):1648-53. Epub 2009 Dec 30.

9. Basmajian JV. Biofeedback in medical practice.

Can Med Assoc J. 1978 Jul 8;119(1):8-10.

10. Frazier, L. M. (1980). Biofeedback in coma rehabilitation: Case study: American Journal of Clinical Biofeedback Vol 3(2) Fal-Win 1980, 148-154.