1 июля 2011 года состоялась вторая встреча рабочей группы по разработке «Тела А» – проекту «Аватар». Участвовали: Д.И. Ицков, Т.Н. Щукин, А.А. Фролов, В.Л. Дунин-Барковский, В.Г. Яхно, В.А. Конышев, Л.А. Станкевич, В.Д. Цукерман, И.Л. Кирилюк и В.В. Петрушенко.

В начале заседания Д.И. Ицков рассказал о развитии проекта «Россия2045», в частности о том, что знаменитый актер Стивен Сигал 3–10 июля посетит Москву, где примет участие в ряде запланированных мероприятий, в том числе в съемках документального фильма о Движении (на настоящий момент все запланированные мероприятия состоялись). 

Экспертами Движения были подготовлены тезисы о создании специализированного центра или сети центров, способных объединить разработки по проекту «Россия2045». Данное письмо было решено отправить председателю правительства РФ В.В. Путину.

Д.И. Ицков рассказал о последних новостях, о своей недавней поездке в США, о встречах с потенциальными инвесторами, бизнесменами, актерами и другими заинтересованными лицами самого высокого уровня. До официального присоединения этих людей к Движению было принято решение не включать их имена в отчет.

Координатор Движения Т.Н. Щукин рассказал о планируемом выпуске Движением собственного научного журнала, в котором будут публиковаться статьи экспертов по робототехнике, когнитивным наукам, моделированию живых систем, математике, биологии, антропологии и философии.

Также Т.Н. Щукин рассказал о том, что новый портал Движения, запуск которого откладывается на конец июля 2011 года, в перспективе будет кроме социальной сети, форумов, блог-платформы и новостного ресурса иметь также wiki-подобную базу знаний и интегрированную «Виртуальную лабораторию».

«Виртуальная лаборатория» позволит научным группам, ассоциированным лабораториям, институтам и просто участникам Движения принимать участие в экспериментальной работе Движения, в онлайн-экспериментах, в создании и обработке баз данных, играть в игры, формировать цифровых индивидуальных аватаров при помощи построения профиля личности на основе обработки данных психодиагностики, индивидуальных ЭЭГ, слепков голоса и результатов обработки фотографий и текстов, а также проходить диагностику при помощи подключенных серийных нейроинтерфейсов, обмениваться наработками и ноу-хау. Кроме того, координатор Движения рассказал о том, что осенью стартует масштабная программа конкурсов научных и производственных проектов со значительными денежными призами и возможностью для лучших проектов быть интегрированными в систему организации и финансирования главных технопроектов Движения.

Т.Н. Щукин также рассказал собравшимся экспертам о начале работ по «Телу В», встречах с руководителем НИИ геронтологии В.Н. Шабалиным, возглавившим эти работы, и Е.В. Терешиной, координирующей их со стороны института. В частности, было упомянуто о таких основных направлениях работ, как:

а) создание компьютерной модели метаболизма мозга;

б) создание перфузионной жидкости на основе этих моделей;

в) создание системы поддержания состава жидкости (оксигенация, очистка и т.д.);

г) создание системы гуморальной и нервной стимуляции мозга, а также системы коммуникации между мозгом и внешней средой.

В.Л. Дунин-Барковский рассказал о старте работ по «Телу С», в рамках которых в г. Судак прошла международная школа-семинар по вычислительным нейроисследованиям. По итогам ее проведения к группе разработки «Тела С» присоединились первые сотрудники, были распределены первые гранты и получены первые результаты.

В качестве основных категорий проработки тем по направлению «Тело С» в части обратного конструирования мозга были названы следующие:

А. По элементам структуры нервной ткани – уровни: молекулярный, мембранный

(ионные каналы, насосы, трансмембранные транспортные системы), пери-синаптический, нейронный, многонейронный и нейро-глиальный.

Б. По иерархии функций мозга – уровни: вегетативных функций, околосуточных ритмов и сна, нейронных механизмов движений и речи, механизмов восприятия сенсорных сигналов, механизмов чувств и эмоций, нейронных механизмов языка, мышления и принятия решений.

В. По анатомической иерархии – уровни: исполнительных нейронов, сенсорных рецепторов всех типов, периферической нервной системы, спинного мозга, ствола мозга, гипоталамуса, таламуса, мозжечка, базальных ганглиев, гиппокампа и коры головного мозга.

Г. По медиаторной, нейромодуляторной и нейрогуморальной специфичностям – функции  каждого из типов нейромедиаторов и нейромодуляторов; механизмы, обеспечивающие пространственно-временную динамику их распределения.

Д. Вопросы онтогенеза и филогенеза структуры и функций мозга. Нейрогенетика. Регуляция экспрессии генома в клетках мозга.

Е. Норма и патология: нужно рассматривать всё предыдущее, как в условиях нормального функционирования, так и при заболеваниях и травмах.

Ж. Технические средства нейроинформатики. Технические средства получения и представления исходных данных и результатов моделирования – компьютеры (универсальные или специализированные) и математическое обеспечение для анализа данных и моделирования нейронных систем. Нейрочипы всех видов.

З. Системы «синтетического» искусственного интеллекта. Отслеживание основных тенденций и результатов работ по созданию систем искусственного интеллекта, не опирающихся на механизмы работы живых нейронных систем.

И. Системы воспроизводства психических процессов, аналогичных человеческим. Обсуждение способов и средств фиксации индивидуальности и ее воспроизведения на искусственных платформах.

Далее Т.Н. Щукин предложил присутствующим сосредоточиться на проекте «Тело А» – «Аватар» и обсудить окончательное распределение ответственности и состав рабочих групп по основным задачам проекта. Присутствующим экспертам были переданы на утверждение таблицы с основными задачами блока А тела «Аватар». Экспертам было предложено к концу июля завершить формирование примерных бюджетов подпроектов и рабочих групп.

Общий план действий по каждому направлению предполагает, что при необходимости будут закуплены наиболее совершенные доступные образцы технологий по каждому направлению – роботы, биопротезы кистей рук, отдельные элементы, образцы электроактивных полимеров и т.д. Разработка моделей по каждому направлению будет сопровождаться отработкой работы виртуальной модели узла как коллективами рабочих групп, так и участниками Движения при помощи «Виртуальной лаборатории».

Обсудили создание параллельно с протезами также ортезов – элементов экзоскелета. Было принято решение на первом этапе ориентироваться на протезы и только в дальнейшем постепенно переходить к адаптации результатов для создания ортезов. Обсудили необходимость вернуться от таблиц к MindMap проекта, для того, чтобы упростить его интеграцию и управление им. Решили вопрос о математической основе для управляющих алгоритмов (нейросети, алгоритмы на основе  аналитического и имитационного моделирования и т.д.) вынести на обсуждение в отдельных проектных группах.

После вводной части было предложено начать групповое обсуждение, в результате которого должны быть подтверждены основные направления и определены основные этапы работы над «телом А» и ответственные за каждый из этапов.

В результате обсуждения было зафиксирована следующая этапность проекта и структура рабочих групп:

1-е направление: Рука

1-й этап

Рука до локтя, обеспечивающая захват.

В рамках этого направления предполагается до конца 2011 года закончить изготовление рабочей модели руки с 15–20 степенями свободы.

Первая мастер-модель, изготовленная при помощи М.Ю. Яблокова, уже готова, а окончательный образец на основе внесенных коррекций должен быть изготовлен к началу августа. Образцы электрополимерных мышц заказаны у швейцарских производителей, и существуют договоренности о создании более эффективных движителей на основе отечественных технологий, не известных на Западе (в частности, вакуумное напыление электродной пленки на эластичный полимер). В качестве промежуточных движителей для отработки алгоритмов работы В.А. Конышев предложил использовать пневматические мышцы, для обеспечения базовой чувствительности – e-skin-покрытие на основе электроактивного полимера. На первом этапе управление рукой будет осуществляться через компьютерную модель и при помощи ЭМГ-сигнала. В.А. Конышев предложил использовать существующие в компании Neurobotics наработки по регистрации высокоплотной электромиограммы. Первым интерфейсом станет электромиографический интерфейс, для отработки которого необходимо вычленить из записанного сигнала паттерны, соответствующие разным движениям кисти. Эти данные могут быть использованы для управления протезом руки как при помощи другой руки, так и при помощи регистрации ЭМГ с культи руки.

Рабочая группа по 1-му этапу включает М.Ю. Яблокова, А.А. Фролова, В.А. Конышева.

2-й этап

Рука до плеча включительно, обеспечивающая движение с большим набором степеней свободы, координацию «глаз – рука» и автономное выполнение команд типа «взять предмет» с автоматическим построением структуры движения.

В отличие от 1-го этапа добавляется целый ряд новых задач:

1. Управление контрольной точкой (кистью руки).

2. Глазо-двигательная координация на основе оценки среды при помощи машинного зрения и кинект-подобных радаров.

3. Построение индивидуального движения на основе анализа оценки внешней среды и проприоцептивных данных (весов частей руки, инерции, учета веса предмета в кисти и т.д.).

4. Отработка согласованных движений двух рук.

В связи с наращиванием сенсорики руки, появлением задач создания машинного зрения, распознавания предметов и ситуаций, а также адаптации кинематической модели руки, на этом этапе к  проекту «Рука» присоединяются В.Г. Яхно, В.Д. Цукерман и Л.А. Станкевич.

2-е направление: Тело

1-й этап

Компьютерная и физическая модель тела, обеспечивающая поддержание равновесия при стоянии на подвижной платформе. Было предложено приобрести документацию по аналогичному проекту коллеги А.А. Фролова из Германии – Мернера. Обсуждалась возможность использовать в качестве модели корпуса скелет человека с искусственно ликвидированными степенями свободы позвоночного столба. При развитии модели предполагается постепенное добавление этих степеней свободы в модель и физический корпус.

2-й этап

По мере развития модели предполагается добавление к ней возможности ходьбы, бега и прыжков. По мере появления результатов по проекту «Рука» планируется добавление рук и головы к корпусу и перерасчет (переобучение) модели с учетом новых элементов.

Рабочая группа проекта включает в себя: А.А. Фролова в качестве руководителя, В.Л. Дунина-Барковского в качестве консультанта по моделированию функций мозжечка, а также Л.А. Станкевича в качестве специалиста по робототехнике. Группе требуется инженерный отдел и отдел программирования.

3-е направление: Голова (лицо)

Для обеспечения антропоморфности требуется создание искусственного лица, способного отображать человеческую мимику. В ходе обсуждения была рассмотрена возможность приобретения геминоида (Geminoid), которая была отвергнута в пользу создания собственной системы на электроактивных полимерах (искусственных мышцах). Была предложена адаптация мимических каталогов для создания каталога базовых эмоций искусственного лица при помощи базового набора мимических мышц. Постепенное расширение каталога позволит на последнем этапе включить возможность естественной человеко-подобной вокализации.

Рабочая группа: В.А. Конышев и М.Ю. Яблоков.

4-е направление: Управление аватаром

Поднаправление 1. Инвазивные интерфейсы

Направление, связанное с созданием инвазивных нейроинтерфейсов, было закреплено за А.А. Фроловым и В.А. Конышевым. В рамках этого направления предполагается решать следующие основные задачи:

?        отработка процедуры использования инвазивного интерфейса;

?        использование интерфейса для распознавания речевых сигналов на животных (например, подпроект «Говорящая обезъяна» – обеспечение обезьян с детства искусственным вокализатором на основе инвазивного ЭЭГ-интерфейса, которым они смогут научиться пользоваться по аналогии с языком жестов, которым уже владеют отдельные популяции экспериментальных животных).

?        поиск и разработка новых малоинвазивных средств регистрации: углеродные нанотрубки, мобильные датчики, «прорастающие» датчики и т.д.

Было также принято решение искать сотрудничества с математиками, специализирующимися на системах распознавания образов, для привлечения их в проект на задачи поиска паттернов в биологических сигналах, соответствующих движениям рук и тела, вокализации, других аналогичных задач, а также сотрудничества в создании адаптивных самообучающихся систем управления телом.

Поднаправление 2: Неинвазивные интерфейсы

Присутствующие сошлись во мнении, что руководителем этого направления должен стать отсутствующий сегодня на встрече А.Я. Каплан. Т.Н. Щукин предложил для обсуждения ряд ключевых, на его взгляд, исследовательских тем, которые должны быть проработаны в рамках направления для создания универсального быстрого интерфейса «мозг – компьютер» («мозг – робот»), способного к управлению манипуляторами и телами произвольных форм.

Существует два принципиально различных способа создания интерфейса «мозг – компьютер». Первый – поиск индексов сигнала (ЭЭГ (включая компоненты ВП и другие производные), МЭГ и т.д.), которые соответствуют движениям. Управление движением в дальнейшем осуществляется при помощи этих найденных параметров или их паттернов. Второй – обучение человека управлению (БОС или оперантное обуславливание) выбранным параметром, который (которые) связываются с движениями манипулятора. Реализация второго направления связана с целым рядом трудностей, ограничивающим его использование.

а) Инерция индексов. Суть проблемы заключается в том, что любое устойчиво повторяющееся явление (индекс) в ЭЭГ, предположительно обладает функцией в системе работы мозга. Использование такой функции «не по назначению» может, во-первых, ухудшить выполнение исходной функции, во-вторых, сам процесс обучения связан с конкуренцией новой и старой систем – т.е. «сопротивлением» или «инерцией» существующей функциональной.системы новому применению.

Гипотезы:

1. Сила «инерции» пропорциональна «размеру» явления. Чем больше подсистем входят в структуру явления (индекса), тем выше сила инерции. Оптимальной системой может быть какая-либо автономная единица (отдельная клетка, ансамбль и т.д.).

Необходимо оценить различные показатели измеряемого сигнала по этим параметрам и описать множество индексов с наименьшей «инерцией».

2. Сила «инерции» пропорциональна устойчивости связей между этим явлением и другими. Чем больше связей между этим индексом и окружающими системами, тем выше сила инерции. Например, вероятно, что показатели сигнала, связанные с такой деятельностью, как мышление, будут обладать меньшей инерцией, чем показатели, сопровождающие двигательную или перцептивную деятельность. Необходимо оценить различные показатели измеряемого сигнала по этим параметрам и описать множество индексов с наименьшей «инерцией».

3. Сила «инерции» пропорциональна требуемому для управления изменению. Чем больше требуемое отклонение от обычного функционирования, тем выше инерция. Очевидный способ – суммация малых отклонений различных систем в качестве команды – наложение паттерна. Необходимо оценить возможности использования малых отклонений для использования их в качестве команд.

б) Проблема формирования нового навыка. Помимо поиска подходящих индексов для их использования в качестве элементов команды или командных воздействий, возможно создание новых уникальных индексов специально под задачу. Возникает вопрос, каким образом сформировать этот индекс. Очевидно, что система поощрений и наказаний вряд ли сработает в этом случае оптимальным образом – так как обучаемому будет сложно установить связи между стимуляцией и требуемой от него деятельностью. Необходимо что-то вроде поэтапного формирования умственных действий по Гальперину или поэтапное формирование новой структуры коммуникаций (по аналогии с установлением контакта со слепоглухонемыми).

Гипотезы:

1. Подход поэтапного формирования является эффективным.

Предлагается проиндексировать существующие феномены в сигнале и выделить «резервную зону» – т.е. множество физиологически возможных, но не встречающиеся индексов. Размерность пространства необходимо выбрать соответствующей размерности пространства команд (см. гипотезу 2). Далее необходимо разработать систему поэтапного формирования действия (от общего к частному,  и/или независимое обучение отдельным элементам и их последующая «сборка» воедино). Необходимо исследовать возможности поэтапного формирования сложных саморегуляционных действий и особенности автоматизации подэлементов действий во время освоения операций более высокого порядка.

2. Пространство команд является новым языком, и обучение таковому должно быть подобным созданию и изучению нового языка. Предлагается сформировать пространство управляющих воздействий – индексов ЭЭГ, соответствующее пространству команд (а значит, структуре деятельности). Необходимо сформировать семантику пространства в соответствии с пространством требуемых команд. Возможно, общее пространство должно быть выстроено в соответствии со структурой наиболее стереотипных действий при помощи, например, руки. Отдельные действия, вроде произвольного движения пальцем, формируются позже общих действий, по мере фиксации лишних степеней свободы.

3. Обратная связь должна соответствовать структуре пространства управления. В случае простых функций управление достигается путем вывода в интерфейс обратной связи динамики управляемой функции. Отображение в интерфейс, как правило, линейное. В случае работы с паттернами такая система абсолютно не функциональна. Когда осуществляется управление одним паттерном, возможно создание системы, выводящей в качестве обратной связи уровень похожести текущей ЭЭГ на заданный паттерн. Однако когда паттернов больше одного или двух, обратная связь должна отражать близость текущего состояния к нескольким паттернам одновременно, т.е. соответствовать перемещениям по пространству эталонных состояний. Требуется продумать и создать интерфейс обратной связи, способный отражать это пространство и перемещение по нему избирательно, с учетом целей деятельности. Гипотеза – нет необходимости отражать лишние паттерны, если они не являются «ключевыми опорными точками» пространства.

 4. Обратная связь будет более эффективной, если в ней будут использоваться несколько модальностей одновременно и она будет включать в себя околопороговые элементы и элементы сенсорной обратной связи от действия (сигналы с датчиков руки, например). Предлагается исследовать возможности комплексной обратной связи и комбинации различных модальностей. 

5. Адаптивность интерфейса существенно увеличит его эффективность. Речь идет о том, что распознанные или сконструированные паттерны могут меняться, как может поменяться и все пространство состояний в целом, – «поплыть» по причине воздействия неучтенных факторов. Необходимо проводить переобучение системы распознавания паттернов и их перекалибровку в реальном времени, опираясь на эффективность действия. Для этого необходимо дополнить механизм поиска паттернов адаптивными алгоритмами.

5-е направление: Очувствление аватара

Было решено, что разработка чувствительных систем может быть распределена между экспертами. Задачи машинного зрения – В.Г. Яхно и В.А. Конышев. Искусственный нос и язык – М.Ю. Яблоков, датчики проприорецепции – А.А. Фролов, чувствительная кожа – М.Ю. Яблоков.

Существует ряд задач, связанных с реализацией обратной связи – получением сенсорной информации человеком и формирования у него чувства присутствия в удаленном теле на основе этой информации.

Было решено, что руководство решением этой задачи целесообразно возложить на А.Я. Каплана.

Помимо прямых интерфейсов «сенсорная система – нервная система» возможно создание альтернативных сенсорных входов.

Гипотезы:

1. Сенсорная информация от руки (или робота) должна поставляться в модальность, обладающую той же размерностью, что и размерность модальности восприятия. Идеально – ту же модальность. По этой причине сигналы с датчиков руки могут быть спроецированы на кожу руки в виде поля тактильной или электростимуляции. А изображение с камер может быть спроецировано на кожу или язык при помощи тактильной или электростимуляции. Задачи прямой стимуляции мозга для создания виртуальной перцептивной картины было решено рассмотреть отдельно.

2. Сенсорная информация от руки (или робота) не обязательно может поставляться в той же размерности – возможно создание языка отображения произвольной размерности. Формирование языка восприятия полностью соответствует логике создания пространства обратной связи, соответствующей пространству команд. интерфейс обратной связи для управления роботом может быть частично или полностью интегрирован с системой передачи человеку сенсорной информации с робота в целом.

Также по итогам встречи было принято решение до конца июля по каждому из обсужденных направлений предоставить план работ, включающий этапы, сроки и требования к ресурсам: кадровым, финансовым, организационным, информационным и инфраструктурным.

Кроме того, было принято решение запустить цикл ежемесячных семинаров в г. Москве, каждый из которых будет посвящен отдельной теме в рамках работ по «телу А». Предварительной датой первого семинара предложено считать 4 августа 2011 года. Предварительная тема – «Рука. Этап 1». Было предложено пригласить к обсуждению участников Движения и сторонних экспертов (по предварительной записи).