В ноябре 2015 года Тимилейн Одоле выполнял поручение старшего брата в родном Лагосе. Безобидная прогулка окончилась трагедией: мальчик попал под мотоцикл. Тимилейну ампутировали левую ногу. Младший Одоле закрылся дома, бросил школу: видеть, как сверстники играют в мяч, бегают и просто спокойно ходят, было невыносимо. Их жизнь осталась прежней, жизнь Тимилейна казалась оборванной. Пока в сентябре 2016 года мальчик не получил протез и не вернулся в школу и на баскетбольную площадку.
Протезы помогают людям вернуться к жизни. К сожалению, пока что они не всегда могут полностью заменить настоящие конечности — восполнить пробелы в возможностях технологий сегодня, в частности, помогает Data Science.
Какой вклад вносит искусственный интеллект в протезирование верхних конечностей
Главная трудность людей, носящих ручные протезы, — мелкая моторика. Разжать и сжать искусственный кулак — посильная задача. Показать «лайк», поманить указательным пальцем или сделать рокерскую «козу» — операции более сложного уровня.
Любое движение тела запрограммировано мозгом, но считать код «головного центра» бывает непросто и самому телу. Даже несложный жест, вроде сжатия пальцев в кулак, определенным образом задействует бицепс и трицепс. Обычно люди сокращают мышцы неосознанно, но пользователям протезов приходится учиться контролировать каждый мускул «головой».
Дело в том, что в основе большинства протезов — электромиографические датчики. Они различают изменения в мышцах и «считывают» по ним необходимый жест.
Есть и другой пробел в пользовании протезами. Чтобы исполнить жест, нужно заранее запрограммировать его в специальном приложении. Конечно, это невероятная технология, и люди с ампутированными или неразвитыми верхними конечностями получают исторически беспрецедентную свободу действий. Но воспроизводить спонтанные жесты в режиме онлайн — тоже важная часть общения, которую нужно восполнить.
Зарубежные специалисты предложили использовать алгоритмы искусственного интеллекта для «дешифровки» сигналов нервных окончаний через электрод, вживленный в руку.
Другую систему «естественного» управления протезом с помощью искусственного интеллекта предлагают представители российского MedTech из «Супер Моторики», компании — разработчика функциональных протезов верхних конечностей и систем реабилитации управления.
Идея в том, чтобы дать нейросетям больше данных с помощью оптомиографических датчиков: они «читают» не только по мышцам, но и по состоянию кожи, кровотока, сухожилий и связок.
Обилие источников информации упростит управление протезами и сделает его индивидуально ориентированным: задумываться о сокращении конкретных мышц придется реже. Но для начала искусственный интеллект предстоит обеспечить базой данных.
Для этого нужно надеть оптомиографические датчики на здоровые конечности и собрать модели «карт» разных движений. Как реагирует кожа на разных участках руки на определенные жесты, какие мышцы сокращаются, что происходит с кровотоком, где и с какой силой напрягаются сухожилия и связки. Постепенно на основе информации алгоритмы научатся распознавать и воспроизводить «фантомные» жесты пользователей протезов.
Какой вклад в развитие сферы могут внести студенты Skillfactory
13 студентов курсов Data Scientist и Data Scientist PRO поучаствовали в стажировке от «Моторики». В их задачи в том числе входил сбор данных для развития протезного искусственного интеллекта.
Затем, опираясь на созданную «библиотеку» оптомиографии и данные о состоянии конечности у здорового человека, студенты разрабатывали систему принятия решений (СПР). Она призвана в режиме реального времени реконструировать на протезе сгибы пальцев здорового пользователя.
Свои решения участники стажировки проверяли онлайн, а также очно — в московском офисе «Моторики» на реальных протезах.
Максим Балашов, разработчик AI/ML системы управления протезом, ментор стажировки:
Считаю стажировку успешной: мы получили ряд гипотез и некоторые неочевидные инсайты, которые будут в дальнейшем проверены специалистами компании. Но создание СПР остается актуальной задачей для исследования и разработки, эталонного решения пока нет.
Стажировка продлилась девять недель, и в результате студенты получили сертификаты с рекомендацией специалистов «Моторики» о готовности к позиции Junior Data Scientist. Также все, кто дошел до финала стажировки, попали в кадровый резерв: если в компании откроются релевантные позиции, есть шанс попасть в штат.
Но главное — студенты передали свои наработки «Моторике» и помогли сократить время на сбор данных. А значит, приблизили исполнение чьей-то мечты о равных возможностях.
