Я буду твоими глазами: новый гаджет поможет слепым «видеть» предметы
Российские инженеры создали систему мультиканальной обработки информации СОМСИ, которая позволит слепым людям самостоятельно ориентироваться в пространстве. В основе работы устройства лежат алгоритмы искусственного интеллекта для распознавания образов. С помощью гаджета слепой человек может узнать информацию об обстановке, предметах и расстоянии до них. Аппарат будет полностью готов во второй половине следующего года.
Разработка компании «Бизнес Бюро» представляет собой прототип устройства для анализа окружающей обстановки по видео и звуку. Гаджет размером с небольшой плеер позволит людям с серьезными нарушениями зрения или полной слепотой хорошо ориентироваться в пространстве. Аппаратно-программный комплекс СОМСИ состоит из двух взаимосвязанных модулей. Первый представляет собой оснащенный широкоформатной видеокамерой и микрофоном сенсор для захвата информации. Второй модуль — это вычислительная платформа для обработки данных.
Работает СОМСИ по следующему алгоритму. Сначала система получает изображения и звуки окружающей обстановки, затем через интернет передает их на вычислительную платформу, находящуюся на отдельном сервере. Там нейросеть анализирует поступающую информацию. После того как нейросеть обработала информацию, устройство переводит данные в форму, которая доступна пользователю — голосовое сообщение, вывод в тактильной форме или отображение визуальных примитивов. Последний вариант доступен при наличии соответствующего импланта, способного частично заменить зрение.
На сегодняшний день «искусственный глаз» представляет собой аналог сетчатки — на тонкую пленку нанесены «пиксели» из фоточувствительного материала. Настоящее изображение такой имплант распознать пока не способен, но уже может обработать крупную схематичную картинку, которую и формирует СОМСИ. Нейросеть преобразует «увиденное» камерой в схему, например, представляя человека как набор палочек и овалов — конечностей, головы и туловища.
— Система СОМСИ будет работать с современными бионическими имплантами — это является особенностью устройства, — говорит директор АНО «Лаборатория «Сенсор-Тех» Денис Кулешов. — Очень надеюсь, что этот функционал удастся реализовать, когда изделие пойдет в серию.
Есть и дополнительная функция, благодаря которой быстро идущий человек может получить информацию о местности на расстоянии нескольких десятков метров. Помимо распознания предметов, их цвета и размера, аппарат может определять дистанцию до вещей с помощью ультразвука, как это делают современные парковочные датчики на автомобилях.
— Человек нажимает кнопку устройства, держа сенсор в направлении движения, и нейросеть сразу обрабатывает информацию о том, где и какой предмет расположен, — добавляет участвующий в создании СОМСИ инженер-технолог Александр Поляков.
— Наша нейросеть — очень сложная структура, которая требует длительного и детального обучения, — рассказывает инженер-проектировщик «Бизнес Бюро» Вячеслав Чепраков. — Чтобы распознать один предмет, нужно около 10 тыс. его изображений в разных ракурсах. Мы обучаем свою сеть уже около года. Пока она распознает базовые вещи, например человека, автомобиль или телефон, но еще не различает разные лица или марки машин.
По словам вице-президента Всероссийского общества слабовидящих Дмитрия Блюма, новую систему необходимо тестировать, чтобы понять, насколько она подойдет для пользователя и насколько высок интеллект созданной нейросети. Дмитрий Блюм отмечает, что СОМСИ не входит в утвержденный распоряжением правительства перечень технических средств реабилитации, предоставляемых инвалиду, поэтому число пользователей сначала будет невелико.
— Мы планируем связаться с производителем и взять несколько изделий для тестирования, — добавил Дмитрий Блюм. — Если система действительно является революционной разработкой, то мы будем продвигать ее на федеральном уровне.
А вот генеральный директор Культурно-спортивного реабилитационного комплекса общества слепых Владимир Баженов считает, что использование СОМСИ в движении практически невозможно из-за низкой скорости реагирования на изменяющийся ландшафт и большого количества ошибок в определении окружающих предметов. Поэтому, как утверждает Владимир Баженов, СОМСИ и другие подобные системы не смогут стать основным средством ориентирования в пространстве для слепых людей в обозримом будущем, а будут играть лишь вспомогательную роль.
Однако, отмечают разработчики, благодаря системе распознания звуковых сигналов, СОМСИ может помочь не только слепым, но и людям с нарушениями слуха. Из основных звуков нейросеть различает сигналы тревоги, «бибиканье» автомобиля и звук светофора, предупреждающий о том, что пора переходить улицу.
В дальнейшие планы разработчиков входит продолжение обучения нейросети, чтобы она смогла распознавать конкретного человека. Также для ускорения работы СОМСИ и возможности получить хотя бы небольшой объем информации при отсутствии интернета инженеры хотят внести часть нейросети в само устройство.
