Назад к списку

Нейросеть в погонах учится читать по губам

ФСБ поднадоел дефицит чтецов по губам, "липридеров" — спецслужба получит нейросеть с такими навыками. Вскоре камеры наружного наблюдения смогут по артикуляции понять, о чем вы говорите.


403 отыскал документы, касающиеся этой разработки. Их в середине 2018 года опубликовал подведомственный гэбистам НИИ "Квант"; в тот же период институт попал под антихакерские санкции США. За 3,6 млн рублей "Квант" купил наборы данных для обучения нейросети (см. скриншот из техзадания). Квант удалил эти документы со своего сайта; нам повезло, что с сайта госзакупок это сделать сложнее.


Поставщик датасетов для губочитальни "Кванта" — питерская фирма "Технологии автоматизации и программирования". Помимо прочего она продает в региональные следкомы аналог электронного врача — софт для "обработки следственно-значимой информации", "принятия решения по делу, выявления признаков противоправной деятельности". Компьютерный напарник теперь есть у чеченских следователей. Но пока что такие системы едва ли будут широко применяться.

А вот возможности липридинга реальны: в 2016 году Оксфордский универ сообщал об успехах своей нейросетки LipNet. Правда, липридеры бессильны или почти бессильны против согласных звуков [г], [к], [х]; [ж], [ш], [с], [ц].

Ранее "Квант": 

  • покупал у итальянской компании Hacking Team троян-шпион для смартфонов Remote Control System;
  • делал для ФСБ систему мониторинга СМИ и соцсетей "Авенир" для поиска протестных настроений; 
  • сверстал ПО для распознавания речи из аудиомассивов, которым, надо полагать, тоже пользуется кто надо.

Как и система чтения по губам, речевые комплексы "Кванта" построены на универсальных алфавитах SAMPA / X-SAMPA / SAMPA+. Ежегодный объём финансирования, получаемый "Квантом", — несколько миллиардов рублей. Дети сотрудников НИИ ходят на "ёлку" в культурный центр ФСБ РФ.

10 апреля 2019