Метод испытали на 46 добровольцах.
Создатели из Института Суррея в Великобритании сделали нейросетевой метод, способны превращать в текст в жестовую речь. О этом докладывает портал arXiv.org.
Метод отменно производит сурдоперевод и раздельно учится для высококачественного синтеза кистей рук. Он вначале воспринимает речь в виде текста, который проходит через кодировщик и преобразуется в модель тела с иллюстрацией жеста говорящего. Приобретенная последовательность поз кодируется в вектор и подается на сверточную нейросеть U-Net.
Во время обучения метод инспектирует свойство собственной работы опосля синтеза видео. Таковой способ дозволил достигнуть еще наилучшего результата, чем у прошлых схожих. Ученые учили метод на на датасете PHOENIX14T, состоящем из 386 записей сурдопереводчиков на германском телеканале. Они также провели тест на 46 добровольцах. Некие из которых были носителями языка жестов и оценили новейший метод.
Как докладывало ранее Delovoe.tv, южноамериканский ученый оценил стоимость Земли.
Фото: Pixabay.com
Источник: