Ученым удалось научить нейросеть превращать текст в видео с жестами

Ученым удалось научить нейросеть превращать текст в видео с жестами

Британские ученые из Университета Суррея представили нейросеть, которая может превратить текст в видео с человеком, который будет показывать текст языком жестов. Статья появилась на ресурсе препринтов arXiv.

По информации, разработчики создали алгоритм, который может переводить текст на язык жестов.

Текст проходит через кодирование и превращается в скелетную модель тела, которая показывает текст жестами. После этого последовательность поз кодируется в вектор, а он объединяется с изображением человека, которого нужно анимировать.

Тогда последовательность поз передается на нейросеть U-Net, которая превращает изменение поз в реалистичное видео. Созданный британцами алгоритм также совершенствует свои навыки.

Он анализирует, насколько удачно создал скелетную модель тела, и делает ее лучшей в следующий раз.

Отмечается, что работу нейросети проверили на записях работы переводчиков жестового немецкого языка. Оказалось, что алгоритм достиг значительного сходства с изображением жестов сурдопереводчиками, в частности он точно воспроизводил движения кистей.

Как сообщал kubmarket.ru ранее, житель американского штата Джорджия Калеб Андерсон в 11 лет поступил в колледж Чаттахучи на факультет аэрокосмической инженерии.

Источник

Следующая новость
Предыдущая новость

Купить светодиодную ленту недорого Врачи назвали крупы, которые лучше всего выводят из организма шлаки Оптимизировать работу кассы легко со счетчиком банкнот Драйв и адреналин в казино онлайн Вулкан Протезирование зубов на дому в Москве

Лента публикаций