«Яндекс Браузер» отметил запуск перевода видео с китайского языка коллаборацией с рестораном «Чихо»

«Яндекс Браузер» запустил функцию автоматического перевода видео с иностранного языка. Протестировать ее можно на видеоуроке повара сети китайских ресторанов «Чихо» Ян Чжи — специально для «Яндекса» он поделился рецептом курицы Kowloon с паровым рисом (самое популярное блюдо заведения, которое заказывает каждый четвертый гость) и показал, как ее готовить.

Ян говорит только на родном языке — это мандаринский диалект китайского. Чтобы понять Яна Чжи, необходимо просто открыть в «Яндекс Браузере» его запись и нажать на кнопку «Перевести видео».

Нейросеть обрабатывает загруженные на YouTube ролики и делает для них русскую озвучку. Для того чтобы это стало возможно, алгоритмы браузера изучили 1,5 миллиона видео на китайском и отобрали из них 100 тысяч наиболее подходящих для обучения модели распознавания речи. Нейросеть понимает все четыре китайских тона, которые определяют значение сказанного, и знает 6 500 иероглифов. Кроме того, она умеет раскладывать трудные для восприятия на слух длинные фразы в исходном языке на короткие русские предложения.

Технология работает со всеми роликами на YouTube, в которых говорят на самом распространенном диалекте китайского. Помимо него, «Яндекс Браузер» может переводить на русский видео с английского, французского, немецкого и испанского языков.

Напомним, специально к выходу финального эпизода сериала «Король и Шут» «Яндекс Музыка» представила видоэссе «Все еще на троне: наследие "Короля и Шута"».