У YouTube з’явилася функція, яка автоматично підписує у відеороликах навколишні звуки – оплески, музику і сміх. Це допоможе краще розуміти те, що відбувається на екрані тим, у кого є проблеми зі слухом.
Можливості системи поки що обмежені трьома перерахованими категоріями. YouTube використовує машинне навчання, щоб визначати звуки і показувати їх текстові описи.
Компанія розробила нейронну мережу і натренувала її, використавши тисячі годин відео. За словами розробників, найскладніше було навчити систему відрізняти елементи, які звучать одночасно – наприклад, сміх і оплески.
В результаті описи навколишніх звуків стали відображатися разом зі стандартними автоматичними субтитрами. Як приклад роботи технології нижче представлено виступ з телепроекту «Америка має таланти».Команда розробників YouTube визнає, що підписи примітивні. Але тепер технологію буде простіше вдосконалити, тому що основа, тобто нейронна мережа, вже створена. У майбутньому компанія хоче додати підтримку таких звуків, як гавкіт, стукіт і дзвін. Для цього штучному інтелекту доведеться навчитися розрізняти джерела звуків: дзвін, наприклад, можуть видавати телефон, будильник або дверний дзвінок.
Це варто зусиль розробників: вони провели дослідження, дві третини учасників якого сказали, що з підписами відео дивитися комфортніше.
Автоматичні субтитри з’явилися в YouTube в листопаді 2009 року. Алгоритми компанії поки що далекі від ідеалу, і їх доводиться доопрацьовувати – через неправильну вимову, діалекти, акценти і фонові шуми. Проте, функція дуже популярна: більше 15 мільйонів роликів з автоматичними субтитрами люди дивляться кожен день, а всього таких відео в сервісі – понад мільярд.
|