Перетворіть аудіо й відео на текст

Які аудіо та відео можна розшифрувати

Почніть із запису, який хочете прочитати, процитувати або перетворити на субтитри. Це може бути інтерв’ю, нарада, подкаст, лекція чи голосова нотатка. Транскрибатор приймає поширені формати, зокрема MP3, WAV, M4A, MP4 і MOV. З відео він видобуває звукову доріжку та розпізнає мовлення на ній. Написи на слайдах, імена в титрах і текст на екрані потраплять до розшифрування лише тоді, коли їх озвучено. Якщо треба зберегти вже готові субтитри з відеофайлу, скористайтеся інструментом для їх видобування.

Для завантаженого з пристрою файлу діють дві межі: до 512 МіБ і до 30 хвилин. Якщо на YouTube доступний довший ролик і його вдається імпортувати, сервіс розпізнає перші 30 хвилин. Потрібна розмова, яка починається на сорок п’ятій хвилині? Підготуйте окремий уривок із копії, яку маєте право обробляти. У тексті відлік почнеться від нуля, тому занотуйте, де саме вирізали фрагмент. Наприклад, часова мітка 02:10 в уривку, який починається на 45:00, відповідає 47:10 в оригіналі.

Якщо маєте кілька версій запису, спочатку прослухайте ту саму коротку репліку в кожній. Порівняйте, де виразніше чути закінчення слів, тихі відповіді та голос співрозмовника. Доріжка з мікрофона на одязі часто передає голос краще за звук, записаний камерою в іншому кінці кімнати. Водночас вона може майже не містити запитань із зали. Для інтерв’ю вибирайте джерело, у якому розбірливі обидві сторони. Якщо голос спотворений через перевантаження мікрофона, збільшення гучності лише підсилить це спотворення.

Підготувати уривок у медіаконвертері →Видобути готові субтитри →

Як Whisper перетворює мовлення на текст

CS Match готує звукову доріжку й передає її моделі Whisper. У нашому сервісі її запускає faster-whisper на рушії CTranslate2. Після декодування та підготовки аудіо модель отримує представлення звукового сигналу й послідовно добирає фрагменти тексту, які відповідають почутому. Вона враховує сусідні слова, тому зазвичай може відтворити фразу цілісно, розставити розділові знаки й поділити потік мовлення на уривки. Для кожного уривка сервіс зберігає текст, час початку й час завершення. Ці дані використовують програвач, експорт документів і доріжки субтитрів.

У налаштуваннях задайте мову, якою говорять у записі. Це особливо доречно, якщо більшість розмови українською, а заставка чи привітання звучать англійською. Коли мова заздалегідь невідома, скористайтеся автовизначенням. Якщо співрозмовники переходять з однієї мови на іншу, перевірте текст після кожного такого переходу. Завдання Whisper у транскрибаторі — відтворити почуте мовою запису. Переклад готового тексту можна зробити окремо, зберігши оригінал для звіряння цитат і термінів.

Визначення голосової активності допомагає відокремити мовлення від пауз і фонового звуку. Особливо складні для моделі тихі репліки під музику, віддалені голоси, різкі монтажні склейки й відповіді, які звучать одночасно. Граматично правильна фраза теж може містити помилку: модель здатна підставити знайоме прізвище замість рідкісного або почути «п’ятдесят» там, де сказано «п’ятнадцять». Під час вичитування приділіть окрему увагу власним назвам, сумам, датам, одиницям вимірювання та спеціальній лексиці. Написання назви організації зручно звірити з матеріалами зустрічі, а суму — ще раз прослухати разом із фразою перед нею.

Часові межі теж визначаються автоматично. Коли слова вимовляють швидко або без паузи між реченнями, початок уривка може припасти трохи раніше чи пізніше за потрібну фразу. Для пошуку місця в довгій розмові такої точності зазвичай достатньо. Якщо ж ви монтуєте короткий кліп за реплікою, використайте мітку як орієнтир і виставте межі на слух у редакторі. Перевірте, чи залишилися в кліпі перший звук слова й останній склад.

Документація моделі Whisper →Документація faster-whisper →

Швидке, збалансоване й детальне розпізнавання

Режими відрізняються шириною пошуку під час декодування. У швидкому режимі Whisper розглядає один найперспективніший варіант продовження, у збалансованому ширина пошуку становить три, у детальному — п’ять. Що ширший пошук, то більше варіантів тексту модель може порівняти й то довше може тривати обробка. Базова модель у всіх трьох режимах однакова. Щоб зрозуміти, чи дає детальний режим кращий результат саме для вашого матеріалу, порівняйте два короткі розшифрування одного й того самого складного уривка.

Чому відео на YouTube відтворюється, а імпорт не вдається

Звичайне посилання YouTube відкриває сторінку ролика. Медіадані програвач отримує окремо, у власному контексті відтворення. Через YouTube Data API можна дізнатися назву, тривалість і певні відомості про доступність відео. Для розпізнавання мовлення серверу потрібен і сам звук. Тому той самий ролик може відтворюватися у вашому браузері після входу, а запит із сервера отримає іншу відповідь. Приватний доступ, вікові чи регіональні обмеження, видалення ролика або тимчасова помилка імпорту можуть завадити підготувати аудіофайл.

Коли ви вставляєте підтримуване публічне посилання, CS Match надсилає завдання постачальнику імпорту. Він готує MP3 і повертає тимчасову адресу готового файлу. Наш сервер завантажує аудіо, перевіряє його й, за потреби, залишає перші 30 хвилин перед передаванням у Whisper. Для довгого ролика через мережу може пройти більше звуку, ніж потрапить у розшифрування, адже обрізання відбувається після завантаження. На швидкість впливають як підготовка файлу постачальником, так і передавання даних. Після цього починається окремий етап — розпізнавання мовлення.

Якщо сервіс повідомляє про помилку імпорту, перевірте, що посилання веде на один доступний ролик, а не на добірку. Для тимчасового збою має сенс повторити спробу пізніше. Якщо потрібен конкретний матеріал і ви маєте право його обробляти, можна завантажити файл із пристрою. Для власного ролика підійде оригінал або копія, отримана через YouTube Studio, якщо завантаження доступне. Зміна режиму Whisper допоможе порівняти вже розпізнані фрази, тоді як помилка отримання MP3 виникає ще до цього етапу.

Якщо потрібен лише початок довгого публічного ролика, достатньо вставити його звичайне посилання. Для пізнішого уривка підготуйте дозволену локальну копію й обріжте її перед завантаженням. Це також дає змогу відразу перевірити, чи запис містить потрібну доріжку, наприклад коли у відео є дубляж або кілька звукових версій. Під час перевірки субтитрів користуйтеся саме тією версією запису, яку розпізнав сервіс.

Довідка YouTube Data API про метадані відео →Як завантажити власний ролик із YouTube →

Як перевірити репліки, мовців і часові мітки

Для розмови можна ввімкнути визначення мовців, залишити автоматичний режим або вказати від одного до п’яти учасників. Сервіс окремо аналізує голосові ознаки, групує схожі за звучанням ділянки й зіставляє групи з розпізнаним текстом. Позначки «Мовець 1» і «Мовець 2» допомагають читати репліки в межах одного запису. Після зміни мікрофона той самий голос може отримати іншу позначку, а двох людей зі схожими голосами система іноді об’єднує. Якщо ви точно знаєте, що в розмові двоє учасників, ця підказка спрощує групування.

Відкрийте готовий текст зі списку останніх файлів. Програвач розташовано внизу, а під час відтворення підсвічується поточний уривок. Увімкніть «Часові мітки» й натисніть потрібний час, щоб перейти до репліки. Перед публікацією цитати почніть слухати за кілька секунд до позначки й дочекайтеся наступного речення. Так легше зрозуміти, чи людина погодилася з попередньою думкою, повторила чуже твердження або виправила щойно названу цифру.

Під час перевірки наради спершу знайдіть рішення, відповідальних і строки. В інтерв’ю варто звірити не лише слова, а й те, кому належить фраза. Якщо тихої відповіді взагалі немає в розшифруванні, її можна дописати у вивантаженому документі після прослуховування. Для внутрішніх нотаток може вистачити короткого переказу, а для дослівної цитати чи субтитрів важливі і формулювання, і момент, коли їх вимовлено.

Як сервіс розрізняє мовців →

Експорт у PDF, DOCX, TXT, CSV, SRT і VTT

У рядку готового завдання виберіть «Експорт тексту». Також можна спершу відкрити розшифрування, прослухати потрібні місця й лише потім завантажити результат. Якщо в тексті є сегменти з часом, для PDF, DOCX і TXT можна ввімкнути часові мітки. CSV зберігає початок і кінець кожного уривка в окремих стовпцях. У SRT і VTT пара значень визначає, коли рядок субтитрів з’явиться та зникне з екрана. Позначки мовців доступні там, де сервіс зміг згрупувати репліки. TXT без часових міток дає суцільний текст.

Якщо текст ще редагуватимуть, зручніше передати DOCX: у ньому можна виправити прізвища, додати заголовки й залишити коментарі. PDF підходить для читання та поширення узгодженого документа. CSV стане в пригоді, якщо треба відфільтрувати репліки, розмітити теми або дати монтажеру початок і кінець обраного фрагмента. Для субтитрів перевірте, який формат приймає ваш редактор або програвач, а потім відкрийте файл разом із тією версією відео, яку побачить глядач.

Після імпорту CSV в електронну таблицю зручно додати власні стовпці для теми, перевіреного написання імені чи статусу вичитування. Якщо таблиця перетворює часові мітки на дати або прибирає частки секунди, задайте для цих стовпців текстовий формат під час імпорту. Для відео з кількома мовними версіями зберігайте окрему доріжку субтитрів для кожної версії. Назва файлу з мовою та номером монтажу допоможе редактору під’єднати потрібну доріжку.

У субтитрах інколи доводиться ділити одну довгу репліку на два коротші рядки. Робіть це в місці природної паузи або між смисловими частинами речення. Після редагування відтворіть кілька переходів поспіль, щоб перевірити, чи текст не перекриває наступну репліку й чи глядач встигає прочитати кожен рядок.

Інструменти для субтитрів →Специфікація WebVTT →

Чотири способи використати готовий текст

Інтерв’ю для публікації. Почніть зі збалансованого режиму. Якщо на записі журналіст і один гість, укажіть двох мовців. Прослухайте місця, де вони перебивають одне одного, а потім передайте редакторові DOCX із часовими мітками. Так він зможе перевірити формулювання цитати та почути контекст без пошуку по всьому запису.

Навчальне відео. Завантажте SRT або VTT й відкрийте його в редакторі чи програвачі, де плануєте опублікувати матеріал. Зіставте звук із субтитрами на початку, посередині та в кінці. Скоротіть рядки, що зникають надто швидко, і вручну додайте важливі звукові позначки, якщо вони потрібні глядачам. Після монтажу ще раз перевірте синхронізацію.

Протокол наради. Скористайтеся CSV, якщо хочете розподілити фрагменти за темами або позначити час ухвалення рішень. TXT вистачить для нотаток із пошуком за словами. Перш ніж розсилати протокол, прослухайте уривки, де учасники погоджують завдання, виконавця та кінцеву дату. У швидкій розмові ці деталі легко переплутати.

Довгий подкаст. Поділіть файл, який маєте право обробляти, у природних місцях: після відповіді гостя або на межі розділу. Для всіх частин використовуйте ті самі налаштування мови й режиму. Запишіть, де кожна частина починається в оригіналі, щоб потім відновити загальний відлік. Під час зведення тексту перевірте підписи мовців у кожній частині: «Мовець 1» у сусідніх завданнях може позначати різних людей.