Bir yil oʻtib Topaz Video Enhance AI (hozirgi Topaz Video AI) haqida bilib qoldim va Full HDʼga qadar apskeyl qilib koʻrishga qaror qildim. Natija yomon chiqdi. Plyonka artefaktlari va videokodeklar yoʻqolmadi, tasvir bu janrdagi animatsiya uchun oʻrinsiz shaklda juda keskin ravshanlashdi. Shu tarzda bir-ikki oy ovora boʻlib, bu ishni tashlab qoʻydim. Ammo keyin oʻzimni qoʻlga olib, ikkinchi urinishni boshladim.

Mundarija:

• Yaxshi manbalar 

• Rus tilidagi yagona audioqatorni tuzish

• Videoning tasvir sigʻimini oshirish

• Kadrlar interpolyatsiyasi

• Natijalarni qayta ishlash, .mkv konteynerga joylash

1. Yaxshi manbalar

Keyingi olti oy davomida mavzuga oid maʼlumotlarni toʻpladim. Maʼlum boʻlishicha, plyonka remasteringi mavjud boʻlib, bu jarayon mobaynida u tirnalishlarni bartaraf etadigan maxsus eritma bilan qoplanadi va chuqur skanerlash amalga oshiriladi. Keyin esa kompyuterda oʻnlab amallar bajariladi va hokazo. Bu haqida alohida maqola bor.
Bunga misol:

Restavratsiyadan keyin va oldin

Uzoq vaqt davom etgan qidiruvdan soʻng hozirgi paytda hammaga ayon sabablarga (qaroqchilik) koʻra bloklangan internet archive resursida aksariyati remastering qilingan seriyalar arxivini topishga muvaffaq boʻldim. Biroq unda baribir “yaxshi sifatdagi”, yaʼni HBO Max tomonidan yaxshilangan koʻplab seriyalar yetishmasdi. Bu 5 yillar oldin boʻlayotgandi va talab yuqori emasdi. Shuning uchun ularni ham aylanma yoʻllar bilan izlashga toʻgʻri keldi. Ammo seriyalarning ~15 foizi plyonkani oddiy skanerlash va ranglarni korreksiyalash darajasida qolib ketgan, yaʼni shunchaki tirnalishlar juda koʻp edi.

2. Rus tilidagi yagona audioqatorni tuzish

Bu bosqichga juda koʻp vaqt ketdi. Maʼlumki, “Tom va Jerri” 90-yillarda juda mashhur boʻlgan, hatto hozir ham koʻplab tarjimalar yozilgan, ammo yaxshi sifatdagisi va universali yoʻq. Bitta diktor oʻsha devorda yozilgan narsalarni tarjima qilishi mumkin, qolgan 10 tasi esa tarjima qila olmaydi. 4 ta diktor professional ovozga ega boʻlishi mumkin, boshqalari esa yoʻq va hokazo. Hatto dublyaj ham mavjud. Biz bu audioqatorlarning barchasini tegishli ravishda bitta qilib, ulab chiqishimiz kerak. Ammo bu muammodan tashqari yana boshqasi ham bor. Asosan videokassetalarga yozib olingani (baʼzi seriyalar televideniyedagi namoyishdan yozib olingan) uchun bu audioqatorlarning barchasi juda sifatsiz edi. Bu esa ularni bir-biri va plyonkadan yaxshi sifatda olingan asl audio bilan solishtirish qiyin boʻlishini anglatardi.

Yuqorida plyonkalardan, pastda esa videokassetalardan olingan audioqatorlar namunasi

Dastlab audioqatorlarning tarjimasini topish kerak edi, darhol omadim keldi va nomi Ru bilan boshlanadigan hammaga tanish veb-saytda har bir seriya uchun taxminan 12 ta, baʼzilari esa 20 ta audioqatorni oʻz ichiga olgan paketni topdim.

Klassik “Tom va Jerri”ning jami xronometraji 19 soat boʻlib, bu kabi ishlar uchun juda koʻp. Shuning uchun hatto yomon tarjimaga ega barcha audioqatorlarni olib tashlagandan keyin ham taxminan 2 oy vaqt sarflandi.

Bu turdagi ish uchun eng mos deb hisoblaganim uchun Audacityʼdan foydalandim, chunki u asosiy vositalarga tezda ulanish imkonini beradi va oʻrganish oson. Unda tezlikni asl nusxaga nisbatan sozlash va audioqatorlarni bir-biriga ulash oson, ovozni kuchaytirish, ish tugagandan keyin ham audioqatorlarni tahrirlash mumkin va hokazo...

Shundan soʻng videoyozuv, masalan, videokassetadan ovozni chiqarib olish va uni asl filmdan olingan yaxshi audioqator ustiga joylashtirish imkonini bergan Ultimate Vocal Remover dasturini topdim. Barcha audioqatorlarni yaxshilash uchun 2 hafta vaqtim ketdi. Seriyalardagi intro va autro audio sifati sezilarli darajada oshdi. Natijada barcha loyihalar hajmi jami ~150 Gb ni tashkil etdi.

Endi batafsilroq. Bitta audioqatorni boshqasiga moslashtirishdan boshlaymiz. Buning uchun quyidagilar kerak:

1. Ikkala audioqatorning ham oxiri va boshidagi ovozsiz joylarini belgilash hamda olib tashlash.

2. Boshqasiga moslashtirilayotgan audioqatorni toʻliq tanlab, soʻngra yuqoridagi “Effektlar” yorligʻiga oʻtish, soʻngra tushib kelgan menyuda kursorni “Ovoz balandligi/Temp” ustiga olib borib, undagi “Tezlikni oʻzgartirish” tugmasini bosish kerak.

Bu oynada bizga faqat bitta parametr — Oʻzgarish foizi kerak. Musbat raqam —audioqatorni siqadi, manfiy esa — choʻzadi. Dastlab tavakkaliga biror kichik raqam kiritamiz va “Qoʻllash”ni bosamiz. Qancha yetmaganiga qaraymiz va Ctrl+Z tugmalarini bosib, bu audioqatorni iloji boricha moslashtirishga harakat qilish maqsadida qiymatni kerakli yoʻnalishda oʻzgartirib, jarayonni takrorlaymiz. Shunday qilib, siz buni bajardingiz. Endi Ctrl tugmasini bosib ushlab turgan holda gʻildirakchani oldinga aylantirib, audioqatorni juda yaqinlashtiring va bironta yolgʻiz chayqalishni toping, uni ikkala qatordagi chayqalishlar bir-birining ustiga tushadigan tarzda harakatlantirib, audioqatorni moslashtiring. Hammasi bir-biriga mos kelsa va audioqator boshqa joylarda yuz millisekunddan ortiq kechikmasa, barcha oʻzgarishlarni bekor qiling va moslashtirilayotgan audioqatordan hech narsani olib tashlamasdan tezlikni oʻzgartirishni qoʻllang. Uni yana vaqtga koʻra moslashtiring. Soʻngra moslashtirilayotgan audioqatorning oʻng tomonidagi chiqib turgan qismini olib tashlang. Shundan soʻng ikkinchi bosqichga oʻtish mumkin.

Endi audioqatorni kerakli tilda tinglash vaqti keldi, kerakli tildagi har bir replikani belgilab olib, soʻngra End tugmasini bosing va bu bilan audioqatorning replika joylashgan joyini ajratib oling. Keyin esa audioqatorning chap tomonida ajralib chiqqan qismini, masalan, Ctrl+X tugmalar birikmasini bosgan holda olib tashlash kerak. Shundan soʻng audioqatorning replika bor qismini bosib, sichqonchaning oʻng tugmasi bilan bu replikalarni joylashtirishni rejalashtirgan asl audioqator ustiga bosing, ochilgan menyuda “Klipni ajratish”ni bosing, keyin esa uni ilgari taklif qilingan tugmalar birikmasi (Ctrl+X ) bilan oʻchirib tashlang. Shu tarzda bu siklni audioqator tugaguncha bajaring. Shubhasiz, oxirida, replikadan oʻng tomonda qolgan qismni olib tashlash kerak. Navbatda uchinchi bosqich.

Ctrl+S tugmalar kombinatsiyasini bosib, loyihani saqlaymiz. Soʻngra keyinchalik kerakli tildagi replikalarni joylashtiradigan audioqatorimizning chap tomonidagi “past” tugmachasini bosamiz va Shift+Ctrl+E tugmalar kombinatsiyasi bilan audiomaʼlumotlarni eksport qilamiz, formatni tanlaymiz. Men odatda mp3ʼga eksport qilardim, lekin wavʼdan foydalanish maʼqulroqdir. Hamma narsaga rozi boʻlamiz va saqlaymiz. Toʻrtinchi bosqichga oʻtamiz.

Buning uchun bizga Ultimate Vocal Remover utilitasi kerak boʻladi, unda biz neyron tarmoqlardan foydalangan holda audioqatordan ham vokalni, ham musiqani olib tashlab, faqat vokalni qoldiramiz. Uni Githubʼdan yuklab olamiz, oʻrnatamiz va ochamiz. Keyin Select Inputʼni bosing va keyinchalik replikani joylashtirish mumkin boʻlgan asl audioqatorni oʻz ichiga olgan audiofaylni tanlang. Select output tugmachasini bosib, eksport qilish uchun papkani tanlaymiz, soʻngra barcha sozlamalarni ekranda koʻrsatilgandek oʻrnatamiz va Start processing tugmasini bosamiz.

Jarayon tugashini kutamiz, keyin esa uchinchi bosqichda saqlangan replika (vokal) fayli bilan ham xuddi shu amallarni bajaramiz. Ammo endi quyidagi sozlamalar bilan.

Oltinchi bosqichga oʻtamiz.

Audacityʼga qaytamiz, ozroq ish — audioqator ustiga replikalarni joylashtirish qoldi. Buning uchun kerakli fayllarni (hosil boʻlgan replikalarga ega toza audioqator, asl audioqator va uning vokalsiz shaklini) yana Audacityʼga tashlaymiz.

Xatolik yuz berganda (replika ortiqcha yoki kamroq kesilganda) tuzatish imkoniyati boʻlishi uchun audioqatorni qaytadan Ultimate Vocal Remover orqali oʻtkazamiz. Albatta, buni oxirgi loyihada qilmaslik kerak.

Endi replikalar bor audioqatordagi chayqalishlar mavjud joylarni kesib tashlaymiz, keyin esa ovoz yetarlicha baland boʻlmasa, ularni kuchaytiramiz. Kuchaytirish uchun yuqoridagi “Effektlar” yorligʻiga oʻtib, soʻngra “Ovoz balandligi va kompressiya" -> “Kuchaytirish” orqali amalga oshirish mumkin. Xoʻsh, vokalsiz asl audioqator bizga nega kerak? Diktor nafaqat ekranda yozilgan narsalarni, balki kimningdir ovozini ham tarjima qilayotganda, ovoz asl audioqator va bizga kerak boʻlgan boshqa tildagi replikalar joylashgan audioqatordan ham kelgani uchun u bir vaqtning oʻzida ikki marta eshitiladi. Buni bartaraf etish uchun asl audioqatorda replikalar oʻzaro chatishgan joylarni kesib tashlash kerak. Keyin esa ular vokalsiz asl nusxadan ham kesib tashlanishi lozim.

Tabriklayman! Azob-uqubatlaringiz tugadi. Shuningdek, agar bunday ishlarni bir-ikkitadan ortiq seriyalar bilan amalga oshirmoqchi boʻlsangiz, u holda toʻrtinchi bosqichga boshqa seriyalarda dastlabki 3 bosqichni tugatgandan keyin oʻtishingiz mumkinligini qoʻshimcha qilib oʻtishim kerak. Shunda ishingiz hamisha bir xil va zerikarli boʻlmaydi.

3. Videoning tasvir sigʻimini oshirish

Asosiy narsa — Topaz Video AIʼdan boshlaymiz. Bu dastur kompyuter grafikasidan tortib haqiqiy hayotgacha boʻlgan har xil turdagi kirish videolari uchun juda koʻp neyron tarmoqlarni oʻz ichiga oladi. Shuningdek, ularning deyarli har biri juda past sifatdan tortib yuqori darajagacha boʻlgan manba ma’lumotlarining bir nechta oʻrganish darajasiga ega. Men 300 foiz yaxshilashni (1440p, manba 480p edi) amalga oshirdim.

Men taqqoslanganda oʻzini eng yaxshi variant sifatida koʻrsatgan Iris modelini tanladim. Topaz Video AIʼda aynan animatsiya uchun maxsus yaratilgan model yoʻq, lekin qoʻrqmasdan ayta olamanki, Irisʼda videoning barcha artefaktlaridan xalos boʻlgan holda aniq tafsilotlarni yaratsa boʻladi. Bundan tashqari, boshqa neyron tarmoqlarning aksariyati animatsiyaga toʻgʻri kelmaydigan tarzda qat-qat tortga oʻxshash joylar hosil qiladigan joylarda chiziqlarni tekislab chizish ham mumkin.

Neyron tarmoq turli xil sifat darajasidagi manbalar holatini qanday tarzda yaxshilashini koʻrsatadigan misollar:

1, 2, 3 uchun bir nechta toʻgʻridan toʻgʻri taqqoslashlar:

2 baravar kattalashtirilgan holati

Savol tugʻiladi, nega mendan oldin 20 nafar kishi buni qilmagan? Hammasi oddiy. Barcha seriyalarni qayta ishlash uchun kompyuterda yana biror ish qilishingiz kerak boʻlgan paytda videokartaning ishdan boʻshagan vaqtini hisobga olmaganda ham uning toʻliq ishlashiga 85—130 soat vaqt ketadi. Ha, bunday ishga bitta misol bor, lekin unda men tavsiflab bergan barcha 3 bosqichdan faqat bittasi, u ham boʻlsa eski neyron tarmoq modelida va 163 seriyadan atigi 36 tasi qayta ishlangan.
Topaz Video AI masshtablashtira olmaydi. Bitta seriyani qayta ishlash mening RX 6600 qurilmamda ~40 daqiqa, RTX 4080 qurilmasida esa ~25 daqiqa vaqt oladi. Farq esa odatda neyron tarmoqlar juda yoqtiradigan Nvidia CUDA yadrolarini hisobga olmaganda ham kamida uch barobar boʻlishi kerak.

P.S. 
Nega 4k emas, 2k? Yoʻq, bu qayta ishlash uchun koʻproq vaqt talab qilmaydi, hatto diqqat bilan koʻrib chiqilganda ham tasvir sifati deyarli farq qilmaydi, aslida muammo bunday tasvir sigʻimi uchun manba maʼlumotlarning yetishmasligidadir. Boʻtqa yanada quyuqlashadi, burchak va videopleyerning oʻzi esa biroz aniqroq boʻladi.

4. Kadrlar interpolyatsiyasi

Nega remasterimda FPSʼni oshirishdan foydalanmadim? Qisqacha aytganda, javob quyidagicha:

Chapda — apskeyl, oʻngda — apskeyl + kadrlar interpolyatsiyasi

Bu men topolgan eng qobiliyatli neyron tarmoq, chunki Topaz Video AIʼdan tashqari boshqalarni ham qidirgandim. Ammo Chronas (Topaz Video AIʼning sunʼiy intellekt modeli) bu masalada yetakchi ekani maʼlum boʻldi.
Bundan tashqari, kadrlar interpolyatsiyasi juda katta resursni ishlatadi. Qayta ishlash vaqtidagi farq hattoki 3 baravar. Shuning uchun mening holimda kadrlar interpolyatsiyasi befoyda va uzoq vaqt talab etadi.

5. Natijalarni qayta ishlash, .mkv konteynerga joylash

Qiziqarli narsa — ranglarni yaxshilashdan boshlayman. Bunda hammasi oddiy, Adobe Premiere Proʼni yuklab olamiz, zarurat boʻlsa tasvir xira yoki juda ham yorqin tuyulgan seriyalar videosini, masalan, OBS Studio yordamida .mp4ʼga qayta joylashtiramiz. Keyin yangi loyiha yaratamiz, kerakli seriyani yuklaymiz (oldindan aytaman, men ranglarni yaxshilash borasida umuman nolman, shuning uchun bu ishning mohir ustalari qoʻllanmasiga asoslandim, ayniqsa, mana shuning foydasi tegdi) va Lumetri Colorʼdagi koʻplab parametrlarni sozlash orqali ranglarni didimizga koʻra oʻzgartirishni boshlaymiz. Soʻngra HEVC kodekida eksport qilamiz va videoning qayta ishlanishi tugashini kutamiz.

Mana shunday ish namunasi.

Ranglar korreksiyasidan keyin va oldin

Natijada sozlamalarim bilan (HEVC, bitreyt 24 Mbit/s), barcha apskeyl qilingan seriyalar ~190 Gb ni tashkil etdi va bu juda koʻp. 7 daqiqa davom etadigan va tasvir sigʻimi 1440p boʻlgan bitta seriyaning hajmi 1,5 Gb boʻlishi mumkin edi. Bunday ish yaramaydi. Asosan Linuxʼda oʻtirganim uchun videoni konvertatsiya qiluvchi HandBrake dasturini olishga qaror qildim.

“Tasvir oʻlchami” nomli qoʻshimcha sahifada Display sizeʼdan tashqari hammasi oʻchirilgan boʻlishi kerak, Resolution limitʼda esa 8K Ultra HDʼni tanlaymiz.

“Video” qoʻshimcha sahifasida men uchun eng maqbul preset (1440p 24 fps) video kodlovchi — H. 265, doimiy sifat — RF: 12, oʻzgaruvchan kadr chastotasi, oldindan oʻrnatilgan ultrafast, animatsiya sozlamalari boʻldi.

Turli xil multfilmlarning detalizatsiya darajasi har xil boʻlgani va bu parametr video sifatiga taʼsir qilgani uchun doimiy sifat darajasini oʻzingiz tanlashingiz kerak. Chunki u UltraHD video uchun juda past, Full HD uchun esa juda yuqori yoki aksincha boʻlishi mumkin. Shuningdek, doimiy bitreytni oʻzingiz belgilashingiz mumkin, ammo menga RF maʼqul tushdi, chunki seriyalar tasvir sigʻimi jihatidan bir-biridan keskin farq qiladi va har safar bitreytni sozlashdan koʻra hamma joyda bir xil darajada yaxshi ishlaydigan RFʼdan foydalangan maʼqul.

Bitreytni siqishga misollar:

Endi hosil boʻlgan fayllarni .mkv konteynerlarga joylash haqida. Agar qilgan ishingizni tarmoqdagi biron-bir joyga joylashtirishni istasangiz, bu juda muhim bosqich. Chunki .mkvʼda bir vaqtning oʻzida bir nechta audioqatorlardan foydalanish, masalan, men kabi inglizcha va ruscha ovozli konteyner qilish mumkin. Buning uchun bizga MKVToolNix utilitasi kerak boʻladi, unga hosil boʻlgan fayllarni (ruscha ovoz va inglizcha ovozli video) tashlaymiz, audioqatorlar tilini oʻrnatamiz.

“Joylash”ni bosamiz.

Natijada barcha seriyalar sifat juda kam yoʻqotilgan holda jami ~190 Gb hajmdan ~60 Gb gacha siqildi. Videoni Topaz Video AIʼdan chiqarishda uning bitreyt sozlanmalarini oʻzgartirish orqali HandBrake ishtirok etgan bosqichni chetlab oʻtish mumkin edi, ammo yuqori tasvir sigʻimi tufayli bu xato menga ranglarni yaxshilashda yuqori aniqlikka erishishga yordam berdi. Yoʻq, ikkala variantda ham tasvir oʻlchami bir xil (1920x1440), ammo 5 Mbit/s bitreytda u tasvirni siqishga bevosita taʼsir qiladi, tasvirda 10 Mbit/s bitreytga qaraganda kamroq ishlov beriladigan maʼlumotlar boʻladi.

Manba: Как я сделал ремастер всех серий Том и Джерри в 2к всего за пару месяцев