• Техника
  • Улучшение изображения с помощью нейросетей [AI-UPSCALE]
2020/06/08 22:29:20
alexeiden
Решил навести порядок в теме. Первый пост теперь для важной информации, а оригинальный первый пост перенёс во второй. 
 
Итак, это тема про современные технологии и как с помощью них можно существенно улучшить качество изображения. 
 
Мой мануал: http://forum.totaldvd.ru/FindPost/1323473
Мануал от o0O#Моя подготовка DVD или видео файлов к Tᴏᴘᴀᴢ Vɪᴅᴇᴏ Eɴʜᴀɴᴄᴇ AI
Видео по работе с шумодавом: https://www.youtube.com/watch?v=OLoSmo14wHs&feature=youtu.be
 
 
Что уже сделано: 
 
alexeiden:
1) Остров сокровищ (1988). Алгоритм Gaia-CG. Результат: отлично 
2) 12 стульев (1971). Алгоритм Gaia-CG. Результат: очень хорошо 
3) Баллада о доблестном рыцаре Айвенго. Алгоритм Gaia-CG. Результат: плохо. Исходник в леттербоксе, да и не особо реставрирован. Получилось местами неплохо, а местами - картина безумного художника. 
4) 12 стульев (1976). Алгоритм Gaia-CG. Результат: хорошо 
5) Не упускай из виду / La Course a l'echalote (1975). Алгоритм Theia-Fidelity. Результат: средне. Мылит. 
6) Вечера на хуторе близ Диканьки (1961). Алгоритм Gaia-CG. Результат: отлично. Намного лучше вышедшего Blu-Ray. 
7) Шерлок Холмс и доктор Ватсон: [Знакомство] [Кровавая надпись] (1979). Алгоритм Gaia-CG. Результат: очень хорошо 
8) Возвращение блудного попугая. Алгоритм Gaia-CG. Результат: отлично.
9) Тихая прохлада / Quiet Cool (1986)
10) Беги / Run (1991). Алгоритм Gaia-CG. Результат: хорошо 
11) Похождения Дон Жуана /  Adventures of Don Juan (1948). Алгоритм Gaia-CG. Результат: очень хорошо 
12) Ну погоди! Алгоритм Gaia-CG. Результат: очень хорош
13) Приключения Шерлока Холмса и доктора Ватсона: [Король шантажа] [Смертельная схватка] [Охота на тигра] Алгоритм Gaia-CG. Результат: хорошо, плохо, хорошо
14) Приключения Шерлока Холмса и доктора Ватсона: Сокровища Агры. Алгоритм Gaia-CG. Результат: хорошо
15) Спортлото-82 (1982). Алгоритм Gaia-CG. Результат: хорошо, учитывая источник (вебка на полтора гигабайта)
16) Заклятие долины змей / Klatwa doliny wezy (1987). Алгоритм Gaia-CG. Результат: средне. Исходник в леттербоксе, да и не особо реставрирован.
17) Приключения Шерлока Холмса и доктора Ватсона: Двадцатые век начинается. Алгоритм Gaia-CG. Результат: хорошо
18) Приключения капитана Врунгеля (совместно с Sergey81)
 
 
 
 Mutagen777:
1) Тайна третьей планеты
2) Трое из Простоквашино
3) Мультфильмы Роберта Саакянца: [Масленица], [В синем море], [Ух ты, говорящая рыба!]
 
zOmbi88:
1) The Dragon Prince (Принц-дракон). Все три сезона в 4к битрейт ~13-15 mbit модель Gaia-CG в один проход 4к. 
2) Властелин колец: Братство кольца (Расширенное издание). 1080>2k>8k>4k Gaia-CG
 
aib0lit
 
1) Гостья из будущего
 
ebe1961:

1) Гибель Империи
 
 
В работе:
 
alexeiden:
1) Турецкий Гамбит
 
 
 Mutagen777:
1) Семнадцать мгновений весны
 
 
 
В планах:
 
1) Малыш и Карлсон
2) Винни Пух и все-все-все
 
 
 
 
 
Где всё это взять? Ну, я пока выкладывал на "Птице". Там ищется по словосочетанию [AI-UPSCALE]
Так же начал выкладывать на рутрекер, где нам разрешили размещать наши работы в разделе "Разное/видео". Так что начал потихоньку выкладывать туда. К чему и всех призываю. Также помечая термином [AI-UPSCALE] в названии.
 
2020/06/09 10:09:06
alexeiden
Решил здесь тоже тему создать. Может кому интересно, а может кто и помочь захочет. Диски загибаются, и надежда получить некоторые фильмы в хорошем качестве похоже только на нас самих. Благо прогресс не стоит на месте.
Наткнулся тут на такую статью: http://lentach.media/articles/polzovatel-s-pomoshchiu-neirosetei-otrestavriroval-drevnie-videomemy
А до этого мне попадался вот такой материал: https://tjournal.ru/tv/140870-pribytie-poezda-uluchshili-s-pomoshchyu-neyrosetey-film-1896-goda-teper-mozhno-posmotret-v-4k-i-60-kadrah-v-sekundu
Если по ссылкам ходить неохота: там примеры роликов с помощью нейросетей переведённых в 8К 60fps (в первом случае, ролики - старые мемы), и в 4K 60fps (во втором). И хотя я не особо одобряю материал, который выбрали для примеров, но прирост в качестве конечно поразительный. Я конечно не собираюсь призывать срочно так апгрейдить все голливудские фильмы, но хочу напомнить, что у нас есть уже приличное количество советской классики, ремастеринг которой был осуществлён, но на Blu-ray эти фильмы так и не выпустили. Зато Мосфильм их выложил в свободном доступе на Youtube, однако смотреть их в таком качестве на хорошем телевизоре не возможно. Пример - "12 стульев" Гайдая. Объем почти трёхчасового фильма чуть больше 3-х гигабайт. На птице даже сделали Blu-Ray с раздутым битрейтом, но (сюрприз!) смотрибельнее от этого не стало. А вот с такой вот обработкой, как на этих мемах, всё могло бы смотреться значительно лучше.
Автор роликов не раскрывает своих секретов, но покапавшись в комментариях нашёл ссылку на такую статью на хабре: https://m.habr.com/ru/post/446032/. Но вот материал для меня слишком сложный.
Пытаюсь на известном в узких кругах трекере уговорить на такой проект профессионалов. Пока пытался, сам потихоньку начал разбираться.
Оказывается такая обработка делалась минимум двумя программами. Одной с помощью нейронных сетей обрабатывали кадры (это программа от Топаза https://topazlabs.com/gigapixel-ai/), а второй уже разгоняли до 60FPS (в принципе не обязательная процедура).
Топаз выпустил и однокнопочный вариант именно для видео: https://topazlabs.com/video-enhance-ai/ Там бесплатная пробная версия полностью функциональная. Так что начал экспериментировать. В процессе выяснилось:
а) программа несомненно работает, прирост качества есть
б) один я это точно не потяну, обработка целого фильма с моей видеокартой (1060 GTX) займёт 19 дней. Я не могу столько времени не выключать компьютер. "Паузы" пока нет. 
Программа предлагает четыре алгоритма обработки на выбор, я оставновился на втором (вторая гайя). Итак, я обработал фрагмент второй гайей до 8К, а потом с помощью DVDFab перевёл в UHD. 

Вот, выложил фрагмент на полторы минуты, весом в 500 мегов: https://yadi.sk/d/kVLvvU9_Atk13Q

Скриншот загружайте полную версию, превью врёт, качество лучше.
И это то, что получилось у меня, с моими великими познаниями в редактировании видео. А если к проекту подключатся всё же люди более опытные, то думаю мы сможем получить ещё более достойный результат. 
Картинку спасти можно, это видно уже по этому фрагменту. Топаз действительно работает. А если разложить покадрово, то видимо будет ещё круче. Сделать в 8к, а потом перевести в 4К для записи на болванку. Может кто даже заморочится и сделает красиво, с меню?
Теперь вторая проблема: дёргающаяся камера. Во всяком случае во фрагменте, который я использовал для теста. Это не от топаза, так в оригинале. Думал, что это от криворукости реставраторов, когда они зачем-то в 16:9 исходный кадр 4:3 обрезали. Но нет. Скачал DVD, там также. Ну может чуть меньше. Можно с этим что-то сделать? Как вариант, может действительно попробуем сделать версию с 60fps?  
И кстати, существуют же различные "шумодавы"... Может если сначала ими пройтись, то результат будет ещё круче? Правда есть риск, что на мультфильм будет похоже...
 

Вот кстати скрин, по которому хорошо видно как нейросеть работает. Это не просто апскейл. Тут сеть именно дорисовывает. Как в программах для айфона типа Vinchi, где фотографии под картины разных художников фильтрами переделать можно.
 
Так что если удастся собрать группу энтузиастов, можно будет получить "12 стульев" в приемлемом для просмотра качестве. )
 
Интересно мнение профессионалов.
 
Ещё скрин с примером:

2020/06/17 23:06:54
alexeiden

Тихой сапкой, по главе в день, но делаю. Жаль, что время много потерял пока разбирался и помощь просил: так бы в пробный период программы уложился. Надеюсь если другую почту указать заново поставится. Сегодня сконвертил несколько глав в 4К с помощью DVDFab и записал на болванку, посмотреть как это на телевизоре смотрится (LG OLED 65E6V). А смотрится фантастически. Разница с оригинальной вебкой - небо и земля. Вебку не мог смотреть, а это смотрится вполне. Да, не идеально может быть. Но смотрится! Так что продолжу. Так даже один может за месяц с небольшим и сделаю. Только я до сих пор не понимаю как правильно соединить потом и сконвертить в 4К для записи на болванки. Dvdfab выдаёт какой-то странный размер кадра (3824х2176), да и пауза между главами, так как в один файл не соединял.

Так что вот так вот, с помощью современных технологий, даже с моими скудными познаниями я смогу получить любимый фильм в приемлемом для просмотра качестве.
 
 
2020/06/19 08:26:32
hdmaniac
Да, Лёш, прирост качества заметен...
2020/06/19 10:25:16
alexeiden
hdmaniac
Да, Лёш, прирост качества заметен...


Не хочешь присоединиться к проекту? Мне помощь и наставления от профессионала не помешают... 
2020/06/29 12:01:56
alexeiden
Работа постепенно идёт. К концу недели надеюсь закончить первую серию. Вот ещё пара примеров:


2020/07/09 22:03:43
alexeiden
Продолжаю эксперимент. Первая серия готова. Правда есть трудности в связи с недостатком моей квалификации: не знаю как правильно конечный вариант сделать.
1-й вариант я сделал просто с помощью Dvdfab 11, он закодировался в HEVC, всё вроде хорошо, кроме размера кадра: 3824х2176. И как исправить не знаю. Но, диск проигрывается, ошибок не вылезает, искажений не видно.
Сделал 2-й вариант. С помощью winx перекодировал в 4K mp4 (почему-то только такой вариант кодировки в 4К там), потом с помощью mkvtoolnix перевёл в mkv, заодно заменил дорожки аудио, взял их с оригинального файла. И с помощью tsmuxer в BDMV. Тоже вроде всё играет.
Если кто-то может подсказать, как сделать более правильно, буду чрезвычайно признателен.
 
Есть ещё вариант сделать необрезанную версию - из ДВД. Местами даже лучше смотрится. Её можно сделать в fullHD. Это намного быстрее.



2020/07/09 23:31:45
alexeiden
ААААААААА! Ну просто АААААААА! Попробовал Gaia-CG с рисованным мультфильмом. Это нечто!!!
Смотрите целиком загружая картинку:


Это магия!

 
2020/07/10 00:24:44
DON-ROMARIO
alexeiden
Смотрите целиком загружая картинку:

Ничего себе! Кадры с Ливси и картой впечатляют.
2020/07/10 00:36:53
alexeiden

 
Да и игровыми моментами прекрасно справляется. Программа просто создана для этого мультфильма!

© 2022 APG vNext Commercial Version 5.5

Use My Existing Forum Account

Use My Social Media Account