Решил здесь тоже тему создать. Может кому интересно, а может кто и помочь захочет. Диски загибаются, и надежда получить некоторые фильмы в хорошем качестве похоже только на нас самих. Благо прогресс не стоит на месте.
Наткнулся тут на такую статью:
http://lentach.media/articles/polzovatel-s-pomoshchiu-neirosetei-otrestavriroval-drevnie-videomemyА до этого мне попадался вот такой материал:
https://tjournal.ru/tv/140870-pribytie-poezda-uluchshili-s-pomoshchyu-neyrosetey-film-1896-goda-teper-mozhno-posmotret-v-4k-i-60-kadrah-v-sekunduЕсли по ссылкам ходить неохота: там примеры роликов с помощью нейросетей переведённых в 8К 60fps (в первом случае, ролики - старые мемы), и в 4K 60fps (во втором). И хотя я не особо одобряю материал, который выбрали для примеров, но прирост в качестве конечно поразительный. Я конечно не собираюсь призывать срочно так апгрейдить все голливудские фильмы, но хочу напомнить, что у нас есть уже приличное количество советской классики, ремастеринг которой был осуществлён, но на Blu-ray эти фильмы так и не выпустили. Зато Мосфильм их выложил в свободном доступе на Youtube, однако смотреть их в таком качестве на хорошем телевизоре не возможно. Пример - "12 стульев" Гайдая. Объем почти трёхчасового фильма чуть больше 3-х гигабайт. На птице даже сделали Blu-Ray с раздутым битрейтом, но (сюрприз!) смотрибельнее от этого не стало. А вот с такой вот обработкой, как на этих мемах, всё могло бы смотреться значительно лучше.
Автор роликов не раскрывает своих секретов, но покапавшись в комментариях нашёл ссылку на такую статью на хабре:
https://m.habr.com/ru/post/446032/. Но вот материал для меня слишком сложный.
Пытаюсь на известном в узких кругах трекере уговорить на такой проект профессионалов. Пока пытался, сам потихоньку начал разбираться.
Оказывается такая обработка делалась минимум двумя программами. Одной с помощью нейронных сетей обрабатывали кадры (это программа от Топаза
https://topazlabs.com/gigapixel-ai/), а второй уже разгоняли до 60FPS (в принципе не обязательная процедура).
Топаз выпустил и однокнопочный вариант именно для видео:
https://topazlabs.com/video-enhance-ai/ Там бесплатная пробная версия полностью функциональная. Так что начал экспериментировать. В процессе выяснилось:
а) программа несомненно работает, прирост качества есть
б) один я это точно не потяну, обработка целого фильма с моей видеокартой (1060 GTX) займёт 19 дней. Я не могу столько времени не выключать компьютер. "Паузы" пока нет.
Программа предлагает четыре алгоритма обработки на выбор, я оставновился на втором (вторая гайя). Итак, я обработал фрагмент второй гайей до 8К, а потом с помощью DVDFab перевёл в UHD.
Вот, выложил фрагмент на полторы минуты, весом в 500 мегов:
https://yadi.sk/d/kVLvvU9_Atk13Q![](https://i.ibb.co/HV1GRcS/2020-06-08-4.png)
Скриншот загружайте полную версию, превью врёт, качество лучше.
И это то, что получилось у меня, с моими великими познаниями в редактировании видео. А если к проекту подключатся всё же люди более опытные, то думаю мы сможем получить ещё более достойный результат.
Картинку спасти можно, это видно уже по этому фрагменту. Топаз действительно работает. А если разложить покадрово, то видимо будет ещё круче. Сделать в 8к, а потом перевести в 4К для записи на болванку. Может кто даже заморочится и сделает красиво, с меню?
Теперь вторая проблема: дёргающаяся камера. Во всяком случае во фрагменте, который я использовал для теста. Это не от топаза, так в оригинале. Думал, что это от криворукости реставраторов, когда они зачем-то в 16:9 исходный кадр 4:3 обрезали. Но нет. Скачал DVD, там также. Ну может чуть меньше. Можно с этим что-то сделать? Как вариант, может действительно попробуем сделать версию с 60fps?
И кстати, существуют же различные "шумодавы"... Может если сначала ими пройтись, то результат будет ещё круче? Правда есть риск, что на мультфильм будет похоже...
![](https://i.ibb.co/m4gJB32/2020-06-08-1.png)
Вот кстати скрин, по которому хорошо видно как нейросеть работает. Это не просто апскейл. Тут сеть именно дорисовывает. Как в программах для айфона типа Vinchi, где фотографии под картины разных художников фильтрами переделать можно.
Так что если удастся собрать группу энтузиастов, можно будет получить "12 стульев" в приемлемом для просмотра качестве. )
Интересно мнение профессионалов.
Ещё скрин с примером: