Решил здесь тоже тему создать. Может кому интересно, а может кто и помочь захочет. Диски загибаются, и надежда получить некоторые фильмы в хорошем качестве похоже только на нас самих. Благо прогресс не стоит на месте.
Наткнулся тут на такую статью:
http://lentach.media/articles/polzovatel-s-pomoshchiu-neirosetei-otrestavriroval-drevnie-videomemyА до этого мне попадался вот такой материал:
https://tjournal.ru/tv/140870-pribytie-poezda-uluchshili-s-pomoshchyu-neyrosetey-film-1896-goda-teper-mozhno-posmotret-v-4k-i-60-kadrah-v-sekunduЕсли по ссылкам ходить неохота: там примеры роликов с помощью нейросетей переведённых в 8К 60fps (в первом случае, ролики - старые мемы), и в 4K 60fps (во втором). И хотя я не особо одобряю материал, который выбрали для примеров, но прирост в качестве конечно поразительный. Я конечно не собираюсь призывать срочно так апгрейдить все голливудские фильмы, но хочу напомнить, что у нас есть уже приличное количество советской классики, ремастеринг которой был осуществлён, но на Blu-ray эти фильмы так и не выпустили. Зато Мосфильм их выложил в свободном доступе на Youtube, однако смотреть их в таком качестве на хорошем телевизоре не возможно. Пример - "12 стульев" Гайдая. Объем почти трёхчасового фильма чуть больше 3-х гигабайт. На птице даже сделали Blu-Ray с раздутым битрейтом, но (сюрприз!) смотрибельнее от этого не стало. А вот с такой вот обработкой, как на этих мемах, всё могло бы смотреться значительно лучше.
Автор роликов не раскрывает своих секретов, но покапавшись в комментариях нашёл ссылку на такую статью на хабре:
https://m.habr.com/ru/post/446032/. Но вот материал для меня слишком сложный.
Пытаюсь на известном в узких кругах трекере уговорить на такой проект профессионалов. Пока пытался, сам потихоньку начал разбираться.
Оказывается такая обработка делалась минимум двумя программами. Одной с помощью нейронных сетей обрабатывали кадры (это программа от Топаза
https://topazlabs.com/gigapixel-ai/), а второй уже разгоняли до 60FPS (в принципе не обязательная процедура).
Топаз выпустил и однокнопочный вариант именно для видео:
https://topazlabs.com/video-enhance-ai/ Там бесплатная пробная версия полностью функциональная. Так что начал экспериментировать. В процессе выяснилось:
а) программа несомненно работает, прирост качества есть
б) один я это точно не потяну, обработка целого фильма с моей видеокартой (1060 GTX) займёт 19 дней. Я не могу столько времени не выключать компьютер. "Паузы" пока нет.
Программа предлагает четыре алгоритма обработки на выбор, я оставновился на втором (вторая гайя). Итак, я обработал фрагмент второй гайей до 8К, а потом с помощью DVDFab перевёл в UHD.
Вот, выложил фрагмент на полторы минуты, весом в 500 мегов:
https://yadi.sk/d/kVLvvU9_Atk13Q
Скриншот загружайте полную версию, превью врёт, качество лучше.
И это то, что получилось у меня, с моими великими познаниями в редактировании видео. А если к проекту подключатся всё же люди более опытные, то думаю мы сможем получить ещё более достойный результат.
Картинку спасти можно, это видно уже по этому фрагменту. Топаз действительно работает. А если разложить покадрово, то видимо будет ещё круче. Сделать в 8к, а потом перевести в 4К для записи на болванку. Может кто даже заморочится и сделает красиво, с меню?
Теперь вторая проблема: дёргающаяся камера. Во всяком случае во фрагменте, который я использовал для теста. Это не от топаза, так в оригинале. Думал, что это от криворукости реставраторов, когда они зачем-то в 16:9 исходный кадр 4:3 обрезали. Но нет. Скачал DVD, там также. Ну может чуть меньше. Можно с этим что-то сделать? Как вариант, может действительно попробуем сделать версию с 60fps?
И кстати, существуют же различные "шумодавы"... Может если сначала ими пройтись, то результат будет ещё круче? Правда есть риск, что на мультфильм будет похоже...
Вот кстати скрин, по которому хорошо видно как нейросеть работает. Это не просто апскейл. Тут сеть именно дорисовывает. Как в программах для айфона типа Vinchi, где фотографии под картины разных художников фильтрами переделать можно.
Так что если удастся собрать группу энтузиастов, можно будет получить "12 стульев" в приемлемом для просмотра качестве. )
Интересно мнение профессионалов.
Ещё скрин с примером:
