Правила | Zavvi | Amazon.com Amazon.ca Amazon.co.uk Amazon.de Amazon.fr Amazon.it Amazon.es | OZON.ru

Hot!Улучшение изображения с помощью нейросетей

Author
alexeiden
Меценат
  • Total Posts : 2336
  • Scores: 402
  • Joined: 2005/03/31 15:46:32
  • Location: Москва
  • Status: online
2020/06/08 22:29:20 (ссылка)
5 (2)

Улучшение изображения с помощью нейросетей

Решил здесь тоже тему создать. Может кому интересно, а может кто и помочь захочет. Диски загибаются, и надежда получить некоторые фильмы в хорошем качестве похоже только на нас самих. Благо прогресс не стоит на месте.
Наткнулся тут на такую статью: http://lentach.media/articles/polzovatel-s-pomoshchiu-neirosetei-otrestavriroval-drevnie-videomemy
А до этого мне попадался вот такой материал: https://tjournal.ru/tv/140870-pribytie-poezda-uluchshili-s-pomoshchyu-neyrosetey-film-1896-goda-teper-mozhno-posmotret-v-4k-i-60-kadrah-v-sekundu
Если по ссылкам ходить неохота: там примеры роликов с помощью нейросетей переведённых в 8К 60fps (в первом случае, ролики - старые мемы), и в 4K 60fps (во втором). И хотя я не особо одобряю материал, который выбрали для примеров, но прирост в качестве конечно поразительный. Я конечно не собираюсь призывать срочно так апгрейдить все голливудские фильмы, но хочу напомнить, что у нас есть уже приличное количество советской классики, ремастеринг которой был осуществлён, но на Blu-ray эти фильмы так и не выпустили. Зато Мосфильм их выложил в свободном доступе на Youtube, однако смотреть их в таком качестве на хорошем телевизоре не возможно. Пример - "12 стульев" Гайдая. Объем почти трёхчасового фильма чуть больше 3-х гигабайт. На птице даже сделали Blu-Ray с раздутым битрейтом, но (сюрприз!) смотрибельнее от этого не стало. А вот с такой вот обработкой, как на этих мемах, всё могло бы смотреться значительно лучше.
Автор роликов не раскрывает своих секретов, но покапавшись в комментариях нашёл ссылку на такую статью на хабре: https://m.habr.com/ru/post/446032/. Но вот материал для меня слишком сложный.
Пытаюсь на известном в узких кругах трекере уговорить на такой проект профессионалов. Пока пытался, сам потихоньку начал разбираться.
Оказывается такая обработка делалась минимум двумя программами. Одной с помощью нейронных сетей обрабатывали кадры (это программа от Топаза https://topazlabs.com/gigapixel-ai/), а второй уже разгоняли до 60FPS (в принципе не обязательная процедура).
Топаз выпустил и однокнопочный вариант именно для видео: https://topazlabs.com/video-enhance-ai/ Там бесплатная пробная версия полностью функциональная. Так что начал экспериментировать. В процессе выяснилось:
а) программа несомненно работает, прирост качества есть
б) один я это точно не потяну, обработка целого фильма с моей видеокартой (1060 GTX) займёт 19 дней. Я не могу столько времени не выключать компьютер. "Паузы" пока нет. 
Программа предлагает четыре алгоритма обработки на выбор, я оставновился на втором (вторая гайя). Итак, я обработал фрагмент второй гайей до 8К, а потом с помощью DVDFab перевёл в UHD. 

Вот, выложил фрагмент на полторы минуты, весом в 500 мегов: https://yadi.sk/d/kVLvvU9_Atk13Q

Скриншот загружайте полную версию, превью врёт, качество лучше.
И это то, что получилось у меня, с моими великими познаниями в редактировании видео. А если к проекту подключатся всё же люди более опытные, то думаю мы сможем получить ещё более достойный результат.
Картинку спасти можно, это видно уже по этому фрагменту. Топаз действительно работает. А если разложить покадрово, то видимо будет ещё круче. Сделать в 8к, а потом перевести в 4К для записи на болванку. Может кто даже заморочится и сделает красиво, с меню?
Теперь вторая проблема: дёргающаяся камера. Во всяком случае во фрагменте, который я использовал для теста. Это не от топаза, так в оригинале. Думал, что это от криворукости реставраторов, когда они зачем-то в 16:9 исходный кадр 4:3 обрезали. Но нет. Скачал DVD, там также. Ну может чуть меньше. Можно с этим что-то сделать? Как вариант, может действительно попробуем сделать версию с 60fps? 
И кстати, существуют же различные "шумодавы"... Может если сначала ими пройтись, то результат будет ещё круче? Правда есть риск, что на мультфильм будет похоже...
 

Вот кстати скрин, по которому хорошо видно как нейросеть работает. Это не просто апскейл. Тут сеть именно дорисовывает. Как в программах для айфона типа Vinchi, где фотографии под картины разных художников фильтрами переделать можно.
 
Так что если удастся собрать группу энтузиастов, можно будет получить "12 стульев" в приемлемом для просмотра качестве. )
 
Интересно мнение профессионалов.
post edited by alexeiden - 2020/06/09 01:08:50
#1

5 Ответов Related Threads

    alexeiden
    Меценат
    • Total Posts : 2336
    • Scores: 402
    • Joined: 2005/03/31 15:46:32
    • Location: Москва
    • Status: online
    Re: Улучшение изображения с помощью нейросетей 2020/06/09 10:09:06 (ссылка)
    0
    Ещё скрин с примером:

    #2
    alexeiden
    Меценат
    • Total Posts : 2336
    • Scores: 402
    • Joined: 2005/03/31 15:46:32
    • Location: Москва
    • Status: online
    Re: Улучшение изображения с помощью нейросетей 2020/06/17 23:06:54 (ссылка)
    +1 (1)

    Тихой сапкой, по главе в день, но делаю. Жаль, что время много потерял пока разбирался и помощь просил: так бы в пробный период программы уложился. Надеюсь если другую почту указать заново поставится. Сегодня сконвертил несколько глав в 4К с помощью DVDFab и записал на болванку, посмотреть как это на телевизоре смотрится (LG OLED 65E6V). А смотрится фантастически. Разница с оригинальной вебкой - небо и земля. Вебку не мог смотреть, а это смотрится вполне. Да, не идеально может быть. Но смотрится! Так что продолжу. Так даже один может за месяц с небольшим и сделаю. Только я до сих пор не понимаю как правильно соединить потом и сконвертить в 4К для записи на болванки. Dvdfab выдаёт какой-то странный размер кадра (3824х2176), да и пауза между главами, так как в один файл не соединял.

    Так что вот так вот, с помощью современных технологий, даже с моими скудными познаниями я смогу получить любимый фильм в приемлемом для просмотра качестве.
     
     
    #3
    hdmaniac
    Меценат
    • Total Posts : 11866
    • Scores: 13051
    • Joined: 2008/01/26 18:49:41
    • Location: Москва
    • Status: offline
    Re: Улучшение изображения с помощью нейросетей 2020/06/19 08:26:32 (ссылка)
    0
    Да, Лёш, прирост качества заметен...

    BLU-RAY -1337, 4K ULTRA HD - 161
    UHD 4K PANASONIC 824GK(B), UBD 4К OPPO 203(A), Sony UBP-X700(B), 
    OPPO BDP-93 3D (ABC), LG BP325(C), PS 4 (500 Гб "A"), Apple 4K TV
    TV SONY 75 XF9005
    projector EPSON 4K HDR EH-TW9300, Elite Screens SKT100UHW-E12"
     
    #4
    alexeiden
    Меценат
    • Total Posts : 2336
    • Scores: 402
    • Joined: 2005/03/31 15:46:32
    • Location: Москва
    • Status: online
    Re: Улучшение изображения с помощью нейросетей 2020/06/19 10:25:16 (ссылка)
    0
    hdmaniac
    Да, Лёш, прирост качества заметен...


    Не хочешь присоединиться к проекту? Мне помощь и наставления от профессионала не помешают... 
    #5
    alexeiden
    Меценат
    • Total Posts : 2336
    • Scores: 402
    • Joined: 2005/03/31 15:46:32
    • Location: Москва
    • Status: online
    Re: Улучшение изображения с помощью нейросетей 2020/06/29 12:01:56 (ссылка)
    0
    Работа постепенно идёт. К концу недели надеюсь закончить первую серию. Вот ещё пара примеров:


    #6
    Jump to:
    © 2020 APG vNext Commercial Version 5.5