для сравнения. из DVD.

 
Topaz Video AI 6.1




Сегодняшний релиз - очень важный момент в истории Topaz Video AI. Мы выпускаем Project Starlight, первую в истории модель диффузии для улучшения видео.
Это значительная эволюция по сравнению с существующими моделями, и это самое большое увеличение возможностей модели с момента запуска Video AI.
С помощью Project Starlight можно улучшить даже самые сложные кадры. Поэтому, пожалуйста, попробуйте «плохие» видео - видео, которые раньше могли давать артефакты при использовании других моделей.
Из-за своего размера эта модель работает значительно медленнее, чем предыдущие, и требует облачной обработки на графическом оборудовании серверного уровня. Но это только начало. Наша миссия как разработчика и исследователя заключается в том, чтобы максимально улучшить качество изображения - просто для этого сейчас требуется немного больше вычислительной мощности.
Мы видим четкий путь к расширению доступа к Starlight и другим моделям этого поколения до очень дорогих настольных GPU, и Project Starlight - это только начало новой серии моделей».
 
В настоящее время активные пользователи Video AI могут бесплатно обработать три 10-секундных еженедельных превью Starlight. Результаты можно будет просмотреть по ссылкам, не включенным в список и доступным для обмена, с помощью новой кнопки «Сравнить» в Video AI.
Обработка этих превью занимает около 20 минут, если серверы доступны немедленно, а все экспортируемые файлы поставляются в разрешении 1080p.
 
 
Немного истории: Ровно пять лет назад появилась версия v1.0.2. Ужасная скорость работы. Быстро и дорого было только на серверах.
Уверен с развитием моделей и на RTX 5090 будет как сейчас.
 
 

TOPAZAVR
Да уж!
Никакими изощрениями с текущими моделями и скриптами не мог получить ничего хорошего.
Нате вам! 𝗣𝗥𝗢𝗝𝗘𝗖𝗧 𝗦𝗧𝗔𝗥𝗟𝗜𝗚𝗛𝗧 во всей красе! Ни предобработки, ни скриптов!
 
 
Видео (1.5 сек.)
Следствие ведут ЗнаТоКи s1e01 Чёрный маклер (1971)_0001.mkv  Следствие ведут ЗнаТоКи s1e01 Чёрный маклер (1971)  𝗣𝗥𝗢𝗝𝗘𝗖𝗧 𝗦𝗧𝗔𝗥𝗟𝗜𝗚𝗛𝗧_0001.mp4 
Только гляньте на спинку кресла слева в кадре. Правда плохого дядю оставили с носом. ИИиии.
 

Впечатляет, думаю в массы модель не выпустят

TOPAZAVR

zOmbi88

TOPAZAVR 𝗣𝗥𝗢𝗝𝗘𝗖𝗧 𝗦𝗧𝗔𝗥𝗟𝗜𝗚𝗛𝗧

Впечатляет, думаю в массы модель не выпустят

Совершенно не согласен.
В каком то смысле её уже выпустили. Topaz Gigapixel AI v.8 её и использует на отдельной картинке.
Там есть Creativity: 1-6, Version: Gen. 1 / Gen. 2 BETA, Mode: Realistic / Creative.
Сейчас стадия оптимизации модели. Вспомните, как ранние модели не могли использовать все возможности 30-й серии NVIDIA.
Плюс уже через год серия 50 не будет топовой и дорогущей.
 
P.S. А я предсказывал (19.10.24): "Глядишь и до видео доберётся. Но, похоже, понадобится монстр-компьютер."
 

Пакетную обработку не пробовали в Гигапикселе?

TOPAZAVR
Да уж!
Никакими изощрениями с текущими моделями и скриптами не мог получить ничего хорошего.
Нате вам! 𝗣𝗥𝗢𝗝𝗘𝗖𝗧 𝗦𝗧𝗔𝗥𝗟𝗜𝗚𝗛𝗧 во всей красе! Ни предобработки, ни скриптов!
 
 
Видео (1.5 сек.)
Следствие ведут ЗнаТоКи s1e01 Чёрный маклер (1971)_0001.mkv  Следствие ведут ЗнаТоКи s1e01 Чёрный маклер (1971)  𝗣𝗥𝗢𝗝𝗘𝗖𝗧 𝗦𝗧𝗔𝗥𝗟𝗜𝗚𝗛𝗧_0001.mp4 
Только гляньте на спинку кресла слева в кадре. Правда плохого дядю оставили с носом. ИИиии.
 

У тёти на заднем плане глаз стёк на щеку ) и стоило забор городить с облачной обработкой starlight, если в основе всех моделей один и тот же деформатор лиц.

zOmbi88
В общем шел скучный вечер пятницы, еще скучнее он был от того что я вручную добавлял дорожки к сериалу (а там 172 серии между прочим) и тут я сказал себе пора включить нейросеть! Представляю вам программу для пакетной обработки MKV файлов, суть ее в добавлении дорожек с одним названием к MKV файлу с таким же названием, и что самое важное оно работает в пакетном режиме, в левое окно накидываете что надо добавить, в правое к каким файлам добавить, выбираете где сохранить и дальше дело нейросетевой магии ( и MkvToolNix). Как это работает я хз, будет ли работать у вас- аналогично
 
 https://cloud.mail.ru/public/qBmW/2h6NXp8GY

  Ну, если нейросеть этим занялась , было бы неплохо, что бы она еще звук с видео синхронизировала.

𝗣𝗥𝗢𝗝𝗘𝗖𝗧 𝗦𝗧𝗔𝗥𝗟𝗜𝗚𝗛𝗧 даже сейчас, в процессе отладки, творит VHS чудеса
   
7 секунд видео было / стало
 
 

Так! Продолжаем разговор.
 
Трудноапскейлируемые "Старые песни о главном".
iris  prob  rhea  starlight
       
 
Имеющиеся модели работают с каждым кадром по отдельности. На текстуре особенно заметно. Фильтр временно́го шума после топаза "-vf hqdn3d=1:1:15:15" особо не помогает.
rhea (без фильтра временного шума)

starlight

 
Я бы предположил, что starlight это мета модель поверх aion и rhea.
Кроме апскейла, ещё и крупный шум и дефекты плёнки убирает. Небольшую однокадровую дырку в плёнке заменяет по соседним кадрам.
Попробовал затереть логотип размазанным прямоугольником. Starlight это место восстановил по соседним кадрам. От логотипа ничего не осталось. Конечно, пока не идеально.
 
Рискну предположить, что, когда в марте-апреле выйдет альфа starlight, скорость локальной модели будет примерно четверть от rhea-1 (для 768x576 -> 1440x1080). Памяти видеокарты понадобится 8-12 ГБ.
 
 
 

Программа для пакетного переименовывания файлов в целях упорядочивания, ищет номера в именах файла и дает имена по порядку удаляя лишнее, к примеру было Имя000001.png станет 1.png
 
https://cloud.mail.ru/public/nJ5t/aZi5GbbgD

Программа для автоматического разбиения видео файла по сценам https://cloud.mail.ru/public/xutr/b6haHSnEw для более тонкого подбора типа модели
Из функционала:
Создание видеофайлов по сценам со сквозной нумерацией
Создание папок с превью каждого видеофайла по сценам без сквозной нумерации
Создание папок с секвенцией кадров каждой сцены со сквозной нумерацией