Нейросети - что это и почему.

[Полковник Исаев]

garniv
реставрация фото с современными ценностями

[VitohA]

Решил на днях попробовать улучшить старое памятное видео. Изначально было снято на vhs, потом перегнал в цифровой формат через дешёвый тв-тюнер от Rovermedia. Т.е. оригинальное видео не блистало качеством.
Поискал, что есть из opensource на эту тему и нашёл video2x. Без "современных" ценностей там 2 модельки: srmd и realsr. Для realsr у меня видюхи не хватает, что-то порядка 0,5fps выдаёт. А с srmd нужны пляски с бубном, ибо в некоторых сценариях у него огромная утечка памяти - моих 64 гигов и на 10 минутное видео не хватает (на видеокарту ложится только кодинг/декодинг видеострима). Результат не впечатлил, ожидал большего. По факту получил невыдающийся апскейл, а не результат работы нейронки. Может кто-то может что-то ещё посоветовать, что можно из бесплатного глянуть? Важен self-hosting, видео крупное, часа на 3-4.

[garniv]

Цитата (VitohA) »

0,5fps выдаёт.

Это нормально. Topaz Video Enhance AI тоже предельно медленный.

Цитата (VitohA) »

а не результат работы нейронки

А зачем результат работы нейронки, что вообще под этим понимается? Надо чтобы дорисовывались недостающие детали изображения? Но нейронки неконсистентны во времени. Видео будет похоже на галюциногенный трип - в каждом кадре будут немного другие детали.

[VitohA]

Цитата (garniv) »

А зачем результат работы нейронки, что вообще под этим понимается? Надо чтобы дорисовывались недостающие детали изображения? Но нейронки неконсистентны во времени.

Да скорее всего у меня ожидания завышены были, ибо в примерах апскейла картинок всё получалось явно лучше (как раз srmd, который и использовал). Маркетинг, сэр! (с)
Сейчас сравниваю результат с другими сервисами, вырезал минутный ролик для тестов.

Цитата (garniv) »

Видео будет похоже на галюциногенный трип - в каждом кадре будут немного другие детали.

Да, я потестировал на модели waifu2x, которая используется для апскейла аниме =)

[garniv]

Цитата (VitohA) »

Да, я потестировал на модели waifu2x, которая используется для апскейла аниме =)

Кстати да! Я waifu2x постоянно апскейлю рисунки и фото. А когда на нем большая очередь - иду на https://create.pixelcut.ai/upscaler. Там из полезного еще есть "волшебный ластик" https://create.pixelcut.ai/magic-eraser и "удалитель фона" https://create.pixelcut.ai/background-remover

[Полковник Исаев]

garniv
Но ведь на компе локально апскейл качественнее и гораздо быстрее

[garniv]

Цитата (Полковник Исаев) »

Но ведь на компе апскейл качественнее и гораздо быстрее

Качество сопоставимо. Быстрее на чем, на RTX4090? А если я с ноута со встройкой?

[Lesnik75]

Цитата (Полковник Исаев) »

Но ведь на компе локально апскейл качественнее и гораздо быстрее

Пишет ПК-боярин

[VitohA]

Цитата (Полковник Исаев) »

Но ведь на компе локально апскейл качественнее и гораздо быстрее

Не у всех есть 4090

По поводу качества соглашусь, сравнил результат локальной работы video2x с srmd моделью против платного tensorpix.ai (есть бесплатный пробный объём ресурсов, чисто для ознакомления): покадрово разница есть, но именно в движении всё стирается, разницу уловить не смог. Т.е. даже бесплатные апскейлеры неплохи в сравнении с платными онлайн. Топаз не щупал, но есть подозрение, что оно стоит своих денег.

[Полковник Исаев]

garniv
Ну я пробовал разные онлайн сервисы до обновления, но не конкретно тот, что ты указал, так старая 1080Ti давала качество заметно при сопоставимой или лучшей скорости, лучше при апскейле, при сегрегации фона и т.д.
Сервисы конечно тоже развиваются, но в онлайн много ограничений - на размер файла, на разрешение картинки и т.д.

[garniv]

https://vc.ru/services/940389-pokazh...ashemu-rebenku
https://drawfast.tldraw.com/

[Полковник Исаев]

garniv
Крутой и простой сервис

[garniv]

https://habr.com/ru/news/778932/#comment_26238414

Цитата

-Подключил я этот ваш Gemini Pro в Google Bard. Попросил нарисовать мой город. В принципе, фотореалистично... Вернулся пока на ChatGPT.
-Размерности не подписал. А так достойная проекция сферического Якутска на плоскость
-Якутск. Сферический. В вакууме.
-В промо есть еще классный пример с деревом:

[garniv]

https://unlimited.waifu2x.net/
An experimental in-browser version of waifu2x

[garniv]

https://www.krea.ai/apps/image/enhancer

[garniv]

Генерация текстового описания по изображению:

• https://huggingface.co/spaces/fffilo...Interrogator-2 (параметры : Select Mode - classic, best mode max flavors - 8 или 10)
• https://llava.hliu.cc/

https://llava-vl.github.io/

[garniv]

Избранное (кем-то) по состоянию на 2023 год

[garniv]

https://theresanaiforthat.com/most-saved/

[VitohA]

Появилось свободное время на тесты всяких разных бесплатных видео апскейлеров на базе нейронок. А именно алгоритмов/моделей, в моём случае это было srmd vs realsr. Первый значительно быстрее, но у второго качество явно выше, хоть и сетка появляется при плохом исходнике.
Realsr явный фаворит, но он использует ресурсы видеокарты для получения результата, так что если у вас АМД, то только топы подходят, моя RX6400 при апскейле 480р -> 960р выдаёт около 0,01 fps =(
По факту чуда не происходит, но картинку можно подтянуть по качеству. Нашёл даже сравнение алгоритмов в лоб. Имхо, результат можно делить пополам.

vBulletin [media]

Пользовался опенсорсной прогой video2x, под винду даже гуи есть.

[garniv]

Глобальные сокращения сотрудников из-за ИИ
https://render.ru/ru/news/post/25033