BasicSR - История изменений

Владимир в 03:22, 26 августа 2020

2020-08-26T03:22:55Z

← Предыдущая версия		Версия от 03:22, 26 августа 2020
Строка 9:		Строка 9:

	На момент актуальной версии железа nvidia 10, 16 и 20 серии все работает из коробки. Но если нужно завести все на более старом железе, то есть много нюансов.		На момент актуальной версии железа nvidia 10, 16 и 20 серии все работает из коробки. Но если нужно завести все на более старом железе, то есть много нюансов.

			На данный момент это Kepler, Maxwell, Pascal, Volta, все упирается в CUDA, минимальная версия которого 9.2. А это обусловлено PyTorch 1.3 и выше.

	===NVIDIA CUDA===		===NVIDIA CUDA===

Владимир: /* BasicSR */

2020-08-25T05:23:47Z

BasicSR

← Предыдущая версия		Версия от 05:23, 25 августа 2020
Строка 42:		Строка 42:
	pip3 install torch torchvision		pip3 install torch torchvision
	Но если железо старое то нужно устанавливать последнюю поддерживаемую версию железо. Везде по своему.		Но если железо старое то нужно устанавливать последнюю поддерживаемую версию железо. Везде по своему.
			sudo chown -R vova:vova /usr/local/bin/

			sudo chmod 755 /usr/local/bin/

			sudo chown -R vova:vova /usr/local/lib/python3.8/

			sudo chmod 755 /usr/local/lib/python3.8/

	==BasicSR==		==BasicSR==

Владимир: /* PyTorch */

2020-08-25T05:01:16Z

PyTorch

← Предыдущая версия		Версия от 05:01, 25 августа 2020
Строка 40:		Строка 40:

	cuda 10.2		cuda 10.2
	~~pip~~ install torch torchvision		pip3 install torch torchvision
	Но если железо старое то нужно устанавливать последнюю поддерживаемую версию железо. Везде по своему.		Но если железо старое то нужно устанавливать последнюю поддерживаемую версию железо. Везде по своему.

Строка 51:		Строка 51:
	cd /mnt/d/test/AI/BasicSR/		cd /mnt/d/test/AI/BasicSR/

	~~pip~~ install -r requirements.txt		pip3 install -r requirements.txt

	~~python~~ setup.py develop		python3 setup.py develop
	<br />		<br />
	==Подготовка набора данных==		==Подготовка набора данных==

Владимир в 11:04, 23 августа 2020

2020-08-23T11:04:41Z

← Предыдущая версия		Версия от 11:04, 23 августа 2020
Строка 536:		Строка 536:

	указать <br />		указать <br />
			__ОБЯЗАТЕЛЬНОЕ_ОГЛАВЛЕНИЕ__

Владимир: /* 01_Медиана */

2020-08-23T11:03:43Z

01_Медиана

← Предыдущая версия		Версия от 11:03, 23 августа 2020
Строка 151:		Строка 151:
	</gallery>		</gallery>

	#Изменяем размер изображения (50) процентов, нужно это делать в процентах, так как у всех изображений разное разрешение. Размер изображения Ширина: 50% Включить: Масштабировать стиль Включить: Сохранить пропорции Интерполяция: автоматически		#Изменяем размер изображения (50) процентов, нужно это делать в процентах, так как у всех изображений разное разрешение. Размер изображения Ширина: 50%; Включить: Масштабировать стиль; Включить: Сохранить пропорции; Интерполяция: автоматически
	#Применяем фильтр Медиана с радиусом 1. Этот фильтр помимо размытия сильно усложняет изображение, с точки зрения математики. Сжимаемость становиться плохой. Медиана Радиус: 1 пикс.		#Применяем фильтр Медиана с радиусом 1. Этот фильтр помимо размытия сильно усложняет изображение, с точки зрения математики. Сжимаемость становиться плохой. Медиана Радиус: 1 пикс.
	#Затем снова снижаем размер изображения на (50) процентов. Это уже будет окончательное разрешение, из которого модель будет стремится получить оригинал. Размер изображения Ширина: 50% Включить: Масштабировать стиль Включить: Сохранить пропорции Интерполяция: автоматически		#Затем снова снижаем размер изображения на (50) процентов. Это уже будет окончательное разрешение, из которого модель будет стремится получить оригинал. Размер изображения Ширина: 50% Включить: Масштабировать стиль Включить: Сохранить пропорции Интерполяция: автоматически

Владимир: /* Подготовка набора данных */

2020-08-23T11:02:28Z

Подготовка набора данных

← Предыдущая версия		Версия от 11:02, 23 августа 2020
Строка 56:		Строка 56:
	<br />		<br />
	==Подготовка набора данных==		==Подготовка набора данных==
	Задача состоит в том, чтобы обучить ~~сеть~~ на восстановление видео снятых на miniDV камеру. Видео хранилось на кассетах, после чего было перенесено на ~~пека~~, методом захвата с DV камеры. Захват осуществлялся через [https://ru.wikipedia.org/wiki/IEEE_1394 Firewire]. На данный момент это самый максимально возможный с точки зрения качества захват. Нет способов получить качество выше.		Задача состоит в том, чтобы обучить модель на восстановление видео снятых на miniDV камеру. Видео хранилось на кассетах, после чего было перенесено на накопитель компьютера, методом захвата с DV камеры. Захват осуществлялся через [https://ru.wikipedia.org/wiki/IEEE_1394 Firewire]. На данный момент это самый максимально возможный с точки зрения качества захват. Нет способов получить качество выше.

	В ~~итого~~ имеется 50 гигабайт видео в разрешении 720x576 с соотношением сторон 4:3. Но есть много но. Камера не профессиональная, качество записи не идеальное. Оному производителю известно как получается картинка. Тут будут приложены оригиналы.<gallery mode="packed-hover" caption="'''Исходные изображения захваченные с DV'''">		В итоге имеется 50 гигабайт видео в разрешении 720x576 с соотношением сторон 4:3. Но есть много но. Камера не профессиональная, качество записи не идеальное. Оному производителю известно как получается картинка. Тут будут приложены оригиналы.<gallery mode="packed-hover" caption="'''Исходные изображения захваченные с DV'''">
	Файл:DV пример 001.jpeg		Файл:DV пример 001.jpeg
	Файл:DV пример 002.jpeg		Файл:DV пример 002.jpeg
	</gallery>Первое, что заметно на кадрах, это последствия ~~черезстрочной записи~~. Подавление черезстрочности выполнено было на этапе подготовки видео для раскадровки. Более качественного подавления черезстрочной развертки я не нашел. Следующая заметная особенность представленных кадров это некое утолщение любых границ объектов, это следствие интерполяции, которая скорее всего выполнялась на самой камере при записи. Интерполяция совсем не простая, но имеет артефакты. Так же присуще любой непрофессиональной записи, небольшой расфокус. Очень большое количество смазанных кадров в различном направлении из за низкой статичности камеры. Слабые "смазы" еще допустимы, но в большинстве случаев они ужасающе сильные, на таких кадрах попросту не за что зацепится.		</gallery>Первое, что заметно на кадрах, это последствия черезстрочности кадров. Подавление черезстрочности выполнено было на этапе подготовки видео для раскадровки. Более качественного подавления черезстрочной развертки я не нашел. Следующая заметная особенность представленных кадров это некое утолщение любых границ объектов, это следствие интерполяции, которая скорее всего выполнялась на самой камере при записи. Интерполяция совсем не простая, но имеет артефакты. Так же присуще любой непрофессиональной записи, небольшой расфокус. Очень большое количество смазанных кадров в различном направлении из за низкой статичности камеры. Слабые "смазы" еще допустимы, но в большинстве случаев они ужасающе сильные, на таких кадрах попросту не за что зацепится.
	[[Файл:DV пример 003.png\|мини\|Пример сжатия, видимые границы блоков 16х16 пикселей]]		[[Файл:DV пример 003.png\|мини\|Пример сжатия, видимые границы блоков 16х16 пикселей]]
	Говорить о приведении изображения в студийное качество конечно же нельзя, чудес не бывает, но все кадры с более менее сохранившимися деталями сохранить можно.		Говорить о приведении изображения в студийное качество конечно же нельзя, чудес не бывает, но все кадры с более менее сохранившимися деталями сохранить можно.
Строка 79:		Строка 79:
	Здесь перечислены те проблемы которые можно смоделировать искусственно. Черестрочную развертку смоделировать очень не просто, Так же не просто смоделировать смазывания во всех направлениях и с разной длинной.		Здесь перечислены те проблемы которые можно смоделировать искусственно. Черестрочную развертку смоделировать очень не просто, Так же не просто смоделировать смазывания во всех направлениях и с разной длинной.

	По части артефактов сжатия могут возникнуть вопросы - "Слишком незначительно, зачем делать на них акцент", соглашусь, но из этих артефактов возникают паттерны для возникновения более сложных артефактов, ~~сеть~~ будет воспринимать их как объекты и ~~троить~~ вокруг них шум. Поэтому нужно дать понять ~~сети~~, что такого ~~роба~~ элементы не являются частью изображения.		По части артефактов сжатия могут возникнуть вопросы - "Слишком незначительно, зачем делать на них акцент", соглашусь, но из этих артефактов возникают паттерны для возникновения более сложных артефактов, модель будет воспринимать их как объекты и создавать вокруг них шум. Поэтому нужно дать понять модели, что такого рода элементы не являются частью изображения.

	'''Сделаю акцент на обучении сети. Самая большая проблема ~~восстановления~~ даже не в алгоритме~~. А~~ во входных данных. Нужно каким то образом показать ~~сети~~, что "вот из этого" должно получаться "вот это". И сделать это по меньшей мере 100 тысяч раз, в различных вариациях.'''		'''Сделаю акцент на обучении сети. Самая большая проблема "дополнения" даже не в алгоритме, а во входных данных. Нужно каким то образом показать модели, что "вот из этого" должно получаться "вот это". И сделать это по меньшей мере 100 тысяч раз, в различных вариациях.'''

	О наборе данных, их много, очень много. Популярны [https://data.vision.ee.ethz.ch/cvl/DIV2K/ DIV2K], Flickr2K, технически это набор рандомных фото, тысячи фото всего вокруг. Так же я собрал свой сет из библиотеки, из 500 фото. У google есть тоже открытый набор данных в виде 9 миллионов фото. Но такими объемами данных оперировать на обычном ПК невозможно.		О наборе данных, их много, очень много. Популярны [https://data.vision.ee.ethz.ch/cvl/DIV2K/ DIV2K], Flickr2K, технически это набор рандомных фото, тысячи фото всего вокруг. Так же я собрал свой сет из библиотеки, из 500 фото. У google есть тоже открытый набор данных в виде 9 миллионов фото. Но такими объемами данных оперировать на обычном ПК невозможно.
Строка 87:		Строка 87:
	После получения наборов данных, лучше всего переименовать все по порядку. Есть 1000 изображений каждое назвать от 0001 до 1000. В именах не должно быть пробелов и спецсимволов, лучше оставить только цифры. Потом попросту будет легче ориентироваться в данных.		После получения наборов данных, лучше всего переименовать все по порядку. Есть 1000 изображений каждое назвать от 0001 до 1000. В именах не должно быть пробелов и спецсимволов, лучше оставить только цифры. Потом попросту будет легче ориентироваться в данных.

	В моем случае в наборе DIV2K есть 800 изображений и ~~200~~ сравнительных изображений. Этот набор уже заранее так собран, так как подразумевается для машинного обучения. Сравнительные данные нужны для отчета системы нам. Чтобы было понятно в правильном ли направлении двигается сеть. И например каждые 5 тысяч итераций будет преобразовано с помощью обученной сети ~~200~~ изображений. Где будет наглядно виден прогресс.		В моем случае в наборе DIV2K есть 800 изображений и 100 сравнительных изображений. Этот набор уже заранее так собран, так как подразумевается для машинного обучения. Сравнительные данные нужны для отчета системы нам. Чтобы было понятно в правильном ли направлении двигается сеть. И например каждые 5 тысяч итераций будет преобразовано с помощью обученной сети 100 изображений. Где будет наглядно виден прогресс. Но я объединяю валидные данные с общими. Как данные для контроля качества обучения буду использовать кадры и различных видео, требующие восстановления.

	<br />		<br />

	===Кратность===		===Кратность===
	Если набор данных предусмотрен для машинного обучения, то размеры изображений будут иметь размеры в пикселях кратные определенному числу, например четырем. Не каждый набор данных будет таким. Так как не все ~~сети~~ нужны для повышения разрешения. В нашем же случае с набором данных нам придется выполнять изменение размеров, как минимум в 4 раза, иногда даже и 16. Из чего выходит необходимость иметь набор данных разрешение которого по обеим сторонам кратен 16. Какого было моё удивление когда я задал вопрос, как преобразовать массивы изображений так чтобы их разрешение обрезалось до кратных 16 по ширине и высоте. При том что все изображения имеют не фиксированное соотношение сторон. Есть фото вертикальные, есть горизонтальные, а есть квадратные.		Если набор данных предусмотрен для машинного обучения, то размеры изображений будут иметь размеры в пикселях кратные определенному числу, например четырем. Не каждый набор данных будет таким. Так как не все модели нужны для повышения разрешения. В нашем же случае с набором данных нам придется выполнять изменение размеров, как минимум в 4 раза, иногда даже и 16. Из чего выходит необходимость иметь набор данных разрешение которого по обеим сторонам кратен 16. Какого было моё удивление когда я задал вопрос, как преобразовать массивы изображений так чтобы их разрешение обрезалось до кратных 16 по ширине и высоте. При том что все изображения имеют не фиксированное соотношение сторон. Есть фото вертикальные, есть горизонтальные, а есть квадратные.

	Программ с таким функционалом не нашлось. Может плохо искал.		Программ с таким функционалом не нашлось. Может плохо искал.
Строка 127:		Строка 127:

	Ура у нас есть наборы данных нужной нам кратностью.		Ура у нас есть наборы данных нужной нам кратностью.

			<br />

	===Теперь на примере DIV2K попробуем разложить его на несколько видов обработки .===		===Теперь на примере DIV2K попробуем разложить его на несколько видов обработки .===
Строка 139:		Строка 141:
	<br />		<br />

	====~~01_Медина~~====		====01_Медиана====
	<gallery mode="packed-hover">		<gallery mode="packed-hover">
	Файл:BasicSR Первый сценарий 001.png\|Настройки для уменьшения размера в 2 раза		Файл:BasicSR Первый сценарий 001.png\|Настройки для уменьшения размера в 2 раза
Строка 149:		Строка 151:
	</gallery>		</gallery>

	#Изменяем размер изображения (50) процентов, нужно это делать в процентах, так как у всех изображений разное разрешение. Размер изображения Ширина: 50% Включить: Масштабировать стиль Включить: Сохранить пропорции Интерполяция: автоматически		#Изменяем размер изображения (50) процентов, нужно это делать в процентах, так как у всех изображений разное разрешение. Размер изображения Ширина: 50% Включить: Масштабировать стиль Включить: Сохранить пропорции Интерполяция: автоматически
	#Применяем фильтр Медиана с радиусом 1. Этот фильтр помимо размытия сильно усложняет изображение, с точки зрения математики. Сжимаемость становиться плохой. Медиана Радиус: 1 пикс.		#Применяем фильтр Медиана с радиусом 1. Этот фильтр помимо размытия сильно усложняет изображение, с точки зрения математики. Сжимаемость становиться плохой. Медиана Радиус: 1 пикс.
	#Затем снова снижаем размер изображения на (50) процентов. Это уже будет окончательное разрешение, из которого модель будет стремится получить оригинал. Размер изображения Ширина: 50% Включить: Масштабировать стиль Включить: Сохранить пропорции Интерполяция: автоматически		#Затем снова снижаем размер изображения на (50) процентов. Это уже будет окончательное разрешение, из которого модель будет стремится получить оригинал. Размер изображения Ширина: 50% Включить: Масштабировать стиль Включить: Сохранить пропорции Интерполяция: автоматически

Владимир: /* NVIDIA CUDA */

2020-08-23T10:47:30Z

NVIDIA CUDA

← Предыдущая версия		Версия от 10:47, 23 августа 2020
Строка 11:		Строка 11:

	===NVIDIA CUDA===		===NVIDIA CUDA===
	Следуем инструкции установки на реальное '''железо linux''' или [[~~MMEditing#.D0.A3.D1.81.D1.82.D0.B0.D0.BD.D0.BE.D0.B2.D0.BA.D0.B0 WSL 2~~\|~~'''~~WSL2'''~~]]. Пока в статье [[MMEditing]], но потом перенесу в отдельную статью~~.		Следуем инструкции установки на реальное '''железо linux''' или '''[[WSL2 и CUDA\|WSL2]]'''.

	===Python 3===		===Python 3===

Владимир в 10:40, 23 августа 2020

2020-08-23T10:40:59Z

← Предыдущая версия		Версия от 10:40, 23 августа 2020
Строка 1:		Строка 1:
	BasicSR - средство для обучения моделей.		BasicSR - средство для обучения моделей.

	~~''"На момент написания статьи автор обновил его до версии 1.0. Но нет возможности применить обученную сеть~~. ~~ESRGAN~~ не ~~готов к данной версии~~. ~~Поэтому берем ветку сентября 2019 года~~. Как ~~только заработает актуальная ветка поправлю статью~~.~~"''~~		В данной (даже не знаю как назвать - нужен термин, как называются страницы на гитхабе?) находится множество методов обучения моделей, как и самих предварительно натренированных моделей. Получается, что модель не тренируется с нуля. Тренировка идет уже обученной модели. Как я понял это обусловлено тем, что модель не одна, а состоит из нескольких, и эти несколько состязаются между собой. Все совсем не просто, на момент написания я не настолько хорошо понял как это работает.

	~~'''Автор обновил возможность получения результатов~~.~~'''~~

Владимир: /* Теперь на примере DIV2K попробуем разложить его на несколько видов обработки . */

2020-08-23T03:53:11Z

Теперь на примере DIV2K попробуем разложить его на несколько видов обработки .

Внесённые изменения

Владимир в 06:59, 22 августа 2020

2020-08-22T06:59:47Z

Внесённые изменения