MMEditing - История изменений

Владимир: /* Втупление) */

2020-08-23T10:47:09Z

Втупление)

@@ Строка 28: / Строка 28: @@
 Хорошо вот и начнем с '''ESRGAN'''. Года я зашел на '''github.com''', понял, что я вообще не понимаю, что делать. Совершенно не информативно, инструкций просто нет. Точнее они есть... но... считай их нет.
 Начал искать что то готовое. Оказывается есть такая штука как '''docker''', это что то вроде виртуальной машины, но прямо из ресурсов материнской системы. Изолирована среда, которая потребляет ресурсы только для выполнения своей внутренней задачи.
@@ Строка 55: / Строка 49: @@
 ===Подготовка ОС===
-Последний '''билд 20145''' или выше, обновления '''Windows 2004''' на момент 20.05.20 (это dev билд, можно получить по инсайдерской программе)
+Следуем инструкции установки на реальное '''железо linux''' или '''[[WSL2 и CUDA|WSL2]]'''.<br />
 '''Anaconda''' — диспетчер пакетов с открытым исходным кодом, диспетчер среды и средство дистрибуции языков программирования Python и R. Решение Anaconda предназначено для рабочих процессов аналитики данных и машинного обучения.

Владимир: /* srcnn */

2020-07-28T03:18:51Z

srcnn

@@ Строка 203: / Строка 203: @@
   done
 Выглядит это так в командной строке.
   for tgt in "${PHOTO[@]}"; do python3 /tmp/mmediting/demo/restoration_demo.py /tmp/mmediting/configs/restorers/esrgan/esrgan_x4c64b23g32_g1_400k_div2k.py /tmp/mmediting/work_dirs/esrgan_x4c64b23g32_1x16_400k_div2k_20200508-f8ccaf3b.pth /mnt/e/test/005/$tgt /mnt/e/test/004/E_$tgt; done
 В целом это все. Сеть работает и обрабатывает.
@@ Строка 230: / Строка 232: @@
 </syntaxhighlight>

Владимир: /* MMEditing */

2020-07-20T17:59:02Z

MMEditing

← Предыдущая версия		Версия от 17:59, 20 июля 2020
Строка 210:		Строка 210:

	for tgt in "${PHOTO[@]}"; do python3 /tmp/mmediting/demo/restoration_demo.py /tmp/mmediting/configs/restorers/esrgan/esrgan_psnr_x4c64b23g32_g1_1000k_div2k.py /tmp/mmediting/work_dirs/esrgan_psnr_x4c64b23g32_1x16_1000k_div2k_20200420-bf5c993c.pth /mnt/e/test/005/$tgt /mnt/e/test/004/E_$tgt; done		for tgt in "${PHOTO[@]}"; do python3 /tmp/mmediting/demo/restoration_demo.py /tmp/mmediting/configs/restorers/esrgan/esrgan_psnr_x4c64b23g32_g1_1000k_div2k.py /tmp/mmediting/work_dirs/esrgan_psnr_x4c64b23g32_1x16_1000k_div2k_20200420-bf5c993c.pth /mnt/e/test/005/$tgt /mnt/e/test/004/E_$tgt; done



Строка 228:		Строка 229:


	</syntaxhighlight><br />		</syntaxhighlight>


			Все виды алгоритмов из раздела Restoration

			===== EDSR =====
			x2
			PHOTO=($(ls /mnt/e/test/005))

			for tgt in "${PHOTO[@]}"; do python3 /tmp/mmediting/demo/restoration_demo.py /tmp/mmediting/configs/restorers/edsr/edsr_x2c64b16_g1_300k_div2k.py /tmp/mmediting/work_dirs/edsr/edsr_x2c64b16_1x16_300k_div2k_20200604-19fe95ea.pth /mnt/e/test/005/$tgt /mnt/e/test/004/E_$tgt; done


			x3
			PHOTO=($(ls /mnt/e/test/005))

			for tgt in "${PHOTO[@]}"; do python3 /tmp/mmediting/demo/restoration_demo.py /tmp/mmediting/configs/restorers/edsr/edsr_x3c64b16_g1_300k_div2k.py /tmp/mmediting/work_dirs/edsr/edsr_x3c64b16_1x16_300k_div2k_20200608-36d896f4.pth /mnt/e/test/005/$tgt /mnt/e/test/004/E_$tgt; done


			x4
			PHOTO=($(ls /mnt/e/test/005))

			for tgt in "${PHOTO[@]}"; do python3 /tmp/mmediting/demo/restoration_demo.py /tmp/mmediting/configs/restorers/edsr/edsr_x4c64b16_g1_300k_div2k.py /tmp/mmediting/work_dirs/edsr/edsr_x4c64b16_1x16_300k_div2k_20200608-3c2af8a3.pth /mnt/e/test/005/$tgt /mnt/e/test/004/E_$tgt; done
			<br />

			===== EDVR =====
			wotsa_x4
			PHOTO=($(ls /mnt/e/test/005))

			for tgt in "${PHOTO[@]}"; do python3 /tmp/mmediting/demo/restoration_demo.py /tmp/mmediting/configs/restorers/edvr/edvrm_wotsa_x4_g8_600k_reds.py /tmp/mmediting/work_dirs/EDVR/edvrm_wotsa_x4_8x4_600k_reds_20200522-0570e567.pth /mnt/e/test/005/$tgt /mnt/e/test/004/E_$tgt; done


			x4
			PHOTO=($(ls /mnt/e/test/005))

			for tgt in "${PHOTO[@]}"; do python3 /tmp/mmediting/demo/restoration_demo.py /tmp/mmediting/configs/restorers/edvr/edvrm_x4_g8_600k_reds.py /tmp/mmediting/work_dirs/EDVR/edvrm_x4_8x4_600k_reds_20200622-ba4a43e4.pth /mnt/e/test/005/$tgt /mnt/e/test/004/E_$tgt; done
			<br />

			===== srcnn =====
			<br />

			===== srresnet_srgan =====
			srgan_x4
			PHOTO=($(ls /mnt/e/test/005))

			for tgt in "${PHOTO[@]}"; do python3 /tmp/mmediting/demo/restoration_demo.py /tmp/mmediting/configs/restorers/srresnet_srgan/srgan_x4c64b16_g1_1000k_div2k.py /tmp/mmediting/work_dirs/SRResNetandSRGAN/srgan_x4c64b16_1x16_1000k_div2k_20200606-a1f0810e.pth /mnt/e/test/005/$tgt /mnt/e/test/004/E_$tgt; done


			msrresnet_x4
			PHOTO=($(ls /mnt/e/test/005))

			for tgt in "${PHOTO[@]}"; do python3 /tmp/mmediting/demo/restoration_demo.py /tmp/mmediting/configs/restorers/srresnet_srgan/msrresnet_x4c64b16_g1_1000k_div2k.py /tmp/mmediting/work_dirs/SRResNetandSRGAN/msrresnet_x4c64b16_1x16_300k_div2k_20200521-61556be5.pth /mnt/e/test/005/$tgt /mnt/e/test/004/E_$tgt; done

Владимир: /* MMEditing */

2020-07-20T17:10:16Z

MMEditing

← Предыдущая версия		Версия от 17:10, 20 июля 2020
Строка 210:		Строка 210:

	for tgt in "${PHOTO[@]}"; do python3 /tmp/mmediting/demo/restoration_demo.py /tmp/mmediting/configs/restorers/esrgan/esrgan_psnr_x4c64b23g32_g1_1000k_div2k.py /tmp/mmediting/work_dirs/esrgan_psnr_x4c64b23g32_1x16_1000k_div2k_20200420-bf5c993c.pth /mnt/e/test/005/$tgt /mnt/e/test/004/E_$tgt; done		for tgt in "${PHOTO[@]}"; do python3 /tmp/mmediting/demo/restoration_demo.py /tmp/mmediting/configs/restorers/esrgan/esrgan_psnr_x4c64b23g32_g1_1000k_div2k.py /tmp/mmediting/work_dirs/esrgan_psnr_x4c64b23g32_1x16_1000k_div2k_20200420-bf5c993c.pth /mnt/e/test/005/$tgt /mnt/e/test/004/E_$tgt; done


			Конфигурация '''\tmp\mmediting\configs\restorers\esrganesrgan_x4c64b23g32_g1_400k_div2k.py'''<syntaxhighlight lang="py3">
			scale = 4 # Коэффициент масштабирования для повышения частоты дискретизации, но он не работает, так как модель всегда на 4
			# настройки модели
			model = dict(
			type='ESRGAN', # Название модели
			generator=dict( # Конфиг генератора
			type='RRDBNet', # Тип генератора
			in_channels=3, # Номер канала входов
			out_channels=3, # Количество каналов выходов
			mid_channels=64, # Номер канала промежуточных функций
			num_blocks=23, # Номер блока в магистральной сети
			pixel_loss=dict(type='L1Loss', loss_weight=1e-2, reduction='mean'), # Конфиг для потери пикселей
			# модель обучения и настройки тестирования
			train_cfg = None # Конфигурация обучения


			</syntaxhighlight><br />

Владимир: /* MMEditing */

2020-07-20T16:29:14Z

MMEditing

← Предыдущая версия		Версия от 16:29, 20 июля 2020
Строка 205:		Строка 205:
	for tgt in "${PHOTO[@]}"; do python3 /tmp/mmediting/demo/restoration_demo.py /tmp/mmediting/configs/restorers/esrgan/esrgan_x4c64b23g32_g1_400k_div2k.py /tmp/mmediting/work_dirs/esrgan_x4c64b23g32_1x16_400k_div2k_20200508-f8ccaf3b.pth /mnt/e/test/005/$tgt /mnt/e/test/004/E_$tgt; done		for tgt in "${PHOTO[@]}"; do python3 /tmp/mmediting/demo/restoration_demo.py /tmp/mmediting/configs/restorers/esrgan/esrgan_x4c64b23g32_g1_400k_div2k.py /tmp/mmediting/work_dirs/esrgan_x4c64b23g32_1x16_400k_div2k_20200508-f8ccaf3b.pth /mnt/e/test/005/$tgt /mnt/e/test/004/E_$tgt; done
	В целом это все. Сеть работает и обрабатывает.		В целом это все. Сеть работает и обрабатывает.


			для изображений чуть больше

			for tgt in "${PHOTO[@]}"; do python3 /tmp/mmediting/demo/restoration_demo.py /tmp/mmediting/configs/restorers/esrgan/esrgan_psnr_x4c64b23g32_g1_1000k_div2k.py /tmp/mmediting/work_dirs/esrgan_psnr_x4c64b23g32_1x16_1000k_div2k_20200420-bf5c993c.pth /mnt/e/test/005/$tgt /mnt/e/test/004/E_$tgt; done

Владимир в 14:44, 20 июля 2020

2020-07-20T14:44:20Z

Внесённые изменения

Владимир: /* MMEditing */

2020-07-20T14:21:54Z

MMEditing

← Предыдущая версия		Версия от 14:21, 20 июля 2020
Строка 161:		Строка 161:
	conda create -n open-mmlab python=3.7 -y		conda create -n open-mmlab python=3.7 -y
	conda activate open-mmlab		conda activate open-mmlab
	~~conda install -c pytorch pytorch torchvision -y~~

	~~cd /tmp~~

	~~git clone <nowiki>https://github.com/open-mmlab/mmediting.git</nowiki>~~

	~~cd /tmp/mmediting/~~

			conda install -c pytorch pytorch torchvision -y
			cd /tmp
			git clone <nowiki>https://github.com/open-mmlab/mmediting.git</nowiki>
			cd /tmp/mmediting/
	Теперь нам нужно скачать обученную нейросеть и конфиг к ней. Скачиваем [https://github.com/open-mmlab/mmediting/tree/master/configs/restorers/esrgan от сюда].		Теперь нам нужно скачать обученную нейросеть и конфиг к ней. Скачиваем [https://github.com/open-mmlab/mmediting/tree/master/configs/restorers/esrgan от сюда].

	создаем патолог '''work_dirs''' внутри папки '''mmediting''' и переходим в неё:		создаем патолог '''work_dirs''' внутри папки '''mmediting''' и переходим в неё:
			mkdir /tmp/mmediting/work_dirs
	mkdir /tmp/mmediting/work_dirs		cd /tmp/mmediting/work_dirs
			Скачиваем туда нейросеть с помощью '''wget''' или вручную с облака и перемещаем самостоятельно.
	cd /tmp/mmediting/work_dirs

	Скачиваем туда нейросеть с помощью wget или вручную с облака и перемещаем самостоятельно.
	wget <nowiki>https://openmmlab.oss-accelerate.aliyuncs.com/mmediting/restorers/esrgan/esrgan_x4c64b23g32_1x16_400k_div2k_20200508-f8ccaf3b.pth</nowiki>		wget <nowiki>https://openmmlab.oss-accelerate.aliyuncs.com/mmediting/restorers/esrgan/esrgan_x4c64b23g32_1x16_400k_div2k_20200508-f8ccaf3b.pth</nowiki>
	wget <nowiki>https://openmmlab.oss-accelerate.aliyuncs.com/mmediting/restorers/esrgan/esrgan_psnr_x4c64b23g32_1x16_1000k_div2k_20200420-bf5c993c.pth</nowiki>		wget <nowiki>https://openmmlab.oss-accelerate.aliyuncs.com/mmediting/restorers/esrgan/esrgan_psnr_x4c64b23g32_1x16_1000k_div2k_20200420-bf5c993c.pth</nowiki>
	Скачиваем в папку cd /tmp/mmediting/configs/restorers/esrgan/ конфиги. Там уже находятся можно их заменить, удалив и загрузив по новой.		Скачиваем в папку '''cd /tmp/mmediting/configs/restorers/esrgan/''' конфиги. Там уже находятся можно их заменить, удалив и загрузив по новой.
	cd /tmp/mmediting/configs/restorers/esrgan/		cd /tmp/mmediting/configs/restorers/esrgan/
	rm esrgan_psnr_x4c64b23g32_g1_1000k_div2k.py		rm esrgan_psnr_x4c64b23g32_g1_1000k_div2k.py
Строка 188:		Строка 182:
	wget <nowiki>https://raw.githubusercontent.com/open-mmlab/mmediting/master/configs/restorers/esrgan/esrgan_psnr_x4c64b23g32_g1_1000k_div2k.py</nowiki>		wget <nowiki>https://raw.githubusercontent.com/open-mmlab/mmediting/master/configs/restorers/esrgan/esrgan_psnr_x4c64b23g32_g1_1000k_div2k.py</nowiki>
	wget <nowiki>https://raw.githubusercontent.com/open-mmlab/mmediting/master/configs/restorers/esrgan/esrgan_x4c64b23g32_g1_400k_div2k.py</nowiki>		wget <nowiki>https://raw.githubusercontent.com/open-mmlab/mmediting/master/configs/restorers/esrgan/esrgan_x4c64b23g32_g1_400k_div2k.py</nowiki>
	устанавливаем по requirements.txt		устанавливаем по '''requirements.txt'''
	pip install -r requirements.txt		pip install -r requirements.txt
	pip install -v -e .		pip install -v -e .
Строка 198:		Строка 192:

	Команда выглядит так:		Команда выглядит так:
			PHOTO=($(ls папка с картинками))
	PHOTO=($(ls папка с картинками))
			for tgt in "${PHOTO[@]}"; do python3
	for tgt in "${PHOTO[@]}"; do python3		/tmp/mmediting/demo/restoration_demo.py
			/tmp/mmediting/configs/restorers/esrgan/esrgan_x4c64b23g32_g1_400k_div2k.py
	/tmp/mmediting/demo/restoration_demo.py /tmp/mmediting/configs/restorers/esrgan/esrgan_x4c64b23g32_g1_400k_div2k.py /tmp/mmediting/work_dirs/esrgan_x4c64b23g32_1x16_400k_div2k_20200508-f8ccaf3b.pth		/tmp/mmediting/work_dirs/esrgan_x4c64b23g32_1x16_400k_div2k_20200508-f8ccaf3b.pth
			/папка откуда берем картинки/$tgt
	/папка откуда берем картинки/$tgt		/папка выхода/E_$tgt;
			done
	/папка выхода/E_$tgt;

	done

	Выглядит это так:		Выглядит это так:
	for tgt in "${PHOTO[@]}"; do python3 /tmp/mmediting/demo/restoration_demo.py /tmp/mmediting/configs/restorers/esrgan/esrgan_x4c64b23g32_g1_400k_div2k.py /tmp/mmediting/work_dirs/esrgan_x4c64b23g32_1x16_400k_div2k_20200508-f8ccaf3b.pth /mnt/e/test/005/$tgt /mnt/e/test/004/E_$tgt; done		for tgt in "${PHOTO[@]}"; do python3 /tmp/mmediting/demo/restoration_demo.py /tmp/mmediting/configs/restorers/esrgan/esrgan_x4c64b23g32_g1_400k_div2k.py /tmp/mmediting/work_dirs/esrgan_x4c64b23g32_1x16_400k_div2k_20200508-f8ccaf3b.pth /mnt/e/test/005/$tgt /mnt/e/test/004/E_$tgt; done

Владимир: /* MMEditing */

2020-07-20T08:33:30Z

MMEditing

← Предыдущая версия		Версия от 08:33, 20 июля 2020
Строка 154:		Строка 154:
	Опирался на [https://www.digitalocean.com/community/tutorials/how-to-install-anaconda-on-ubuntu-18-04-quickstart-ru этот] мануал.		Опирался на [https://www.digitalocean.com/community/tutorials/how-to-install-anaconda-on-ubuntu-18-04-quickstart-ru этот] мануал.

	==== Python 3 ====		====Python 3====
	Проверим установлен ли python и версию.		Проверим установлен ли python и версию.
	python3 --version		python3 --version

	==== MMEditing ====		====MMEditing====
	conda create -n open-mmlab python=3.7 -y		conda create -n open-mmlab python=3.7 -y
	conda activate open-mmlab		conda activate open-mmlab
Строка 191:		Строка 191:
	pip install -r requirements.txt		pip install -r requirements.txt
	pip install -v -e .		pip install -v -e .
	~~<br~~ />		Готово MMEditing установлен.

			Теперь для запуска нужно :

			Задача состояла в том что требуется выполнять массив изображений

			Команда выглядит так:

			PHOTO=($(ls папка с картинками))

			for tgt in "${PHOTO[@]}"; do python3

			/tmp/mmediting/demo/restoration_demo.py /tmp/mmediting/configs/restorers/esrgan/esrgan_x4c64b23g32_g1_400k_div2k.py /tmp/mmediting/work_dirs/esrgan_x4c64b23g32_1x16_400k_div2k_20200508-f8ccaf3b.pth

			/папка откуда берем картинки/$tgt

			/папка выхода/E_$tgt;

			done

			Выглядит это так:
			for tgt in "${PHOTO[@]}"; do python3 /tmp/mmediting/demo/restoration_demo.py /tmp/mmediting/configs/restorers/esrgan/esrgan_x4c64b23g32_g1_400k_div2k.py /tmp/mmediting/work_dirs/esrgan_x4c64b23g32_1x16_400k_div2k_20200508-f8ccaf3b.pth /mnt/e/test/005/$tgt /mnt/e/test/004/E_$tgt; done

Владимир: /* Запуск приложений CUDA (Тест) */

2020-07-20T08:19:12Z

Запуск приложений CUDA (Тест)

@@ Строка 143: / Строка 143: @@
 Если взята ссылка с сайта то:
   cd /tmp
-  curl -O <nowiki>https://repo.anaconda.com/archive/Anaconda2-2019.10-Linux-x86_64.sh</nowiki>
+  wget <nowiki>https://repo.anaconda.com/archive/Anaconda3-2020.02-Linux-x86_64.sh</nowiki>
 Загрузился скрипт установки .sh в папку '''/tmp'''. Если файл скачан самостоятельно, то его нужно переместить в '''/tmp'''.
 Выполняем скрипт установки:
-  bash Anaconda2-2019.10-Linux-x86_64.sh
+  bash Anaconda3-2020.02-Linux-x86_64
 При установке соглашаемся с и отвечаем '''yes'''.
@@ Строка 154: / Строка 154: @@
 Опирался на [https://www.digitalocean.com/community/tutorials/how-to-install-anaconda-on-ubuntu-18-04-quickstart-ru этот] мануал.
 <br />

Владимир: /* Настройка CUDA Toolkit */

2020-07-20T03:04:10Z

Настройка CUDA Toolkit

← Предыдущая версия		Версия от 03:04, 20 июля 2020
Строка 106:		Строка 106:
	sudo sh -c 'echo "deb <nowiki>http://developer.download.nvidia.com/compute/cuda/repos/ubuntu1804/x86_64</nowiki> /" > /etc/apt/sources.list.d/cuda.list'		sudo sh -c 'echo "deb <nowiki>http://developer.download.nvidia.com/compute/cuda/repos/ubuntu1804/x86_64</nowiki> /" > /etc/apt/sources.list.d/cuda.list'
	sudo apt-get update		sudo apt-get update
			sudo apt-get upgrade
	Теперь установите CUDA. Устанавливаем именно 11.0, только данная версия работает с WSL2		Теперь установите CUDA. Устанавливаем именно 11.0, только данная версия работает с WSL2
	sudo apt-get install -y cuda-toolkit-11-0		sudo apt-get install -y cuda-toolkit-11-0