Сервер Proxmox - История изменений

Владимир: /* Первичная настройка Proxmox. */

2025-04-12T18:29:40Z

Первичная настройка Proxmox.

← Предыдущая версия		Версия от 18:29, 12 апреля 2025
Строка 118:		Строка 118:
	Proxmox готов к работе.		Proxmox готов к работе.

			=== Репозитории ===
	Репозитории и обновление, актуально на версии 8.3		Репозитории и обновление, актуально на версии 8.3

Владимир: /* Первичная настройка Proxmox. */

2025-04-12T18:29:12Z

Первичная настройка Proxmox.

@@ Строка 117: / Строка 117: @@
   apt-get install mc -y
 Proxmox готов к работе.
 ===Настройка сети===

Владимир: /* Контейнеры */

2025-01-22T14:42:48Z

Контейнеры

← Предыдущая версия		Версия от 14:42, 22 января 2025
Строка 393:		Строка 393:

	Перво наперво, это создать пользователя. Это иногда требуется. Потому, по умолчанию есть только ROOT. Из за этого не работает ssh из коробки.		Перво наперво, это создать пользователя. Это иногда требуется. Потому, по умолчанию есть только ROOT. Из за этого не работает ssh из коробки.
	adduser ~~vova~~		adduser user
	Задаём ему пароль 2 раза. Будет вопрос по дополнительным данным, если ничего не нужно просто нажимаем ENTER. В конце соглашаем с тем что все правильно.		Задаём ему пароль 2 раза. Будет вопрос по дополнительным данным, если ничего не нужно просто нажимаем ENTER. В конце соглашаем с тем что все правильно.

	Дадим права пользователю		Дадим права пользователю
	usermod -a -G sudo ~~vova~~		usermod -a -G sudo user
	После чего можно попасть на нашу контейнер по ssh		После чего можно попасть на нашу контейнер по ssh

Строка 410:		Строка 410:

	Далее лучше всего сделать обновление:		Далее лучше всего сделать обновление:
	apt update		apt update

	apt upgrade -y		apt upgrade -y
Строка 430:		Строка 430:
	timedatectl		timedatectl
	Не лишним будет поставить MC		Не лишним будет поставить MC
	apt install mc		apt install mc -y


	Как оказалось еще нет '''ADD-APT-REPOSITORY'''		Как оказалось еще нет '''ADD-APT-REPOSITORY'''
	apt install software-properties-common		apt install software-properties-common -y

Владимир: /* Bcache */

2025-01-19T16:48:47Z

Bcache

← Предыдущая версия		Версия от 16:48, 19 января 2025
Строка 183:		Строка 183:
	==== Создание RAID 6 массива ====		==== Создание RAID 6 массива ====
	Тут на удивление всё просто. Я рассмотрю 2 варианта Raid0 и Raid6. Нулевой рейд мен пригодился при копировании всей информации с моих дисков, это сильно экономит время, а так же скорость хорошая. Использовать для временного переноса всего очень нужная тема.		Тут на удивление всё просто. Я рассмотрю 2 варианта Raid0 и Raid6. Нулевой рейд мен пригодился при копировании всей информации с моих дисков, это сильно экономит время, а так же скорость хорошая. Использовать для временного переноса всего очень нужная тема.
			apt update

			apt-get install mdadm

	mdadm --create /dev/md0 --level=6 --raid-devices=10 /dev/sd{a,b,c,d,e,...}		mdadm --create /dev/md0 --level=6 --raid-devices=10 /dev/sd{a,b,c,d,e,...}

Строка 219:		Строка 223:

	Создам bcache на дисках		Создам bcache на дисках
			apt-get install bcache-tools

	make-bcache -B /dev/md0		make-bcache -B /dev/md0
	Создам bcache на SSD диске		Создам bcache на SSD диске

Владимир: /* BTRFS */

2025-01-06T17:27:40Z

BTRFS

@@ Строка 211: / Строка 211: @@
 Производительность у данного способа веже выше. На одинаковом массиве данных этот способ показывает всегда одинаковый результат, в отличии от LVM.
 Опять же припомню мой случай:
@@ Строка 310: / Строка 308: @@
 Чтобы просмотреть логи в реальном времени, используйте команду:
   journalctl -u duperemove.service -f
 == NFS ==

Владимир: /* DD */

2025-01-06T15:22:15Z

← Предыдущая версия		Версия от 15:22, 6 января 2025
Строка 140:		Строка 140:

	== О моём хранилище ==		== О моём хранилище ==
	~~Чтож~~ - это большая тема! Со временем моё хранилище эволюционировало и модифицировалось. Начиналось всё с одного диска на 8 ~~террабайт~~, сейчас на ~~илюль~~ 2023 года хранилище состоит из 10 накопителей по 12 ~~террабайт~~ и одного NVME PCIe GEN 3 на 1 ~~террабайт~~ под ~~кеш~~.		Что-ж - это большая тема! Со временем моё хранилище эволюционировало и модифицировалось. Начиналось всё с одного диска на 8 терабайт, сейчас на июль 2023 года хранилище состоит из 10 накопителей по 12 терабайт и одного NVME PCIe GEN 3 на 1 терабайт под кэш.

	~~Сначачала~~ рейдов не было, но когда я купил 3 одинаковых накопителя, сразу же встал вопрос, какой рейд выбирать. На тот момент пал выбор именно на ZFS RAIDZ (аналог рейда 5), казался лучшим выбором. Затем через год ~~расщирился~~ до 5ти дисков, помучился с невозможностью расширить, пришлось искать накопители для переноса. на пяти дисках так же ~~осатвался~~ с аналогом рейда 5 от ZFS. Всё в общем то устраивало, но когда объем упал до 30 процентов, очень сильно стало сказываться на производительности. Так же ~~колличесво~~ оперативной памяти потреблялось ~~черезвычайно~~ много.		Сначала рейдов не было, но когда я купил 3 одинаковых накопителя, сразу же встал вопрос, какой рейд выбирать. На тот момент пал выбор именно на ZFS RAIDZ (аналог рейда 5), казался лучшим выбором. Затем через год расширился до 5ти дисков, помучился с невозможностью расширить, пришлось искать накопители для переноса. на пяти дисках так же оставался с аналогом рейда 5 от ZFS. Всё в общем то устраивало, но когда объем упал до 30 процентов, очень сильно стало сказываться на производительности. Так же количество оперативной памяти потреблялось чрезвычайно много.

	А так же очень затруднительная сложность найти ~~обеём~~ на стороне для сохранения информации, ~~застатвила~~ задуматься о ~~перехоже~~ на ~~дрйгой програмный~~ рейд, который бы позволил расширять себя налету. ~~Выбр~~ пал на MD рейд. В простонародье ~~NDADM~~.		А так же очень затруднительная сложность найти объём на стороне для сохранения информации, заставила задуматься о перехожее на другой программный рейд, который бы позволил расширять себя налету. Выбор пал на MD рейд. В простонародье MDADM.

	Куплено еще 5 накопителей. Сервер уже ~~насчитвает~~ 10 дисков. ~~Теоритическим~~ объемом 120 ~~террабайт~~. Умопомрачительные объёмы надо сказать, для одного человека.		Куплено еще 5 накопителей. Сервер уже насчитывает 10 дисков. Теоретическим объемом 120 терабайт. Умопомрачительные объёмы надо сказать, для одного человека.

	При данном колличесве накопителей надёжность всётаки уже кажется очень важной. Я уже готов пожертвовать 2 накопителя из ~~10 на четность~~. ~~Потому выбирается Raid6~~.		=== MD RAID ===
			RAID 6 — это уровень RAID, который обеспечивает отказоустойчивость при выходе из строя двух дисков одновременно. Это достигается за счет использования двойной четности. MD RAID хорошо подходит для RAID 6, но есть нюансы:

	~~Что в общем то и делается~~.		При данном количестве накопителей надёжность всё-таки уже кажется очень важной. Я уже готов пожертвовать 2 накопителя из 10 на четность. Потому выбирается Raid6.

	~~Вот небольшая инструкция как сделать~~.		* <code>mdadm</code> — это основная утилита для управления MD RAID. Она позволяет создавать, изменять, мониторить и восстанавливать массивы.

	~~Для начала нужно затереть все накопители~~. ~~Есть много способов, воспользоваться утилитой fdisk и удалить разделы и так далее:~~		* MD RAID поддерживает горячую замену дисков, что позволяет заменять вышедшие из строя устройства без остановки системы.

	=== DD ===		* Вы можете добавлять новые диски в массив и расширять его емкость.

			Если <code>mdadm</code> сообщает, что на дисках уже есть данные (например, остатки предыдущих RAID-массивов), необходимо очистить метаданные и подготовить диски перед созданием нового RAID-массива. Ниже приведена пошаговая инструкция по настройке RAID 6 на 10 дисках в Proxmox.

			==== DD ====
	Запись посекторно с начала диска значение нулей, смый жесткий метод.		Запись посекторно с начала диска значение нулей, смый жесткий метод.

Строка 167:		Строка 172:
	Про DD в данных рамках пока что все.		Про DD в данных рамках пока что все.

	=== wipefs ===		==== wipefs ====
	Сслучайно наткнулся на днную команду в посикаха разных способов стирать разделы.		Сслучайно наткнулся на днную команду в посикаха разных способов стирать разделы.

Строка 174:		Строка 179:
	Уже чувствительна к тому используется ли где то что нужно затереть. Но если всё свободно то отлично стирает все зписи о разделах.		Уже чувствительна к тому используется ли где то что нужно затереть. Но если всё свободно то отлично стирает все зписи о разделах.
	wipefs -a /dev/md1		wipefs -a /dev/md1
	----~~Вот такие способы. После отчистки дисков можно приступить к созданию самого массива.~~		----

			==== Создание RAID 6 массива ====
	Тут на удивление всё просто. Я рассмотрю 2 варианта Raid0 и Raid6. Нулевой рейд мен пригодился при копировании всей информации с моих дисков, это сильно экономит время, а так же скорость хорошая. Использовать для временного переноса всего очень нужная тема.		Тут на удивление всё просто. Я рассмотрю 2 варианта Raid0 и Raid6. Нулевой рейд мен пригодился при копировании всей информации с моих дисков, это сильно экономит время, а так же скорость хорошая. Использовать для временного переноса всего очень нужная тема.
	mdadm --create /dev/md0 --level=6 --raid-devices=10 /dev/sd{a,b,c,d,e,...}		mdadm --create /dev/md0 --level=6 --raid-devices=10 /dev/sd{a,b,c,d,e,...}
	~~'''--level=6''' - тип рейда 6 (всегда 2 диска в запасе), 0 (все диски - один большой диск)~~

	~~'''~~--raid-devices=10~~''' - количесво~~ дисков, в ~~моём случае 10~~		* <code>/dev/md0</code> — имя нового RAID-устройства.
			* <code>--level=6</code> — указывает, что создается RAID 6.
			* <code>--raid-devices=10</code> — количество дисков в массиве.
			* <code>/dev/sd{b..k}</code> — диски, которые будут использоваться в массиве.

	~~Далее перечислить диски~~

	После создания массива, происходит билдинг массива. Это не быстрый процесс. В этот момент уже можно вести запись на ~~созданый~~ массив. Но скорость будет снижена.		После создания массива, происходит билдинг массива. Это не быстрый процесс. В этот момент уже можно вести запись на созданный массив. Но скорость будет снижена.

	~~Псомтреть~~ статус можно ~~камандой~~:		Посмотреть статус можно командой:
	cat /proc/mdstat		cat /proc/mdstat
	А так же дополнительную информацию командой		А так же дополнительную информацию командой
	mdadm --detail /dev/md0		mdadm --detail /dev/md0
	Далее можно уже создать файловую систему на нашем рейд массиве		'''Сохраните конфигурацию RAID''':
	~~mkfs~~.~~ext4 /dev/md0~~		mdadm --detail --scan >> /etc/mdadm/mdadm.conf
			Далее можно уже создать файловую систему на нашем рейд массиве, но это уже совсем другая история.
	Но это уже в прошлом. Теперь нужно создать прослойку для того чтобы можно было задействовать SSD кеш.		Но это уже в прошлом. Теперь нужно создать прослойку для того чтобы можно было задействовать SSD кеш.

	В процессе я столкнулся с двумя способами реализации данного метода. Вообще их даже 3. ~~Превый~~ я описываю в другой статье, можно назвать его ZTF, так как эта ФС ~~поумолчанию~~ может в использование SSD накопителя для кеширования.		В процессе я столкнулся с двумя способами реализации данного метода. Вообще их даже 3. Первый я описываю в другой статье, можно назвать его ZTF, так как эта ФС по умолчанию может в использование SSD накопителя для кеширования.
	----		----

Владимир: /* LVM Cache */

2025-01-06T15:05:01Z

LVM Cache

Внесённые изменения

Владимир: /* О моём хранилище */

2025-01-06T15:02:00Z

О моём хранилище

← Предыдущая версия		Версия от 15:02, 6 января 2025
Строка 336:		Строка 336:

	Время покажет, будет ли всё хорошо.		Время покажет, будет ли всё хорошо.

			=== BTRFS ===
			Файловая система у меня выбрана как BTRFS (B-tree File System).

			О ней можно много чего почитать в интернатах. По тестам на пустом хранилище она показала хорошие результаты по скорости. Хотя на данный момент я могу поставить это под сомнение, так как попробовав воспользоваться протоколом NFS, в место SMB на Windows, я получил разительную разницу в скорости. Но на данный момент NFS на Windows в очень плохом техническом состоянии, поэтому, поживём увидим как это будет развиваться дальше.

			В итоге, что можно сказать о ФС. Есть возможность использовать сжатие, дедупликацию на уровне блоков.

			О втором и поговорим в первую очередь, я хочу сэкономить пространство бесплатно, и без регистрации, за счёт объединения одинаковых блоков.

			==== Дедупликация данных ====
			Возможность устранения дублирования данных для экономии места на диске (требует дополнительных инструментов, таких как <code>duperemove</code>)

			Дедупликация данных в BTRFS — это процесс устранения дублирующихся блоков данных, что позволяет экономить место на диске. Однако, в отличие от других файловых систем (например, ZFS), BTRFS не имеет встроенной поддержки дедупликации "на лету". Вместо этого дедупликация в BTRFS выполняется с помощью внешних инструментов, таких как '''<code>duperemove</code>''' или '''<code>bees</code>'''.
			apt install duperemove
			<code>duperemove</code> анализирует файлы на наличие дублирующихся блоков данных и сообщает о них ядру BTRFS, чтобы файловая система могла использовать общие блоки.
			duperemove -r -d /path/to/directory

			* '''<code>-r</code>''': Рекурсивный поиск в указанной директории.

			* '''<code>-d</code>''': Выполнить дедупликацию (без этого флага <code>duperemove</code> только сканирует файлы).

			===== Использование <code>ionice</code> для снижения приоритета I/O =====
			Утилита <code>ionice</code> управляет приоритетом ввода-вывода (I/O). Это особенно полезно, если дедупликация активно использует дисковые операции.

			Пример:
			ionice -c 3 nice -n 19 duperemove -r -d /mnt/meganas/

			* <code>-c 3</code>: Устанавливает класс I/O <code>idle</code> (наинизший приоритет). Процесс будет использовать I/O только тогда, когда другие процессы не активны/

			* <code>nice -n 19</code>: Дополнительно снижает приоритет CPU. Но это мне не так важно, процессорного времени у меня навалом.

			===== Использование <code>systemd</code> для управления фоновым процессом =====
			nano /etc/systemd/system/duperemove.service
			<syntaxhighlight lang="ini">
			[Unit]
			Description=Btrfs Deduplication with Duperemove
			After=network.target

			[Service]
			Type=simple
			ExecStart=/usr/bin/ionice -c 3 /usr/bin/duperemove -r -d -v /mnt/meganas/
			StandardOutput=journal
			StandardError=journal
			User=root

			[Install]
			WantedBy=multi-user.target
			</syntaxhighlight>

			* <code>-v</code>: Добавляет подробный вывод (verbose) для <code>duperemove</code>.

			systemctl daemon-reload

			systemctl start duperemove.service

			systemctl status duperemove.service
			Использование <code>journalctl</code>:

			Чтобы просмотреть логи в реальном времени, используйте команду:
			journalctl -u duperemove.service -f

	== ZFS на Proxmox ==		== ZFS на Proxmox ==

Владимир в 17:15, 1 июля 2023

2023-07-01T17:15:11Z

Внесённые изменения

Владимир в 07:28, 24 июня 2023

2023-06-24T07:28:33Z

← Предыдущая версия		Версия от 07:28, 24 июня 2023
Строка 332:		Строка 332:
	mkdir /media/nas		mkdir /media/nas
	перезагружаем контейнер		перезагружаем контейнер


			=== Установка NVIDIA - Ускорение в контейнерах. ===
			[https://gist.github.com/egg82/90164a31db6b71d36fa4f4056bbee2eb Ссылка]