Bandit-v2 - Инференс - История изменений

Владимир: /* Исходный код */

2026-01-16T07:39:45Z

Исходный код

Владимир: /* Исходный код */

2026-01-16T07:39:23Z

Исходный код

← Предыдущая версия		Версия от 07:39, 16 января 2026
Строка 1:		Строка 1:

	= Запуск инференса модели Bandit-v2 для аудио сепарации =		= Запуск инференса модели Bandit-v2 для аудио сепарации =

	== Суть задачи ==		== Суть задачи ==
	В данной статье описывается процесс настройки и запуска инференса нейросетевой модели '''Bandit-v2''' из репозитория [https://github.com/kwatcharasupat/bandit-v2 kwatcharasupat/bandit-v2] для задачи '''Cinematic Audio Source Separation''' — разделения аудиодорожки на составляющие: речь (speech), музыку (music) и звуковые эффекты (sfx).		В данной статье описывается процесс настройки и запуска инференса нейросетевой модели '''Bandit-v2''' из репозитория [https://github.com/kwatcharasupat/bandit-v2 kwatcharasupat/bandit-v2] для задачи '''Cinematic Audio Source Separation''' — разделения аудиодорожки на составляющие: речь (speech), музыку (music) и звуковые эффекты (sfx).
Строка 48:		Строка 47:

	== Процесс формирования рабочего решения ==		== Процесс формирования рабочего решения ==

	=== Проблема 1: Netflix-специфичные зависимости ===		=== Проблема 1: Netflix-специфичные зависимости ===
	Файл <code>requirements.txt</code> содержит ссылки на приватный PyPI сервер Netflix:<pre>		Файл <code>requirements.txt</code> содержит ссылки на приватный PyPI сервер Netflix:<pre>
Строка 87:		Строка 85:

	== Исходный код ==		== Исходный код ==
	{~~{Спойлер~~\|~~Заголовок~~=simple_inference.py\|~~Содержимое=~~<syntaxhighlight lang="python">		{\| class="mw-collapsible mw-collapsed wikitable"
			!simple_inference.py
			\|-
			\|<syntaxhighlight lang="python">
	# ВСТАВЬТЕ КОД ЗДЕСЬ		# ВСТАВЬТЕ КОД ЗДЕСЬ
	</syntaxhighlight>}}		</syntaxhighlight>
			\|}

	== Описание simple_inference.py ==		== Описание simple_inference.py ==
Строка 127:		Строка 129:

	== Инструкция по установке ==		== Инструкция по установке ==

	=== Требования ===		=== Требования ===

Строка 142:		Строка 143:

	=== Шаг 2: Установка PyTorch с CUDA 11.8 ===		=== Шаг 2: Установка PyTorch с CUDA 11.8 ===
	{{Внимание\|Версия PyTorch 2.0.0 из оригинального requirements.txt больше недоступна. Используйте 2.5.0 или новее.}}<pre>		'''Внимание:''' Версия PyTorch 2.0.0 из оригинального requirements.txt больше недоступна. Используйте 2.5.0 или новее.<pre>
	pip install torch==2.5.0+cu118 torchaudio==2.5.0+cu118 --extra-index-url https://download.pytorch.org/whl/cu118		pip install torch==2.5.0+cu118 torchaudio==2.5.0+cu118 --extra-index-url https://download.pytorch.org/whl/cu118
	</pre>		</pre>

	=== Шаг 3: Установка зависимостей ===		=== Шаг 3: Установка зависимостей ===
	{{Внимание\|Пакет <code>asteroid</code> требует сборки <code>pesq</code> с Visual C++ Build Tools. Для инференса он не нужен, поэтому не устанавливаем.}}<pre>		'''Внимание:''' Пакет <code>asteroid</code> требует сборки <code>pesq</code> с Visual C++ Build Tools. Для инференса он не нужен, поэтому не устанавливаем.<pre>
	pip install "pytorch_lightning>=2.3.0" hydra-core omegaconf librosa soundfile einops tqdm julius huggingface-hub pyyaml scipy pandas		pip install "pytorch_lightning>=2.3.0" hydra-core omegaconf librosa soundfile einops tqdm julius huggingface-hub pyyaml scipy pandas
	</pre>		</pre>
Строка 164:		Строка 165:

	== Инструкция по запуску ==		== Инструкция по запуску ==

	=== Активация окружения ===		=== Активация окружения ===
	<pre>		<pre>

Владимир: Новая страница: « = Запуск инференса модели Bandit-v2 для аудио сепарации = == Суть задачи == В данной статье описывается процесс настройки и запуска инференса нейросетевой модели '''Bandit-v2''' из репозитория [https://github.com/kwatcharasupat/bandit-v2 kwatcharasupat/bandit-v2] для задачи '''Cinematic Audio Source Separation'''...»

2026-01-16T07:37:42Z

Новая страница: « = Запуск инференса модели Bandit-v2 для аудио сепарации = == Суть задачи == В данной статье описывается процесс настройки и запуска инференса нейросетевой модели '''Bandit-v2''' из репозитория [https://github.com/kwatcharasupat/bandit-v2 kwatcharasupat/bandit-v2] для задачи '''Cinematic Audio Source Separation'''...»

Новая страница

= Запуск инференса модели Bandit-v2 для аудио сепарации =

== Суть задачи ==
В данной статье описывается процесс настройки и запуска инференса нейросетевой модели '''Bandit-v2''' из репозитория [https://github.com/kwatcharasupat/bandit-v2 kwatcharasupat/bandit-v2] для задачи '''Cinematic Audio Source Separation''' — разделения аудиодорожки на составляющие: речь (speech), музыку (music) и звуковые эффекты (sfx).

Проект изначально разработан для внутренней инфраструктуры Netflix и содержит зависимости от закрытых пакетов, что делает прямой запуск невозможным. В статье представлено рабочее решение для запуска инференса на локальной машине с GPU.

'''Результат работы:''' скрипт <code>simple_inference.py</code>, позволяющий обрабатывать аудиофайлы любой длительности со скоростью ~17x realtime на RTX 4090.

== О проекте Bandit-v2 ==
'''Bandit''' (Band-Split RNN) — архитектура нейросети для разделения аудио на источники. Основные особенности:

* '''Band-Split подход''' — спектрограмма делится на 64 частотных диапазона (bands), каждый обрабатывается отдельно
* '''Dual-path RNN''' — последовательная обработка по временной и частотной осям с использованием GRU
* '''Mask Estimation''' — для каждого stem (речь/музыка/sfx) предсказывается комплексная маска

'''Технические характеристики модели:'''
{| class="wikitable"
!Параметр
!Значение
|-
|Sample rate
|48000 Hz
|-
|n_bands
|64
|-
|n_fft
|2048
|-
|hop_length
|512
|-
|emb_dim
|128
|-
|rnn_dim
|256
|-
|rnn_type
|GRU (bidirectional)
|-
|n_sqm_modules
|8
|}
'''Веса модели''' доступны на Zenodo: [https://zenodo.org/records/12701995 checkpoint-multi.ckpt]

== Процесс формирования рабочего решения ==

=== Проблема 1: Netflix-специфичные зависимости ===
Файл <code>requirements.txt</code> содержит ссылки на приватный PyPI сервер Netflix:<pre>
--index-url https://pypi.netflix.net/simple
</pre>И пакеты: <code>nflx-manta</code>, <code>nflx-metaflow</code>, <code>jasper</code>, <code>storage</code>, <code>metatron</code> и др.

'''Решение:''' Установка только минимально необходимых публичных пакетов для инференса.

=== Проблема 2: Ray зависимость ===
Модуль <code>src/system/utils.py</code> импортирует Ray (распределённые вычисления), который не нужен для локального инференса.

'''Решение:''' Создан отдельный скрипт <code>simple_inference.py</code>, который напрямую импортирует модель без системных обёрток.

=== Проблема 3: Устаревший PyTorch ===
В requirements указан <code>torch==2.0.0+cu118</code>, который больше недоступен в PyPI.

'''Решение:''' Установлен <code>torch==2.5.0+cu118</code>.

=== Проблема 4: Ошибка сборки pesq ===
Пакет <code>asteroid</code> тянет зависимость <code>pesq</code>, требующую компиляции C++.

'''Решение:''' Пакет <code>asteroid</code> не устанавливается — он нужен только для метрик обучения, не для инференса.

=== Проблема 5: Чрезмерное потребление VRAM ===
Оригинальный <code>StandardTensorChunkedInferenceHandler</code> с <code>batch_size=32</code> и overlap 7 секунд (8с chunk, 1с hop) создаёт буфер на ~50GB.

'''Решение:''' Реализован простой chunked подход с последовательной обработкой чанков (30с chunk, 2с overlap), потребление VRAM снижено до ~2GB.

=== Проблема 6: Stereo обработка ===
Модель обучена с <code>in_channels=1</code> (mono). При подаче stereo возникает ошибка LayerNorm.

'''Решение:''' Каждый канал stereo обрабатывается отдельно, результаты объединяются.

=== Проблема 7: Half precision (FP16) ===
Прямая конвертация модели в <code>.half()</code> вызывает ошибку типов в LayerNorm.

'''Решение:''' Используется <code>torch.cuda.amp.autocast()</code> для автоматического mixed precision.

== Исходный код ==
{{Спойлер|Заголовок=simple_inference.py|Содержимое=<syntaxhighlight lang="python">
# ВСТАВЬТЕ КОД ЗДЕСЬ
</syntaxhighlight>}}

== Описание simple_inference.py ==
Скрипт состоит из трёх основных функций:

=== create_model() ===
Создаёт экземпляр модели Bandit с параметрами, соответствующими checkpoint:

* <code>in_channels=1</code> — mono (stereo обрабатывается поканально)
* <code>n_bands=64</code>, <code>n_sqm_modules=8</code>
* <code>n_fft=2048</code>, <code>hop_length=512</code>
* <code>fs=48000</code>

=== simple_chunked_inference() ===
Обрабатывает аудио чанками с crossfade:

# Аудио делится на чанки (по умолчанию 30 секунд)
# Соседние чанки перекрываются (по умолчанию 2 секунды)
# В зоне перекрытия применяется линейный crossfade
# Каждый чанк обрабатывается отдельно, результат сразу переносится на CPU
# GPU кэш очищается после каждого чанка

=== run_inference() ===
Основная функция:

# Загружает модель и веса из checkpoint
# Загружает аудио (с ресемплингом если нужно)
# Для stereo — обрабатывает каждый канал отдельно
# Сохраняет результаты в отдельные WAV файлы для каждого stem

'''Особенности реализации:'''

* Autocast mixed precision для ускорения без проблем с типами
* Минимальное потребление VRAM (~2GB на 30-секундный чанк)
* Поддержка произвольной длительности аудио
* Сохранение stereo (не конвертируется в mono)

== Инструкция по установке ==

=== Требования ===

* Windows 10/11 или Linux
* NVIDIA GPU с поддержкой CUDA 11.8
* Anaconda или Miniconda
* ~3GB свободного места для PyTorch

=== Шаг 1: Создание conda окружения ===
<pre>
conda create -n bandit-v2 python=3.10 -y
conda activate bandit-v2
</pre>

=== Шаг 2: Установка PyTorch с CUDA 11.8 ===
{{Внимание|Версия PyTorch 2.0.0 из оригинального requirements.txt больше недоступна. Используйте 2.5.0 или новее.}}<pre>
pip install torch==2.5.0+cu118 torchaudio==2.5.0+cu118 --extra-index-url https://download.pytorch.org/whl/cu118
</pre>

=== Шаг 3: Установка зависимостей ===
{{Внимание|Пакет <code>asteroid</code> требует сборки <code>pesq</code> с Visual C++ Build Tools. Для инференса он не нужен, поэтому не устанавливаем.}}<pre>
pip install "pytorch_lightning>=2.3.0" hydra-core omegaconf librosa soundfile einops tqdm julius huggingface-hub pyyaml scipy pandas
</pre>

=== Шаг 4: Клонирование репозитория ===
<pre>
git clone https://github.com/kwatcharasupat/bandit-v2.git
cd bandit-v2
</pre>

=== Шаг 5: Скачивание весов модели ===
Скачайте <code>checkpoint-multi.ckpt</code> с [https://zenodo.org/records/12701995 Zenodo] и поместите в удобное место.

=== Шаг 6: Добавление simple_inference.py ===
Скопируйте скрипт <code>simple_inference.py</code> (см. раздел "Исходный код") в корень репозитория <code>bandit-v2/</code>.

== Инструкция по запуску ==

=== Активация окружения ===
<pre>
conda activate bandit-v2
cd путь/к/bandit-v2
</pre>

=== Базовый запуск ===
<pre>
python simple_inference.py -c "путь/к/checkpoint-multi.ckpt" -a "путь/к/аудио.wav"
</pre>

=== Полный синтаксис ===
<pre>
python simple_inference.py \
--checkpoint "путь/к/checkpoint-multi.ckpt" \
--audio "путь/к/аудио.wav" \
--output "путь/к/выходной/папке" \
--chunk 30 \
--overlap 2 \
--stems speech music sfx
</pre>
{| class="wikitable"
!Параметр
!По умолчанию
!Описание
|-
|<code>-c, --checkpoint</code>
|(обязательный)
|Путь к файлу весов .ckpt
|-
|<code>-a, --audio</code>
|(обязательный)
|Путь к входному аудиофайлу
|-
|<code>-o, --output</code>
|./estimates/
|Папка для выходных файлов
|-
|<code>--chunk</code>
|30.0
|Размер чанка в секундах
|-
|<code>--overlap</code>
|2.0
|Размер перекрытия в секундах
|-
|<code>--stems</code>
|speech music sfx
|Список stem для разделения
|-
|<code>--fs</code>
|48000
|Sample rate (менять не рекомендуется)
|-
|<code>--no-half</code>
|False
|Отключить mixed precision
|}

=== Пример вывода ===
<pre>
GPU: NVIDIA GeForce RTX 4090
VRAM: 22.5 GB

=== Config ===
Chunk: 30.0s, Overlap: 2.0s
Half precision: True

=== Loading Model ===
Model loaded

=== Loading Audio ===
Duration: 420.5s, Channels: 2, SR: 48000

=== Inference ===
Processing channel 1/2...
Processing: 100%|████████████████| 15/15 [00:12<00:00, 1.20it/s]
Processing channel 2/2...
Processing: 100%|████████████████| 15/15 [00:12<00:00, 1.21it/s]

Done in 24.9s (16.9x realtime)
Peak VRAM: 1.99 GB

=== Saving ===
speech_estimate.wav
music_estimate.wav
sfx_estimate.wav

Complete!
</pre>

=== Выходные файлы ===
В указанной папке создаются три файла:

* <code>speech_estimate.wav</code> — речь/диалоги
* <code>music_estimate.wav</code> — музыка
* <code>sfx_estimate.wav</code> — звуковые эффекты

Все файлы сохраняются с тем же sample rate (48000 Hz) и количеством каналов, что и входной файл.