Please enable JavaScript.
Coggle requires JavaScript to display documents.
20.04.22 - Coggle Diagram
20.04.22
Как вообще анализируют фильтры?
Deconvolution saliency
Spectrogram saliency
Скорее всего сложнее, чем просто изображение -- очень маленькие фичи
Нужен какой-то saliency метод для маленьких фичей
Embed high low level features
Deeply supervised salient object detection with short
connections
Основной поиск: нужно найти что-то характерное для спектрограмм (нельзя просто использовать saliency методы,
нужны какие-то ориентиры
)
Если понял, что нужно: Spectrogram saliency + Deconvolution
Какие задачи есть в звуке
Variable length to fixed lenght NN
Спектрограмма спектрограммы
Encoder: получить фиксированное представление
Saliency на encoded
(подсветить которые сильнее)
Декодировать saliency
Через GlobalPooling
: отдельно для частот, отдельно для времени (но тогда тоже будет variable length)
Но нужно, чтобы спектрограммы были в одном формате: если по разному растянуты, то непонятно, как их сравнивать
3D:
https://arxiv.org/pdf/1807.04514.pdf
PatternNet loss: проверяем все картинки для каждого паттерна
Но тогда почему паттерны не перемешиваются на одном столбце?
потому что Случайная инициализация?
Отличия в рейтингах: из-за разной выраженности каждого паттерна
Как все-таки адаптировать под регрессию?
Как вообще ищут паттерны (в других областях)?
Pattern mining
Регуляризация L1 (не L2, чтобы обнулялись) Ограничение
decoding
фильтров
Разные shape фильтров
Spectrogram autoencoder Особенности для спектрограмм