Please enable JavaScript.
Coggle requires JavaScript to display documents.
Unsupervised Learning by Predicting Noise (NAT Framework) - Coggle Diagram
Unsupervised Learning by Predicting Noise (NAT Framework)
Masalah: CNN biasanya membutuhkan data berlabel dalam jumlah besar untuk pelatihan.
Solusi: Menggunakan pendekatan unsupervised learning untuk menghasilkan fitur visual tanpa supervisi, menghindari bias manusia dalam pelabelan data.
Metode sebelumnya:Self-supervision (menggunakan sinyal dari data itu sendiri) Clustering (K-means, diskriminatif) Autoencoders (Variational Autoencoders, Noisy Autoencoders) Generative Adversarial Networks (GANs)
Metodologi (NAT Framework)
Langkah-langkah:
Menggunakan representasi target yang tetap (fixed target representations).
Memetakan fitur visual ke target melalui pendekatan diskriminatif.
Menggunakan distribusi noise sebagai target (Noise As Targets - NAT).
Optimasi:
Menggunakan quadratic loss.
Memanfaatkan algoritma Hungarian untuk pembaruan batch secara online.
Memilih target secara acak di ruang berdimensi rendah.
Hasil & Temuan
Evaluasi:
Transfer learning ke tugas klasifikasi dan deteksi objek.
Perbandingan dengan pendekatan lain:
NAT melampaui BiGAN dan beberapa metode self-supervised lainnya. Kinerja serupa dengan metode clustering tetapi lebih sederhana.
Kelebihan NAT:
Sederhana dan cepat dibandingkan GAN dan autoencoders.
Tidak membutuhkan arsitektur kustom.
Dapat diskalakan ke dataset besar.
Kekurangan:
Masih tertinggal dibandingkan fitur buatan manusia (misalnya SIFT + Fisher Vectors).