Please enable JavaScript.
Coggle requires JavaScript to display documents.
Một nền tảng dành cho Phân cụm ràng buộc sâu - Coggle Diagram
Một nền tảng dành cho
Phân cụm ràng buộc sâu
Giới thiệu
Vượt trội hơn phương pháp "Phân cụm ràng buộc không sâu" tiêu chuẩn
Khắc phục ảnh hưởng tiêu cực của tập các ràng buộc đơn
Chỉ ra cách tạo các ràng buộc bộ 3 và cách học từ nhiều ràng buộc cùng lúc
Đề xuất công thức để hỗ trợ mã hoá ràng buộc
tiêu chuẩn và nhiều loại ràng buộc mới
Bền vững và có thể mở rộng
Tiến hành nghiên cứu loại bỏ thành phần và phân tích vai trò của thành phần đó trong thuật toán
Những lợi ích của DeepLearning được áp dụng vào nền tảng
Tuy có nhiều lợi ích hơn hạn chế nhưng vẫn có những thách thức
Nghiên cứu liên quan
Phân cụm sâu với ràng buộc đôi
Mạng phân cụm không giám sát
Trích xuất ràng buộc của cặp dữ liệu bằng cách phân tích tham số k lân cận gần nhất (KNN), sử dụng cặp này là ràng buộc chung nhóm, mở rộng thành phân cụm bán giám sát
Phân cụm bán giám sát sử dụng mạng Siamese (SNN) chứa hai hoặc nhiều mạng con giống hệt nhau, để biểu diễn dữ liệu và cặp ràng buộc, duy trì tính trung thực của dữ liệu đầu vào
Sử dụng kỹ thuật Alternating Direction Method of Multipliers (ADMM) để tách biệt LossFn phân cụm và LossFn biểu diễn,
tăng tính linh hoạt hệ thống để áp dụng các kiến trúc mạng mới
Mạng phân cụm bán giám sát
Không có một trung tâm phân cụm rõ ràng,
mạng sẽ tự tìm cách tốt nhất để phân cụm và
thực nghiệm để chứng minh tính bền vững
Xây dựng hàm chi phí theo cách kết hợp
phân kỳ Kullback-Leibler đối sánh
Giảm khoảng cách giữa các cụm giống nhau,
tăng với các cụm khác nha
Giảm thiểu các giả định
Sử dụng chỉ 1 phép đo để xác định
độ giống nhau của dữ liệu
Quan hệ giữa các điểm dữ liệu
được bảo toàn
Dữ liệu đã theo 1 phân bố cụ thể
Dữ liệu đã có cấu trúc nhất định
Có thể phân cụm trực tiếp tại lớp output
Tăng độ phân kỳ với các cặp ràng buộc khác nhau
Giảm độ phân kỳ các cặp ràng buộc giống nhau
Ràng buộc phân cụm
Thông tin bổ sung (thường là dữ liệu có nhãn) có thể cải thiện hiệu suất nhằm hỗ trợ thuật toán phân cụm
Phân cụm sâu
Được thúc đẩy bởi thành công của mạng Nơ-ron
(trong DeepLearning)
Nội dung chính
Các loại ràng buộc
Ràng buộc đôi
must-link: 2 dữ liệu phải cùng một cụm
Ví dụ: ảnh con mèo trắng và ảnh con mèo đen
not-link: 2 dữ liệu phải khác cụm
Ví dụ: ảnh con mèo và ảnh con gấu
Ràng buộc độ khó dữ liệu
LossFn hỗ trợ hội tụ nhanh hơn trên các dữ liệu "dễ",
tăng độ bền vững cho mô hình trước các dữ liệu "khó"
"Chuyên gia" sẽ chỉ định độ khó cho dữ liệu
dựa vào những bộ tiêu chí
Ràng buộc ba
Gồm 3 dữ liệu: "gốc", "tương tự", "không tương tự"
Dữ liệu "gốc" phải gần dữ liệu "tương tự" hơn "không tương tự"
Có ích khi không có nhãn rõ ràng mà chỉ có thông tin so sánh
Ví dụ: Ảnh "con mèo" là "gốc",
ảnh "con báo" sẽ tương đồng hơn ảnh "con sư tử"
Ràng buộc kích thước của cụm
Kích thước mỗi cụm gần bằng nhau
LossFn làm giảm chênh lệch kích thước giữa các cụm so với thực tế
Phân cụm nhúng sâu
Điều chỉnh phương pháp phân cụm nhúng sâu (deep embedded clustering - DEC)
Định nghĩa LossFn để mạng có thể tự huấn luyện
Chuyển đổi phân bố mềm sang cứng
Áp dụng công thức ràng buộc
Thiết lập tâm cụm ban đầu theo K-means
Ngăn chặn "Giải pháp tầm thường"
(Tất cả dữ liệu chung 1 cụm)
Nguyên nhân
Ràng buộc must-link yêu cầu dữ liệu phải chung 1 cụm
Có nguy cơ tất cả dữ liệu sẽ bị gán về 1 cụm
Giải pháp
Kết hợp hàm mất mát tái tạo (reconstruction loss)
và hàm mất mát must-link (must-link loss)
Reconstruction loss đảm bảo rằng thông tin ban đầu của dữ liệu được giữ lại càng nhiều càng tốt
Must-link loss đảm bảo rằng các điểm dữ liệu có mối liên kết "must-link" sẽ được gán vào cùng một cụm