Please enable JavaScript.

Coggle requires JavaScript to display documents.

Multimodal - Coggle Diagram

- - - - Dimensions of Heterogeneity
        
        Element representation các modality khác nhau sẽ biểu diễn đối tượng/khái niệm theo cách khác nhau.
        
        Discrete
        
        Continuous
        
        Granularity
        
        Element distributions
        
        Density
        
        Frequency
        
        Structure
        
        Temporal
        
        Spatial
        
        Latent
        
        Explicit
        
        Information
        
        Abstraction
        
        Entropy
        
        Noise
        
        Uncertainty
        
        Noise
        
        Missing data
        
        Relevance
    - - Abstract modality có xu hướng đồng nhất hơn, vì thường chia sẻ cấu trúc biểu diễn tương tự( sequence based, tokens,...). Trong khi ngược lại các raw modalities đã thể hiện rõ cách biểu diễn khác biệt ngay từ đầu.
  - - - Stronger: giao nhau lớn -> nhiều thông tin được chia sẻ -> dễ học mô hình modalites
      - Weaker: Giao nhau nhỏ -> ít thông tin chung -> khó học hơn
      - Unconnected: Không giao nhau -> không có thông tin chia sẻ, phải học riêng biệt.
    - - Thống kê: máy có thể học bằng correlation (tần suất, cùng lúc xuất hiện)
        
        Association: Hai feature modality xuất hiện cùng nhau nhưng không ảnh hưởng lẫn nhau. (ví dụ: hình ảnh bàn phím luôn xuất hiện cùng câu nói có chữ "máy tính")
        
        Dependency: Một modality ảnh hưởng đến cái kia, tức có mối quan hệ về mặt nhân quả, hoặc về mặt thời gian (ví dụ văn bản phụ thuộc vào nội dung và diễn biến video, cử chỉ tay khớp về thời gian với lời nói, cử chỉ miệng và âm thanh từ tương ứng)
      - Ngữ nghĩa: đòi hỏi hiểu ngữ nghĩa sâu
        
        Correspondence: Hai modality diễn tả cùng một thực thể (ví dụ hình ảnh máy tính luôn xuất hiện cừng với câu nói có chứ "máy tính", cả hai đều đại diện cho cùng một vật thể)
        
        Relationship: Hai modality có quan hệ chức năng hoặc mục đích (ví dụ hình ảnh bàn phím và từ "gõ")
  - - - Equivalence: kết quả khi kết hợp nhiều modality trong infer vẫn trả về cùng 1 kiểu kết quả, cùng 1 độ chắc chắn( hoặc chính xác) so với việc infer từng trên từng modality.
      - Enhancement: độ chắc chắn tăng cao hơn
    - - Independence
      - Dominance
      - Modulation
      - Emergence
- - - - Multiplicative
      - Tensor
      - Polynomial & High-order
      - Gated
      - Additive
      - Early Fusion: nối (concatenate) các representation của mỗi modality thành một representation duy nhất và sau đó thực hiện inference để ra nhãn dự đoán.
      - Late Fusion: Ensemble các kết quả dự đoán của mỗi modality sau quá trình inference dựa trên từng representation của mỗi modality. Mang tính Homogenious nhất.
      - Modality-Shifting
      - Dynamic Early Fusion
      - Nonlinear Fusion: sử dụng một hàm phi tuyến để học các mối quan hệ kết hợp giữa hai modality, chứ không chỉ sử dụng các cách kết hợp tuyến trính trước đó
      - Heterogeneity-Aware
    - - Basic Fusion: mỗi modality được xử lý độc lập, biến đổi từ chiều raw modality -> abstract modality. Sau đó mới được hợp nhất bằng các kỹ thuật.. Phương pháp này dễ thực hiện nhưng bỏ qua mất tương tác sâu giữa các modality ban đầu.
      - Raw-Modality Fusion: tiến hành fusion ngay trên dạng dữ liệu thô, khó hơn về mặt kỹ thuật vì cần mô hình có khả năng học mapping từ các dạng dữ liệu.
  - - - Contrastive Loss
    - - Các encoder riêng biệt cho từng modality giúp biểu diễn mỗi modality đó dưới dạng vector
      - Hàm phối hợp đo mức độ tương đồng giữa hoặc mức độ phối hợp giữa các vector biểu diễn của từng modality
      - Hàm mất mát dựa vào đầu ra của hàm phối hợp để huấn luyện các encoder sao cho biểu diễn của các modality càng đồng bộ (tương đồng) càng tốt
    - - Cosine similarity: hoạt động tốt nếu hai modality có biểu diễn tuyến tính tương đồng (Ví dụ cho Strong Coordination). Nhưng nhiều quan hệ giữa các modality là phi tuyến thì sẽ không hoạt động tốt, lúc này ta sử dụng đến Kernel Similarity
      - Kernel Similarity
        
        Linear
        
        Polynomial
        
        Exponential
        
        RBF
      - Cannonical Correlation Analysis: học hai phép chiếu tuyến tính u và v cho hai biểu diễn X và Y, sao cho khi chiếu lên chúng, hai biểu diễn này tương quan với nhau nhiều nhất.
        
        Không tính độ tương đồng trên từng biểu diễn củ thể của các modality mà tính độ tương đồng trên toàn bộ phân bố.
        
        Multi-view Latent "Intact" Space
      - Gated Coordination
    - - Strong Coordination: các modality đều được ánh xạ thành những biểu diễn gần nhau trong không gian vector. Điều này nghĩa là mô hình hiểu rằng hai nguồn thông tin là về cùng một thực thể hoặc nội dung.
      - Partial Coordination: mỗi modality vẫn được biểu diễn nhưng chúng ít gần nhau hoặc chỉ gần trên 1 số chiều trong không gian biểu diễn.
  - - - Modality-Level Fission: học ra biểu diễn riêng biệt cho từng modality và cả biểu diễn cho phần chung của các modality (nếu có).
      - Fine-Grained Fission: Thay vì tách ra các biểu diễn theo modality, ta đi sâu hơn vào các thành phần bên trong mỗi modality. Quá trình này sẽ phân tách các nhóm đặc trưng trong từng modality (hoặc các phần chung của các modality) và học biểu diễn riêng cho từng cụm.
- - - - Dynamic Time Warping: tìm cặp chỉ số tương ứng giữa hai chuỗi thời gian X và Y sao cho khoảng cách tổng bình phương giữa các cặp điểm tương ứng là nhỏ nhất
    - - Connectionist Temporal Classification
      - HUBERT