Please enable JavaScript.

Coggle requires JavaScript to display documents.

Computer Vision - Coggle Diagram

- - - - Tạo ảnh
      - Thu nhận ảnh bởi cảm biến
      - Tiền xử lý ảnh
    - - Trích chọn đặc trưng (cạnh, góc, hình dáng, đường)
      - So khớp ảnh
      - Phân vùng ảnh
    - - Nhận dạng, hiểu nội dung ảnh
        Nhận dạng, phát hiện, phân tích chuyển động
  - - - Cone:
        HÌnh nón, hoạt động trong as mạnh, cảm thụ màu sắc
      - Rod
        Hình que, hoạt động trong as yếu, ít nhạy vs màu sắc
  - - - RGB đc dùng trong các thiết bị hiển thị
        thường không tuyến tính với các cảm nhận của mắt người
      - CMY dùng trong in ấn, photo
- - - - Bộ lọc thông thấp
        Làm trơn, loại nhiễu
        Slide 46/64
        
        Gaussian Filter
      - Bộ lọc thông cao
        Slide 54/64
      - Lọc dải tần
        Band-pass filtering
        Slide 59/64
      - Lọc nhiễu hình sin
      - Lọc thông cao + hướng
- - - - Global: Một threshold cho cả ảnh
      - Local: Một threshold cho một phần của ảnh
      - Adaptive: Một threshold điều chỉnh cho mỗi ảnh
        hoặc mỗi phần của ảnh
    - - Clustering algorithms
        
        K-mean
      - Phân vùng dựa trên
        
        intensity + postition
        
        texture
    - - Pros: Đơn giản, nhanh
      - Cons: Thresholding là phương pháp chủ yếu
        Không dành cho các vùng liên thông, cần phải
        clean kết quả, xóa lonely pixels, giữ vùng
  - - - Tất cả các pixel phải được gán vào các vùng
      - Mỗi pixel thuộc về một vùng đơn duy nhất
      - Mỗi vùng phải uniform
      - Bất kỳ cặp hợp nhất của các vùng kề phải non-uniform
      - Mỗi vùng phải là một tập liên thông các pixel
    - - Slide 48 (12/18)
      - Split and merge
        
        Split
        
        Đệ quy chia các vùng không đồng nhất
        theo một tiêu chuẩn
        
        Chia một vùng thành 4 vùng con
        
        Các vùng con được tính toán lại
        
        Merge
        
        Gộp các vùng đồng nhất kề nhau
        theo một tiêu chuẩn
- - - - Kéo giãn dải động ảnh
        
        Kéo giãn tuyến tính
        
        Kéo giãn tuyến tính với ngưỡng bão hòa
        
        Biến đổi tuyến tính từng đoạn
      - Biến đổi phi tuyến
        log, gama correction
      - Cân bằng vs histogram
        
        slide 26/91 L2.1
  - - - Lọc ảnh
        
        Miền không gian
        (Ma trận điểm ảnh)
        
        Miền tần số
      - Nhân chập
        slide 48/91
        Convolution
        khác với Spatial Correlation
        
        Vấn đề cạnh ảnh
        
        Thêm dòng / cột 0 ở ma trận đầu vào
        
        Đối xứng gương
        
        Sử dụng lọc ảnh
        Có tính kết hợp
        Hữu ích khi cần thực hiện nhiều bộ lọc liên tiếp
      - Spatial Correlation
        Slide 56/91
        
        Sử dụng để tìm một template nào đó có xuất hiện trong ảnh không
        
        Không có tính kết hợp
      - Một số bộ lọc khác
        
        Bộ lọc làm trơn ảnh
        (Bộ lọc thông thấp)
        
        Lọc nhiễu
        
        Làm trơn ảnh, loại bỏ các vùng nhỏ
        
        Để tránh thay đổi độ sáng của ảnh, tổng các hệ số trong mặt nạ phải = 1
        
        VD
        
        Lọc trung bình
        (Mean Filter)
        
        Có trọng số
        Trọng số điểm ảnh trung tâm thường có xu hướng lớn hơn các điểm lân cận
        
        Không có trọng số
        
        Gaussian Filter
        
        Loại bỏ các thành phần tương ứng với tần số cao trong ảnh
        
        Tốt hơn bộ lọc trung bình
        
        Có thể phân tách được
        
        Bộ lọc làm sắc nét cạnh
        
        Đạo hàm bậc 1
        
        Robert
        
        Prewitt
        
        Ít nhạy cảm vs nhiễu
        
        Mean + đạo hàm bậc 1
        
        Sobel
        
        Ít nhạy cảm vs nhiễu
        
        Gauss + đạo hàm bậc 1
        
        Đạo hàm bậc 2
        Laplacian Filtering
        Slide 75/91
        
        Bộ lọc trung vị
        Median Filter (Bộ lọc
        không tuyến tính)
        
        Không có giá trị mới nào được tính
        
        Loại bỏ những điểm bất thường
        Phù hợp nhiễu xung và nhiễu muối tiêu
        
        Giữ được biên
        
        Vấn đề: Kích thước bộ lọc
        
        Bộ lọc Max/min
        
        Bộ lọc min
        Thay giá trị ở giữa bằng giá trị nhỏ nhất trong cửa sổ xét
        
        Bộ lọc max
        Thay giá trị ở giữa bằng GTLN trong cửa sổ xét
        
        Vấn đề: Kích thước bộ lọc
    - - Tăng cường ảnh
      - Trích chọn thông tin từ ảnh
      - Phất hiện mẫu
  - - - Dilation
        Giãn
        VD: Slide 14/37
        
        Mở rộng các thành phần được kết nối
        
        Mở rộng thuộc tính
        
        Xóa lỗ
      - Erosion
        Co
        
        Co các thành phần kết nối
        
        Giảm kích thước đối tượng
        
        Loại bỏ nhiễu, đường nhánh, cầu
    - - Erode, then dilate
      - Loại đối tượng nhỏ, giữ nguyên hình dạng gốc
    - - Dilate, then erode
      - Lấp các lỗ nhưng vẫn giữ hình dạng gốc
- - - - Lọc Robert
      - Lọc Prewitt
        
        Lọc trung bình + đạo hàm
      - Lọc Sobel
        
        Làm trơn Gaussian + đạo hàm
    - - Step
      - Ramp
      - Roof
      - Vấn đề
        
        Giá trị ngưỡng ưu ái cạnh theo 1 vài hướng hơn là các hướng khác
        
        Kỹ thuật la bàn, nhân chập ảnh vs 8 mặt nạ theo 8 hướng, cộng kết quả nhân chập lại
    - - Bộ lọc Laplacian
        
        Laplacian nhạy vs nhiễu
        ->Làm trơn ảnh trước khi nhân chập Laplacian (LOG)
    - - Tiêu chí
        
        Good detection
        
        Good localization
        
        Single Response
      - VD
        
        Bộ phát hiện Canny
        
        1, Áp dụng bộ lọc Gaussian
        
        2, Áp dụng bộ lọc Sobel, tính độ lớn Gradient các điểm ảnh
        
        3, Tính hướng Gradient
        
        4, Loại bỏ các điểm ko phải cực trị
        
        5, Lấy ngưỡng
        
        Ngưỡng cao Sh
        
        Ngưỡng thấp Sb
  - - - Đặc điểm
        
        phát hiện đường thẳng, đường tròn và các cấu trúc khác chỉ nếu phương trình tham số xác định
        
        phát hiện hiệu quả khi có nhiễu hoặc bị che khuất 1 phần
      - Từ mặt phẳng x-y sang mặt phẳng tham số a-b
      - Điểm giao của các đường trong không gian a-b là tương ứng với các đường thẳng trong không gian x-y
      - Vấn đề với không gian (a,b), với mỗi đường theo trục dọc, a = vô cùng -> sử dụng hệ tọa độ cực (slide 65/90)
      - Nhược điểm
        
        Có nhạy vs nhiễu
        
        "Bin size" quyết định sự đánh đổi giữa chống chịu nhiễu, độ chính xác cũng như giữa tốc độ và bộ nhớ
      - Ý tưởng chính: Bỏ phiếu tạo ma trận
    - - Sử dụng cho
        
        Phát hiện đường thẳng (tròn, eclipse,...)
        
        Bài toán về so khớp: Tìm phép biến đổi vs 2 tập dữ liệu
      - loop
        
        1, Ngẫu nhiên lựa chọn một nhóm hạt giống (seed group) của những điểm dựa trên ước lượng biến đổi
        
        2, Tính toán biến đổi từ nhóm hạt giống
        
        3, Tìm các “inliers” với biến đổi này
        
        4, Nếu số lượng các inlier đủ lớn, tính toán lại ước lượng bình phương tối thiểu (least square) của biến đổi trên tất cả các inlier
        Giữ lại phép biến đổi vs số lượng các inlier lớn nhất
      - VD: Slide 77/90 trở đi
- - - - Mô tả toàn ảnh như một đối tượng
      - Đặc trưng đường biên, đặc trưng hình dạng, đặc trưng kết cấu
        
        Đặc trưng kết cấu
        
        Vùng có sự biến thiên về cường độ sáng
    - - Mô tả từng vùng nhỏ trong ảnh, từng vùng cục bộ của đối tượng (điểm đặc trưng trong ảnh)
      - Biển diễn đặc trưng kết cấu/màu sắc trong mỗi vùng cục bộ ảnh
        
        Đặc trưng màu
        Histogram
      - Cách xác định vùng cục bộ
        
        Không cần biết nội dung ảnh
        
        Chia thành các phần với các lưới đều nhau
        
        Dựa trên nội dung ảnh
        
        Image segmentation
        
        Keypoint detection
      - Mô tả và so khớp chỉ các vùng cục bộ, hiệu quả trong các TH
        
        Occlusions
        
        Articulation
        
        Intra-category variation
      - Phát hiện các điểm đặc trưng
        
        Harris corner detector
        Slide 17/58
        
        Trong vùng xung quan góc -> image gradient có ít nhất 2 hướng biến đổi mạnh
        
        Góc đảm bảo
        
        repeatable
        
        distinctive
        
        VD các bước
        Slide 24/58
        
        Đặc điểm
        
        Bất biến theo image rotation
        
        Không bất biến với image scale
        
        Bất biến một phần theo sự thay đổi cường độ sáng
        
        Bất biến vs scale
        
        Tìm cực đại địa phương trên hàm
        
        Kích thước vùng tương ứng vs điểm cực đại địa phương
        
        Moravec
        
        Log-Dog(SIFT detector)
        Laplacian-of-Gaussian - Difference-of-Gaussian
        
        bất biến vs scale và rotation
        
        Bộ mô tả SIFT
        
        Đảm bảo bất biến với sự thay đổi điều kiện chiếu sáng
        
        Sử dụng Histogram of Oriented Gradients (HOG)
      - Tính trên các vùng cục bộ xung quanh điểm đặc trưng
  - - - sử dụng giá trị độ đo khoảng cách (f1, f2)
    - - Thêm ràng buộc không gian
      - Kiểm tra chéo
      - Tìm mô hình biến đổi
    - - Toàn cục
        Tính khoảng cách
      - Cục bộ
        
        Bỏ phiếu
        
        Giải bài toán tối ưu
        
        Mô hình túi từ, xây dựng vector toàn cục từ các đặc trưng cục bộ
- - - - Phát hiện và xác định vị trí các đối tượng
        từ đa dạng thể loại cars, people
      - Thách thức
        
        Illumination
        
        Viewpoint
        
        Deformation: Sự biến dạng
        
        Intra-class variability
    - - Window-based models: Generating and scoring candidates
    - - In each boosting round:
        1.Find the weak learner that achieves the lowest weighted training error
        
        Tăng weight của training examples bị phân loại sai bởi weak learner hiện tại
        Tính toán final classifier là sự kết hợp tuyến tính của tất cả các weak learners
      - Pros and cons
        
        Pros
        
        Kết hợp phân loại với chọn feature
        
        Độ phức tạp của huấn luyện tuyến tính với số lượng ví dụ huấn luyện
        
        Linh hoạt trong lựa chọn weak learners, cơ chế boosting
        
        Kiểm tra nhanh
        
        Dễ dàng triển khai
        
        Cons
        
        Cần nhiều ví dụ huấn luyện
        
        Các mô hình khác vượt trội hơn như SVM, CNN
        Đặc biệt trong huấn luyện nhiều lớp
    - - Viola-Jones face detector
        
        Sử dụng thuật toán Adaboost
        
        Tóm tắt
        
        Là cách tiếp cận để phát hiện vật thể realtime
        
        Huấn luyện lâu nhưng phát hiện nhanh
    - - Histogram of oriented gradients (HoG)
    - - điểm mạnh
        
        Đơn giản để triển khai
        
        Lựa chọn feature quan trọng
      - Giới hạn
        
        Tính toán lớn và phức tạp
        
        Không phải tất cả vật thể đều có dạng box
        
        Các vật thể non-rigid, có thể biến dạng không được nắm bắt tốt
        Phải có cấu trúc 2D cố định hoặc viewpoint cố định
    - - True positive, false positive, false negative, true negative
      - precision, recall
  - - - Tập hợp các nhãn cho trước: Từ một vật thể xác định nó thuộc nhãn nào
    - - BOW pipeline
        
        Dictionary Learning:
        Learn Visual Words using clustering
        
        build bag of words vectors cho mỗi image
        
        Classify:
        Train and test data using BOWs
    - - K-nearest neighbors
        
        Không bao giờ được sử dụng
        
        Hiệu năng tệ ở thời điểm kiểm thử
      - Naive Bayes
      - Super vector machine
  - - - One-stage
        
        Sliding window to classify all candidates
        
        Cần áp dụng CNN vào số lượng lớn vị trí
        ->Khả năng tính toán lớn