Please enable JavaScript.

Coggle requires JavaScript to display documents.

(LECTURE#5) - Coggle Diagram

- - - - Не с самого первого пикселя, а добавить дополнительно. Можем регулировать размерность выхода.
    - - На сколько мы сдвигаемся когда мы идем ядром/фильтром ( если равен 1 то шаг равен 1 и сдвигаемся на 1). Это влияет на размерность результата. Если большой stride то в результате меньше элементов
        
        Регулируя stride/padding мы можем определять размерность на выходе
    - - Input 3 х 3
        Kernel 2 x 2
        stride = 1
        pudding = 0
        
        В матрице записано ядро. Сделано так чтобы перемножение было аналогично если бы мы матрицу не вытягивали в вектор и перемножали
        
        Циркулярная матрица - каждая последующая это сдвиг предыдущего
    - - Позволяет выучивать свойства. Мы можем взять яркость из изображения.
        Можно провизуализировать выходы от сверток и посмотреть что они делают. Что нейросеть выучивает.
        
        Какая область влияет на конкретный признак.
  - - - Высота ширина уменьшаются - количество каналов увеличивается
        
        Pudding помогает контролировать размерность
      - ImageNET
        
        Картинки из интернета 1000 классов
        Цветные изображения. Разные виды собак и лодок.
        
        Top 1 accuracy
        Top 5 accuracy
      - Alex Net
        
        Последовательность из сверток с pulling. Появились GPU
      - VGGNet
        
        Предложили взять свертки с ядром 3 х 3 если подряд их применить то будет аналогично что 7 х 7 . Параметров будет меньше. Взять несколько сверток с меньшим размером ядра, что лучше чем одни большой слой.
        Инициализировали маленькую, далее брали ее параметры
    - - Свертки с ядрами. И в зависимости от размерности мы смотрим на различные кусочки. Объединяем свертки с фичами от разных размерностей.
        
        2 more items...
    - - Просто берет свой на вход и его же подает на выход.
        
        Есть проблемы с обучением очень глубоких нейросетей.
        
        Если просто очень много слоев добавляем. Очень плохо обучается. Плюс затухающие градиенты
        
        Есть относительно небольшие нейросети которые хорошо работают
        
        Добавление бессмысленных слоев
        
        За счет таких связей решается проблема с затухающими градиентами. Skip connection позволяют обучать нейросети с большим количеством слоевю
        
        1 more item...
  - - - Можно два фильтра взять
        
        K x K and (С. - out количество каналов, которое на входе хотим видеть)
        
        Bias добавляем сдвиг, который может выучиться. МО мы не всегда можем оставаться в центре матрицы.