Нейронные сети
Модель МакКаллока-Питтса
Функции активации
Функция Хэвисайда
Кусочно-линейная функция
Стохастическая модель нейрона
Граф передачи
Правило 1
Синаптические связи
Активационные связи
Правило 2
Правило 3
Сигнал данного узла передается по каждой исходящей связи без учета передаточных функций исходящих связей
Python
seaborn
Random Forest
Обратная связь
Гиперболический тангенс
Входной слой
Однослойная нейронная сеть (Single-layer neural network)
Многослойная нейронная сеть (Multilayer neural network)
Персептрон
персептрон с одним скрытым слоем
Однослойный персептрон
Многослойный персептрон
по Розеблатту
по Румельхарту
Обучение
Правило Хебба
Правило 1
Правило 2
Расстояние Малаханобиса
Вопросы представления знаний
Правило 1: Сходные входные сигналы от схожих классов должны формировать единое представление в нейронной среде
Правило 2: Элементы, отнесенные к различным классам, должны иметь в сети как можно более отличные представления
Правило 3: Если некоторое свойство имеет важное значение, то для его представления в сети необходимо использовать большое количество нейронов
Правило 4: В структуру нейрона должны быть встроены априорная информацияи и инварианты, что упрощает архитектуру сети и процесс ее обучения
Ограничение сетевой архитектуры
Ограничение выбора синаптических весов
Структурная инвариантность
Инвариантность по обучению
Использование инвариантных признаков
Сравнение когнитивных моделей нейронных сетей
Уровень объяснения
Стиль обработки
Структура представления
синапс Хебба
Зависимость от времени
Локальность
по своей природе синапс является узлом передачи данных, в котором информационные сигналы (представляющие текущую активность предсинаптических и постсинаптических элементов) находятся в пространственно-временной близости. Эта локальная информация используется синапсом Хебба для выполнения локальных синаптических модификаций, характерных для данного входного сигнала
зависит от точного времени возникновения предсинаптического и постсинаптического сигналов
Интерактивность
Изменени ев синапсе Хебба определяются сигналами на обоих его концах. Это значит что форма обучения Хебба зависит от степени взаимодействия предсинаптического и постсинаптического сигналов. Заметим, что такая зависимость или интерактивность может носить детерминированный или статистический характер.
Корреляция. Одна из интерпретаций постулата обучения Хебба состоит в том, что условием изменения эффективности синаптической связи является зависимость между предсинаптическим и постсинаптическим сигналами.
Конкурентное обучение
Множество одинаковых нейронов со случайно распределенными синаптичкими весами, приводящими к различной реакции нейронов на один и тот же входной сигнал
Предельное значение (limit) "Силы" каждого нейрона
Механизм, позволяющий нейронам конкурировать за право отклика на данное подмножество входных сигналов и определяющий единственный активный выходной нейрон (или по одному нейрону на группу) Нейрон, победивший в этом соревновании, называют нейроном-победителем, а принцип конкурентного обучения формирует в виде лозунга "победителю все".
Обучение Больцмана
Обучение с учителем
Обучение без учителя
не существует учителя, формирующего желаемый отклик
Автоассоциативная память
Фаза запоминания
Фаза восстановления
Среда
Учитель
Обучаемая машина
Задачи
Выбрать такую F(x,w), которая оптимально аппроксимирует ожидаемый отклик
CNN(сверточные нейронные сети)
Сверточные слои
Объединение слоев
Плотные слои