Please enable JavaScript.

Coggle requires JavaScript to display documents.

Использование МО для распознавания услуг (и возможно ЖС) - Coggle Diagram

- - - - Заново обучать модель после каждого ввода пользователя затратно и практически невозможно в связи с тем, что модель может обучаться очень долго
    - - Решает проблему, свойственную для случая повторного обучения после каждого ввода пользователя
      - Обучать модель можно по ночам
      - Возникает проблема в случае изменения состава услуг.
        Что делать с добавленной, измененной или удаленной услугой до повторного обучения?
    - - Слишком долго???
    - - Слишком долго!!!
    - - Обучение модели будет происходит постоянно и практически непрерывно
      - Во время обучения модели
        будет происходить...
        
        Накопление действий над базой (SQL-запросов) в очередь. После завершения обучения действия извлекаются из очереди, выполняются на базе и затем начинается новый процесс обучения
        
        Можно вместо очереди накладывать блокировку на таблицу. Тогда в коде придется реализовывать асинхронность.
        
        Выполнение действий над базой.
        
        Как поведет себя процесс обучения модели, если база будет изменена во время обучения?
        
        ИЗУЧИТЬ
        
        Возможен конфликт с процессом обучения
  - - - Фактически услуги будут добавлены в боты после обучения
      - До момента обучения услуга не будет присутствовать в боте
    - - Услуга сразу появится в боте
      - Сразу ли обучать модель в этом случае?
        
        Не обучать
        
        Услугу нельзя будет выбрать по голосу
        
        Услугу можно будет выбрать по голосу, для распознавания услуги будет использоваться механизм, отличный от обычного
        
        КАКОЙ?
        
        Обучать
        
        Что делать, если будет добавлена услуга, пока идет обучение модели?
        
        Кажется, лучше не обучать сразу
  - - - Не использовать справочную информацию
        
        Для обучения будут использоваться только
        краткое и полное наименования услуги
        
        Распознавание будет происходить по команде, которая обязательно должна быть связана с наименованием
      - Использовать справочную информацию
        
        Для обучения будут использоваться как краткое и полное наименования услуги, так и справочная информация
        
        Можно использовать TF-IDF. Распознание будет происходить по команде, которая не обязательно будет приближена к названию услуги
    - - Векторизация
        
        Как будут векторизованы строки?
        
        Отдельно: краткое наименование, полное наименование и справочная информация (если применяется)
        
        Совместно: все данные объединены в единый вектор
        
        ИЗУЧИТЬ
        
        Использование обоих способов: в таблице будут столбцы для общего вектора и для отдельных векторов
      - Лемматизация
      - Токенизация
      - Разбиение на n-граммы
        
        Какой максимальный размер n-граммы?
        
        ВЫЯСНИМ НА ТЕСТАХ
        
        Использование n-грамм необходимо, т.к. встречается очень много устойчивых словосочетаний
    - - Да
        
        ???
      - Нет
        
        Скорее всего, не стоит так делать, т.к. команда пользователя, возможно, будет вносить шумы, которые снизят точность распознавания. Например, пользователь может сказать какой-то бред, подразумевая в своей голове какую-то услугу. После выбора нужной ему услуги, ей будет соответствовать тот бред, который ввел пользователь.
- - - - Шта?
    - - Как?