Please enable JavaScript.

Coggle requires JavaScript to display documents.

Bypassing service (meetings (April (Wed 04.04 (scenario (division by 2 for…

- - - - console tool or UI
        
        tool
      - архитектура
        
        core
        
        config-file
        
        url
        
        proxy
        
        headers
        
        stop sign!
        
        responce code
        
        process timeout
        
        validation word
        
        amount of requests
        
        количество запросов
        
        получаем сессию из браузера
        
        curl/browser
        
        mode
        (периодичность
        запросов)
    - - 120 requests per hour
      - timeout to config-file
      - requests per minute ??
      - global arch
        
        mods
        
        period (requests per unit)
        
        global limit of requests
      - scenario
        
        division by 2 for hourly purposes
        
        multiple workers at a time for daily testing
    - - высчитывать лимит- определять на каком количестве шардов находится шоп.
      - эталонная страница для страница
    - - режимы
      - пункты конфига
    - - структура папок?- куда писать логи
      - requered params+validation
  - - - ctrl+c handling
      - add "limit" param to config file
  - - - как у нас работают C/rb crawlers
      - частота шопа с логином и без логина
      - по какому принципу делится 120 в час- учитывается ли время ответа
      - расчитывается ли инвервал между запросами при сборе кук
    - - start end time
      - req headers
      - cookies - если изменютмяс
      - proxy
      - url
      - responce headers
      - flag
  - - - реализация логина(для бана asda нужно использовать наш логин)
      - добавить сохранение последней страницы эксперимента
    - - expected content
      - save last page
- - - - многопоточность
      - парс логина из файла
    - - task[:end_time]
      - запуск login_runner.rb
  - - - req headers
      - cookies - если изменютмяс
      - proxy
      - url
      - responce headers
      - flag
      - start end time
- - - - логи crawler'a