Please enable JavaScript.

Coggle requires JavaScript to display documents.

1.2 Данные и источники - Coggle Diagram

- - - - Объем
        
        BD: Свыше терабайт - большие данные
        
        Метод хранения
        
        Централизованный
        
        BD: Распределенный
        
        До терабайт - просто данные
      - Дискретность во времени
      - Дискретность по емкости
    - - Достовереность данных: вопрос валидации
  - - - Вертикальная
        
        Для масштабирования надо увеличить пропускную способность обработки либо объем отдельного комплекса ("стойки")
      - BD: Горизонтальная
        
        Для масштабирования надо увеличить количество комплексов обработки ("стоек")
    - - Сильная
        
        Модели данных собраны по жесткой схеме (структуре)
      - BD: Слабая
        
        Данные хранятся в неструктурированном виде
    - - Структурированные
        
        Жесткая типизация (четкая разбивка по полям и типам
        
        Запросы SQL
        
        готовые базы данных: банки, телеком, ритейл
      - Частично структурированные
        
        html, xml
        
        .Достаточно удобны для парсинга с применением стандартных библиотек
        
        Изначально используются для m2m обмена
        
        Имеют разметку, но не имеют четкой табличной структуры
        
        Веб-данные
      - Неструктурированные
        
        до 80%
        
        Отсутствует схема хранения
        
        Классический пример: электронное письмо
        
        Системы парсинга открытых источников, работа с озером данных
    - - Машинные
        
        Неструктурированные
        
        Логи оборудования
        
        Предиктивная аналитика: предупреждение ошибок
      - На естественном языке
      - Графовые
        
        Структурированные в форме связей/отношений с направленностью
      - аудио, видео
      - потоковые
      - Вебинар 2023_12_17
        
        Точность данных в зависимости от шкалы
        
        1 - Номинальные (категориальные)
        
        Номера телефонов, имена, цвет
        
        Значение условно безразлично
        
        Даже если данные записаны цифрами, их бесполезно математически обрабатывать, только сравнивать
        
        2 - Порядковые (ранговые)
        
        Балльная система оценок
        
        Значения могут быть упорядочены, но нет однозначного влияния значения на систему
        
        Относительное влияние баллов неопределимо
        
        3 - Расстояния (разности)
        
        Температура, время
        
        Зависят от выбранной начальной точки
        
        Можем вычитать, складывать не можем, умножать-делить не можем
        
        4 - Относительные
        
        Расстояние, вес, объем
        
        Сравнение с эталоном
        
        Физические измерения
        
        Шкалы дискретные (чаще) или непрерывные
        
        Учитываются размерности данных
        
        5 - Абсолютные
        
        Математика
        
        Абстрактные шкалы, позволяющие совместно обрабатывать разнородную исходную информацию
        
        Иногда более точные шкалы усложняют решение задачи
- - - - Линейная зависимость
        
        Траты удельного времени не зависят от объема данных
      - Пониженная (напр., логарифм)
        
        Чем больше данных, тем меньше тратим удельного времени на единице объема
      - Повышенная (напр., квадратичная)
        
        Чем больше данных, тем больше тратим удельного времени на единице объема
  - - - То, как мы их обрабатываем (программирование операций)
        
        Универсальность
        
        Оптимальность
        
        Параллельность
    - - То, как мы их храним (методика)
    - - То, как мы их храним (физически)
- - - - Внутренние отчеты
      - Базы данных
    - - Пресса
      - Статистика
      - Маркетинг
  - - - Эксперт должен понимать суть процесса и важность отдельных факторов
      - Чаще всего предоставляются заказчиком
      - Либо вырастают из аналитиков, работающих в одной отрасли
      - Доступ должен быть неоднократный для дальнейшей верификации
      - Методы
        
        Индивидуальные
        
        групповые
      - Промежуточное взаимодействие через бизнес-аналитиков
    - - Самый затратный способ
      - Суть - получение и фиксация необходимых данных
      - Планирование эксперимента - основная задача
        
        Количество точек
        
        Рациональное распределение параметров
      - Влияние на систему
        
        Пассивный - можем влиять только на условия наблюдения
        
        Активный - можем влиять на систему
        
        Дороже, но обычно эффективнее
      - Тип измерения
        
        прямой - не всегда возможен
        
        Косвенный - проще, но может быть выше погрешность, не всегда понятны формулы пересчета, шкалы
    - - Достоверность
        
        Набор данных будет зависеть от цели сбора данных
        
        Манипуляции с данными
      - Пропуски в данных
        
        Отсутствие пропусков - подозрительно
        
        Модель в заполнении пропуска влияет на результат и требует опыта и тестирования
      - Выбросы в данных (существенно отличающиеся данные, вызванные ошибками)
        
        Иногда данные могут казаться адекватными, но быть ошибочными
        
        их нужно либо учитывать, либо корректировать
      - Ошибки ручного ввода данных
        
        Орфография
        
        Цифры
        
        Лишние
        
        Непропечатанные
        
        Перемена мест
      - Актуальность - устаревание
        
        Существуют сроки годности данных
      - Простая визуализация (например, гистограммы) позволяет заметить/убрать ошибки
      - Проблема хранения и восприятия с нецифровых источников