Please enable JavaScript.
Coggle requires JavaScript to display documents.
Анализ больших данных - Coggle Diagram
Анализ больших данных
Технологии, используемые для анализа Big Data
-
-
-
-
-
-
-
-
-
-
-
Набор данных ( сведения о том, каким образом и когда данные были загружены в Систему, кем он были разработаны, утверждены и т.д.)
-
связывают утвержденные документы и данные, утвержденные такими документами
Находят по документу все пространственные данные, сформированные карты и слои
-
Задают документу границы территории, на которую он действует
Генератор данных (инструмент, позволяющий экономить память и при этом обрабатывать огромные массивы данных)
-
-
-
-
-
Data Science — это работа с большими данными. Ключевые слова здесь — «огромный объём» и «неструктурированность». Чтобы работать с такими данными, используют математическую статистику и методы машинного обучения.
Специалист, который делает такую работу, называется Data Scientist. Он анализирует большие данные, чтобы делать прогнозы. Какие именно прогнозы — зависит от того, какую задачу нужно решить.
Итог работы дата-сайентиста — прогнозная модель. Если упростить, то это программный алгоритм, который находит оптимальное решение поставленной задачи.
Data Engineering – программирование сбора, хранения, обработки, поиска и визуализации данных. Data Engineering помогает построить стабильные процессы ETL и ELT добычи и подготовки данных для систем аналитики, алгоритмов машинного обучения, Data Science.