Please enable JavaScript.
Coggle requires JavaScript to display documents.
Работа с внешними источниками - Coggle Diagram
Работа с внешними источниками
Yandex Data Transfer
Трансфер — это процесс передачи данных между двумя эндпоинтами (источником и приёмником). Один трансфер всегда содержит один источник и один приёмник
Копирование — создание копии данных из источника в приёмнике
Разовое полное. Создаётся полная копия единоразово. Применяется, например, при инициализирующей загрузке данных или миграции данных из одной системы в другую.
Периодическое полное. Создаётся полная копия данных с заданной периодичностью
Периодическое инкрементальное. Передаются накопленные с момента последнего копирования изменения.
Репликация - непрерывный перенос данных из источника в приёмник с использованием подхода CDC
Копирование и репликация — комбинированный вариант, при котором один раз выполняется копирование, а затем — непрерывная репликация изменений.
В трансфере задаются
тип трансфера (копирование или реплицирование)
список объектов для переноса
настройки параллельности
Эндпоинты - это это набор метаданных, описывающих настройки подключения к источнику или приёмнику данных
Различные СУБД внутри Yandex Cloud и вне его
Топики Kafka, развёрнутые в Yandex Cloud или вне его
Бакет S3, созданный в Yandex Object Storage или любой S3-совместимый
Поток данных Yandex Data Streams
В энпоинтах задаются:
реквизиты подключения к сторонним системам
Формат данных
множество других параметров, характерных для типа источника
Один и тот же эндпоинт можно использовать в разных трансферах
Преобразование переносимых данных
Переименование заданных таблиц по шаблону
Маскирование данных в заданных колонках определённых таблиц
Разбиение заданных таблиц на подтаблицы в зависимости от значения заданных столбцов.
Замена первичных ключей в заданных столбцах заданных таблиц.
Преобразование данных различных типов в строки.