Please enable JavaScript.
Coggle requires JavaScript to display documents.
Организация потоков и очередей (Обработка потоков (Модель очередей и…
Организация потоков и очередей
Организация очередей
Обработка потоков
Модель очередей и рабочих процессов
Может возникнуть race condition
Слабая отказоустойчивость
Сложность в эксплуатации из-за наличия очередей между отдельными рядами рабочих процессов
Снижение пропускной способности системы
Сложность построения - сериализация/десериализация,
логика маршрутизации,
Высокоуровневая обработка потоков
Модель Storm
Топология - граф вычислений конвеера обработки потоков
Кортеж - составляющая потока - именованный список значений
Сток
Обычный - читает данные из очереди и превращает их в поток кортежей
Хронирующий - порождает кортеж, направляя его в поток с некоторой периодичностью.
Затвор - выполняет действия над потоками - принимает некоторое количество потоков в качестве входных данных и производит любое количество потоков в качестве выходных данных(выполнение функция, фильтрация данных, вычисление агрегатов)
Задача - экземпляр стока или затвора.
Группировка потоков
Группировка полей - кортежи распределяются хэшированием подмножества полей кортежа и получением результата по модулю количества клиентских задач.
Перетасованная группировка - кортежи произвольно распределяются по циклическому алгоритму.
Гарантирование обработки сообщений
Если в ходе обработки потока происходит сбой,
то повторяются попытки извлечь кортежи из стока.Повторная попытка извлечь кортеж из стока приведет к тому, что ОАГ (ориентированный ациклический граф) кортежей будет составлен заново.