Please enable JavaScript.

Coggle requires JavaScript to display documents.

ClickHouse, Данная ветка описывает ключевые особенности OLAP сценария…

- - - - Встроенные словари со специфическим набором функций
      - Подключаемые (внешние) словари с набором функций
- - - - Копирует (и перешардирует) данные с одного кластера на другой.
  - - - ClickHouse поддерживает управление конфигурацией нескольких файлов. Основной файл конфигурации сервера /etc/clickhouse-server/config.xml. Другие файлы должны быть в /etc/clickhouse-server/config.d каталоге
      - Отдельные настройки могут быть переопределены в файлах .xml и .conf из директории config.d рядом с конфигом
      - В config.xml может быть указан отдельный конфиг с настройками пользователей, профилей и квот. Относительный путь к нему указывается в элементе users_config. По умолчанию - users.xml. Если users_config не указан, то настройки пользователей, профилей и квот, указываются непосредственно в config.xml
      - Для каждого конфигурационного файла, сервер при запуске генерирует также файлы file-preprocessed.xml. Эти файлы содержат все выполненные подстановки и переопределения, и предназначены для информационных целей. Если в конфигурационных файлах были использованы ZooKeeper-подстановки, но при старте сервера ZooKeeper недоступен, то сервер загрузит конфигурацию из preprocessed-файла. Сервер следит за изменениями конфигурационных файлов, а также файлов и ZooKeeper-узлов, которые были использованы при выполнении подстановок и переопределений, и перезагружает настройки пользователей и кластеров на лету. То есть, можно изменять кластера, пользователей и их настройки без перезапуска сервера
    - - Настройки задаются послойно, т.е. каждый следующий слой перезаписывает предыдущие настройки
        
        Настройки в конфигурационном файле сервера users.xml Устанавливаются в элементе <profiles>
        
        Настройки для сессии
        Из консольного клиента ClickHouse в интерактивном режиме отправьте запрос SET setting=value.
        Аналогично можно использовать ClickHouse-сессии в HTTP-протоколе, для этого необходимо указывать HTTP-параметр session_id
        
        Настройки для запроса
        При запуске консольного клиента ClickHouse в не интерактивном режиме установите параметр
        запуска --setting=value
        ИЛИ
        При использовании HTTP API передавайте cgi-параметры (URL?setting_1=value&setting_2=value...)
  - - - внимательно следить за количеством неупорядоченных кусков в партиции (партиция по умолчанию месяц)
        
        а при 300 ClickHouse запретит вставку
        
        если количество неупорядоченных кусков приблизится к 200, то замедлиться операция вставки
      - мониторить репликацию данных: как протикает репликация, какое отставание и т.д.
        
        Для мониторинга серверов в кластерной конфигурации необходимо установить параметр max_replica_delay_for_distributed_queries и использовать HTTP ресурс /replicas_status. Если реплика доступна и не отстаёт от других реплик, то запрос к /replicas_status возвращает 200 OK. Если реплика отстаёт, то запрос возвращает 503 HTTP_SERVICE_UNAVAILABLE, включая информацию о размере отставания.
      - настроить экспорт метрик в Graphite
        
        Смотрите секцию graphite конфигурационного файла ClickHouse
        
        Перед настройкой экспорта метрик необходимо настроить Graphite, как указано в официальном руководстве
      - следить за заполнением диска (если диск заполнен приблизительно на 70%, то лучше поставить новый узел)
      - Загрузку и температуру процессоров
      - Использование системы хранения, оперативной памяти и сети
    - - Сервера должны быть доступны по портам 9000, 8123, 9009 внутри кластера
      - mark_cache_size — размер кэша, используемый для выполнения запросов, рекомендуем подбирать от размера RAM
      - max_memory_usage — максимальный размер памяти, который может использовать ClickHouse, рекомендуем выделять как можно больше, в зависимости от доступной памяти на сервере
      - builtin_dictionaries_reload_interval - Интервал (в секундах) перезагрузки встроенных словарей.
        По умолчанию 3600 сек (1 час).
      - compression лучше не использовать, если вы только начали работать с ClickHouse.
      - default_database - база данных по умолчанию. Выберите и пропишите нужную базу данных
      - default_profile - профиль настроек по умолчанию. Пропишите необходимый профиль настроек. Все профили настроек находятся в файле, указанном в параметре user_config
      - dictionaries_config
        Путь к конфигурации внешних словарей
      - dictionaries_lazy_load
        Отложенная загрузка словарей.
        Если true, то каждый словарь создаётся при первом использовании. Если словарь не удалось создать, то вызов функции, использующей словарь, сгенерирует исключение.
        Если false, то все словари создаются при старте сервера, и в случае ошибки сервер завершает работу
        По умолчанию - true
      - format_schema_path
        Путь к каталогу со схемами для входных данных
      - graphite
        Отправка данных в Graphite
      - graphite_rollup
        Настройка прореживания данных для Graphite
      - http_port/https_port
        Порт для обращений к серверу по протоколу HTTP(s)
        Если указан https_port, то требуется конфигурирование openSSL.
        Если указан http_port, то настройка openSSL игнорируется, даже если она задана
      - http_server_default_response Страница, показываемая по умолчанию, при обращении к HTTP(s) серверу ClickHouse. Значение по умолчанию «Ok.» (с переводом строки на конце).
      - include_from
        Путь к файлу с подстановками
      - interserver_http_port
        Порт для обмена между серверами ClickHouse
      - interserver_http_host
        Имя хоста, которое могут использовать другие серверы для обращения к этому
      - interserver_http_credentialsИмя пользователя и пароль, использующиеся для аутентификации при репликации движками Replicated*. Это имя пользователя и пароль используются только для взаимодействия между репликами кластера и никак не связаны с аутентификацией клиентов ClickHouse. Сервер проверяет совпадение имени и пароля для соединяющихся с ним реплик, а также использует это же имя и пароль для соединения с другими репликами. Соответственно, эти имя и пароль должны быть прописаны одинаковыми для всех реплик кластера. По умолчанию аутентификация не используется
      - keep_alive_timeout
        Время в секундах, в течение которого ClickHouse ожидает входящих запросов прежде, чем закрыть соединение
      - listen_host
        Ограничение по хостам, с которых может прийти запрос. Если необходимо, чтобы сервер отвечал всем, то надо указать ::
      - logger
        Настройки логирования
      - macros - Подстановки параметров реплицируемых таблиц. Можно не указывать, если реплицируемых таблицы не используются
      - mark_cache_size
        Приблизительный размер (в байтах) кэша засечек, используемых движками таблиц семейства MergeTree.
        Кэш общий для сервера, память выделяется по мере необходимости
      - max_concurrent_queries
        Максимальное количество одновременно обрабатываемых запросов
      - max_server_memory_usage Ограничивает объём оперативной памяти, используемой сервером ClickHouse. Настройка может быть задана только для профиля default.
        
        Возможные значения:
        
        Положительное целое число.
        
        0 — объём используемой памяти не ограничен.
      - max_connections
        Максимальное количество входящих соединений.
      - max_open_files
        Максимальное количество открытых файлов. По умолчанию - maximum.
      - max_table_size_to_drop Ограничение на удаление таблиц. Значение по умолчанию - 50GB. Значение 0 означает, что можно удалять все таблицы без ограничений
      - openSSL
        Настройки клиента/сервера SSL
      - part_log Логирование событий, связанных с данными типа MergeTree. Например, события добавления или мержа данных. Лог можно использовать для симуляции алгоритмов слияния, чтобы сравнивать их характеристики. Также, можно визуализировать процесс слияния
      - path
        Путь к каталогу с данными.
        Обратите внимание
        Завершающий слеш обязателен.
      - tcp_port_secure
        TCP порт для защищённого обмена данными с клиентами. Используйте с настройкой OpenSSL
      - query_thread_log
        Настройка логирования потоков выполнения запросов, принятых с настройкой log_query_threads=1
        Запросы логируются не в отдельный файл, а в системную таблицу system.query_thread_log. Вы можете изменить название этой таблицы в параметре table
      - query_log
        Настройка логирования запросов, принятых с настройкой log_queries=1.
        Запросы логируются не в отдельный файл, а в системную таблицу system.query_log. Вы можете изменить название этой таблицы в параметре table
      - remote_servers
        Конфигурация кластеров, которые использует движок таблиц Distributed и табличная функция cluster
      - trace_log
        Настройки для работы с системной таблицей trace_log
      - timezone
        Временная зона сервера.
        Указывается идентификатором IANA в виде часового пояса UTC или географического положения (например, Africa/Abidjan)
      - tcp_port
        Порт для взаимодействия с клиентами по протоколу TCP
      - tmp_policy
        Политика из storage_configuration для хранения временных файлов
        Примечание
        move_factor игнорируется.
        keep_free_space_bytes игнорируется.
        max_data_part_size_bytes игнорируется.
        В данной политике у вас должен быть ровно один том.
      - tmp_path Путь ко временным данным для обработки больших запросов.
        Обратите внимание
        Завершающий слеш обязателен.
      - mysql_port
        Порт для взаимодействия с клиентами по протоколу MySQL
      - uncompressed_cache_size
        Размер кеша (в байтах) для несжатых данных, используемых движками таблиц семейства MergeTree
      - zookeeper
        Содержит параметры, позволяющие ClickHouse взаимодействовать с кластером ZooKeeper
      - users_config
        Путь к файлу, который содержит:
        Конфигурации пользователей.
        Права доступа.
        Профили настроек.
        Настройки квот.
      - user_files_path
        Каталог с пользовательскими файлами. Используется в табличной функции file()
      - use_minimalistic_part_header_in_zookeeper
        Способ хранения заголовков кусков данных в ZooKeeper
      - disable_internal_dns_cache
        Отключает внутренний кеш DNS записей. Используется при эксплуатации ClickHouse в системах
        с часто меняющейся инфраструктурой, таких как Kubernetes.
        Значение по умолчанию: 0
      - access_control_path
        Путь к каталогу, где сервер ClickHouse хранит конфигурации пользователей и ролей, созданные командами SQL.
        Значение по умолчанию: /var/lib/clickhouse/access/
      - dns_cache_update_period
        Период обновления IP адресов у записей во внутреннем DNS кеше ClickHouse (в секундах).
        Обновление выполняется асинхронно, отдельным системным потоком.
        Значение по умолчанию: 15
  - - - system.events
      - system.asynchronous_metrics
      - system.metrics
- - - - Log
      - StripeLog
      - TinyLog
  - - - Партиция – это набор записей в таблице, объединенных по какому-либо критерию. Например, партиция может быть по месяцу, по дню или по типу события. Данные для разных партиций хранятся отдельно. Это позволяет оптимизировать работу с данными, так как при обработке запросов будет использоваться только необходимое подмножество из всевозможных данных. Например, при получении данных за определенный месяц, ClickHouse будет считывать данные только за этот месяц
    - - Репликация работает на уровне отдельных таблиц, а не всего сервера. То есть, на сервере могут быть расположены одновременно реплицируемые и не реплицируемые таблицы.
        Репликация не зависит от шардирования. На каждом шарде репликация работает независимо