Please enable JavaScript.

Coggle requires JavaScript to display documents.

go (Многопоточность, Язык, Ошибки, Правильные мысли, Папки, Контекст,…

- - - - Кооперативная - когда каждый участник заявляет сам что ему нужно выполниться
      - Вытесняющая - когда всем управляет отдельный компонент
      - В Go используется смешанный подход. В момент компиляции определяется эвристически кто когда будет выполняться. А во время выполнения всё делает планировщик
  - - - Раздельную память
      - Раздельные регистры
      - Имеют разные ресурсы
    - - Всё общее
      - Быстрое переключение. В отличии от процессов переключается в 8 раз бытсрее
  - - - = количеству процессоров * количество потоков на процессор (Для CoreI7 с HT это 2)
    - - Создаётся по числу виртуальных процессоров P
      - Может переключаться на другой процессор в случае, если возникает чтение большого файла
    - - Создаётся по необходимости. Обязательно создаётся для main
      - Это структура, которая выполняет переданную функцию
        
        stack
        
        Весит 2кб
        
        Максимальный размер 1Гб для 64бит
      - Может как и обычные потоки ОС находиться в трёх состояниях
    - - Переключает контексты когда
        
        Для сборки мусора
        
        Системные вызовы
        
        Например, работа с файлами, сетью
        
        Использование ключевого слова go (При запуске новой гоурутины)
        
        Синхронизация
        
        При вызове функции runtime.Gosched()
      - В отличии от планировщика ОС является не вытесняющим, а взаимодействующим
    - - Содержит гоурутины, которые пока не зназначены к потокам
    - - Назначается каждому потоку выполнения М
  - - - Закрываются через close(ch)
        
        Закрытый канал доступен только для чтения. Если записать, возникнет panic
      - Открываются через ch := make(chan тип значений, вместительность буфера)
        
        make(chan interface{}...) - когда ничего кроме количества в канале не нужно хранить
        
        Вместимость буфера задаёт размер буфера канала. По-умолчанию он 0. Если N, то канал не блокирует запись до тех пор, пока полон этот буфер
      - Можно перебирать через range. Если после перебора канал не закрыт в рутине, возникает deadlock
      - Закрытие канала
        
        Закрывает канал тот, кто в него пишет
        
        Если много продюсеров, то закрывает канал тот, кто создаёт продюсеров
        
        Не закрытый канал жрёт ресурсы, нужно их закрывать явно. Их не видит планировщик
      - Операторы
        
        ch <- v // Send v to channel ch.
        
        v := <-ch // Receive from ch
      - select - case для каналов. Ждёт появления данных в каждом case
      - У функций можно обозначить тип канала
        
        <- chan - возвращается канал, доступный только для чтения
    - - При записи в закрытый канал возникает panic
      - При чтении из пустого канала возникает блокировка в ожидании появления там данных
      - При чтении или записи в не открытый канал возникает блокировка
      - При чтении из закрытого и опустошенного канала возвращается нулевое значение
    - - os.Signal - перехватывает сигналы ОС
        
        Чтобы подписаться, нужно вызвать signal.Notify(syscall.SIGINT, syscall.SIGTERM)
  - - - Синхронизация потоков
        
        Происходит через wg := new(sync.WaitGroup)
        wg.Add(1)
        wg.Done() внутри трейта
        wg.Wait()
      - Синхронизвация ошибок sync.ErrorGroup
    - - sync.Mutex
        
        Lock
        
        Unlock
      - sync.RWMutex - работает быстрее когда операций чтений больше. Медленней, когда наоборот
        
        RLock - ждёт пока произойдёт Unlock
        
        RUnlock
        
        Lock ждёт пока произойдёт Unlock
      - sync.Map - полезно для многомиллионных записей
      - sync.Once - выполняет только раз
    - - атомарные счётчики из пакета sync/atomic
  - - - У процесса как минимум должен быть один поток
    - - Каждый выполняется независимо
      - Может порождать другие потоки
      - Может находиться в трёх состояниях
        
        Ожидание
        
        Поток остановлен и ожидает чего-то для продолжения (ожидание диска, сети, системного вызова или вызовов синхронизации (атомарные, мьютексы)
        
        Готовность
        
        Выполнение
      - Типы работ потока
        
        CPU-Bound - это вычисления, которые никогда не будут прерваны
        
        IO-Bound: это работа, которая заставляет потоки переходить в состояние ожидания
    - - В go число в конце при трассировке stack_trace/example1/example1.go:13 +0x39
        
        это смещение значения IP от вершины соответствующей функции
      - Это можно увидеть из вывода ассемблера go tool compile -S main.go > main.s
    - - Дорогостоящая операция
- - - - float
        
        32/64
      - uint
        
        byte - alias uint8
        
        8\16\32\64
      - int
        
        rune - alias 32
        
        8\16\32\64
      - complex
        
        64/128
      - Большие числа можно записывать так: 100_000
    - - 0 - для числовых
      - false - bool
      - "" - string
      - nil - array, map
    - - a := [6]int{2, 3, 5, 7, 11, 13}
      - Можно объявлять без размерности и компилятор сам посчитает:
        a := [...] {1, 2, 3}
      - len(x) - длина массива
      - cap(x) - размерность массива
      - можно создавать через make([]int, len, cap)
      - многоуровневый [][]string{..}
      - Является примитивным типом данных. Копируется при A=B
    - - a[:B] - первые B записей
      - a[A:B] - слайс. A - индекс начала, B - индекс конца
      - Это эквивалентные выражения:
        a[0:10]
        a[0:]
        a[:10]
        a[:]
      - Создаётся:
        
        С помощью make
        var foo []byte
        s = make([]byte, 5, 5)
        
        С помощью shorthand syntax
        bar := []byte{}
        
        Или из массива
      - под капотом является структурой, которая содержит ссылку на исходный массив, длину и вместимость
    - - пример:
        var m = map[string]Vertex{
        "Test": Vertex{...}
        }
      - можно сократить до ...Vertex{"Test": {аргументы конструктора Vertex}}
      - Можно создавать через make(тип, длина)
      - Крайние случаи
        
        Если прочитать или вставить в не проинициализированноую мапу, то возникнет runtime error
    - - Функции тоже можно использовать как переменные
      - Метод
        
        fn (РЕСИВЕР ТИП_РЕСИВЕРА) НАЗВАНИЕ (АРГУМЕНТЫ) ВОВЗРАЩАЕМЫЕПЕРЕМЕННЫЕ {...}
        
        Переменную ресивера указывать не обязательно, если он не используется
        
        В return можно не указывать переменные, если указать их имя в возвращаемых
      - Если аргументы функции не исользуются, их переменные можно не указывать. Если хоть один аргумент используется, то нужно использовать _
  - - - Вызывается даже когда panic
        
        Чтобы узнать какой был panic, нужно передать func и там вызвать recover()
      - Можно несколько. Вызываются в порядке вызова
    - - for
        
        for i < 0 - это while
        
        for без условий - это бесконечный while
      - в if можно подставить короткое выражение для предварительного вычисления
        
        Пример: if i := calcI(); i < 10 {}
    - - Вставляет содержимое файла в переменую
    - - Можно объявлять внутри функций
  - - - Можно объявить как переменную. Он будет нулом
        
        Этой переменной можно присвоить только конкретный тип
      - Типизация в go называется duck typing. Если наш тип крякает как утка, то значит это и есть утка
      - Пустой интерфейс - это интерфейс без функций
      - Интерфейсы могут псевдонаследовать другие интерфейсы (встраиваться в них)
        
        Чтобы это сделать, нужно указать родительский интерфейс в начале тела подчинённого
      - interface - это структура внутри Go
      - Утиные интерфейсы не могут работать со слайсами (массивами интерфейсов)
      - Рефлексия
        
        Приведение типов
        
        type switch
    - - Интерфейсы пакетов
        
        sort.Interface
        
        Marshaler\Unmarshaler
        
        MarshalJSON() ([]byte, error)
        
        UnmarshalJSON([]byte) error
        
        Полезен для сломанных контрактов
      - Есть интерфейс Stringer для магического метода String
      - error
      - image
    - - Переменной с таким типом можно присваивать любой объект
    - - Если есть шанс ошибки, её можно перехватить через
        val, ok := i.(нужный тип)
  - - - & - создаёт указатель на адрес переменной в памяти
      - * - оператор разыменовывания
  - - - Констрейнт
        
        any - любой
        
        comparable - возможен для сравнения
        
        Или любой интерфейс
        
        В теле интерфейса должны быть перечислены поддерживаемые типы через |. Например: int | int8 | int16
- - - - Используется для ловли редких багов
- - - - omitempty - пропустить, если nil
      - string - преобразовать в string
- - - - Можно много типов указывать
    - - object.РОДИТЕЛЬ.МЕТОД() == object.МЕТОД()
- - - - Синтаксический сахар
      - Быстрая
    - - Подключение к GELF-серверу:
        gelf "github.com/snovichkov/zap-gelf"
        gelfCore, err := gelf.NewCore(АДРЕС, УРОВЕНЬ)
      - Можно сделать вывод сразу в двух местах через пакет tee:
        notSugaredLogger := zap.New(zapcore.NewTee(consoleCore, gelfCore))
      - Настройка:
        consoleCore := zapcore.NewCore(...)
        sugaredLogger := zap.New(consoleCore)
        logger.SetLogger(sugaredLogger)
      - Установить логгер с информативными префиксом:
        logger.SetLogger(sugaredLogger.With("service", cfg.Project.ServiceName))
- - - - version
      - host
      - short_message
      - full_message
      - timestamp
      - level
      - _user_id
      - _some_info
      - _some_env_var
    - - message: "..."
      - AND, OR, NOT
      - some_info: ""
      - _exists_:some_info
      - some_field:[100 TO 102}
        some_field: <= 100
    - - Нужно зайти в system/inputs
      - Выбираем создать GELP UDP
      - Заполняем Title и нажимаем save
- - - - Остальное
    - - Ошибки неверного ввода
    - - Для локальной разработки\отладки
- - - - Его преимущество в том, что не нужно писать отдельные подключатели в сервисы. Он это всё аггрегирует через Collector
      - Ещё умеет реэкспортировать и собирать разные метрики
  - - - Чтобы слинковать трассировку с другим спаном, во второй аргумент можно передать opentracing.FollowsFrom(otherSpan.Context())
    - - Теги стандартизированы
        
        component
        
        peer.*, http.*
        
        error (true | false)
        
        span.kind (client | server | producer | consumer)
        
        samplint.priority (0 - отключить, 1 - включить, nil - ...)
    - - opentracing.GlobalTracer().Inject(span.context(), openTracing.HttpHeaders, openTracing.HttpHeadersCarrier(httpReq.Header))
        
        Есть разные carriers
        
        Binary
        
        TextMap
        
        HTTPHeaders
      - Получить заданные данные можно через Extract
    - - По нему можно искать в Jaeger
- - - - db, err := sql.Open(ДРАЙВЕР, DSN)
        defer db.Close()
    - - conn, err := db.Conn(ctx)
        defer conn.Close()
  - - - result.RowsAffected()
      - result, err := db.ExecContext(ctx, query, ПАРАМЕТРЫ_ЗАПРОСА)
    - - row := db.QueryRowContext(ctx, query, АРГУМЕНТЫ)
        
        row
        
        err := row.Scan(ПЕРЕМЕННЫЕ_ДЛЯ_ПОЛЕЙ...)
        
        Можно получать идентификатор вставленной записи через ЗАПРОС RETURNING id
    - - rows, err := db.QueryContext(ctx, query, АРГУМЕНТЫ)
        defer rows.Close()
        
        rows.Next() bool
        
        err := rows.Scan(ПЕРЕМЕННЫЕ)
  - - - _, err := stmt.Exec(ПАРАМЕТРЫ)
- - - - Нельзя менять номер сообщения
      - Можно добавлять\убирать поля
      - Нельзя заменять поле
        
        Чтобы пометить поле устаревшим, нужно заменить его тип и название на ключевое слово reserved
      - Есть взаимозаменяемые типы (int32\bool и тд)
  - - - buf.gen.yaml - описаны параметры для генерации
  - - - Типы
        
        google.protobuf.DoubleValue
        
        google.protobuf.Int64Value
        
        google.protobuf.BoolValue
        
        google.protobuf.StringValue
        
        string
        
        google.protobuf.Timestamp
        
        repeated - один тип повторяется несколько раз (аналог массива)
      - oneof value_oneof - только одно вложенное поле может быть задано
  - - - На клиенте можно извлечь через data, ok := metadata.FromIncomingContext(ctx)
      - Метаданные полезны для передачи идентификатора пользователя и данных о нём
      - Лучше указывать всегда
        x-app-name: НАЗВАНИЕ_СЕРВИСА
        x-app-version: ВЕРСИЯ_СЕРВИСА
        
        Нужно делать через Middleware
    - - Можно возвращать ошибки с помощью status.Error(КОД, СОБЩЕНИЕ)
        
        КОД берётся из codes. (аналоги HTTP-кодов)
      - На клиенте можно получить через st, ok := status.FromError(error)
      - Можно валидировать через мидлвари
      - Чтобы передать детали ошибок, можно передать в ошибке gRPC поле details через пакет errdetails
    - - Message НАЗВАНИЕ
        
        // КОММЕНТАРИЙ - так сгенерируется в GO
        ТИП НАЗВАНИЕ=ПОРЯДОК [ПЛАГИНЫ]
        
        ТИП
        
        uint64
        
        bool
        
        и тд
        
        repeated - если нужно массив определённого типа
        
        ПЛАГИНЫ - не обязательно
        
        [deprecated = true]
        
        [(validate.rules).uint64.gt = 0]
        
        Это пакет validate/validate.proto
        
        Если нужно обратиться к массиву, то repeated.items.uint64...
        
        ПОРЯДОК
        
        не может дублироваться
        
        Старые нельзя заменять для обратной совместимости
      - Service НАЗВАНИЕ
        
        rpc МЕТОД (MESSAGE_ЗАПРОСА) returns (MESSAGE_ОТВЕТА)
        
        АННОТАЦИИ - не обязательно. Это отсылка к пакету google/api/annonations.proto
      - syntax="proto3"
      - import-ы пакетов
      - package НАЗВАНИЕ_ПАКЕТА
    - - grpc_cli
      - grpcurl
- - - - Работают за счёт плагина
      - Поддерживает env-файлы и JS-код
    - - echo $JSON | jq "СЕЛЕКТОР"
- - - - Pushgateway - собирает метрики с приложения. Испольуется редко, поскольку много сложностей с ним (Единая точка отказа, нет мониторинга жизни приложения и хранит данные не эффективно)
      - Prometheus Server подкачивает метрики себе
      - Alertmanager - отправляет уведомления о сбоях
      - Клиенты обращаются к прометеусу через PromQL
        
        Клиентами могут быть:
        Prometeus web UI
        Grafana
        API clients
    - - scrape (скрейп) - процесс сбора метрик
      - Time series - состоит из имени метрики, лейблов и значений
        
        Формат: <metric name>{<label name>=<label value>, ...} <sample>
        Пример: api_http_requests_total{method="POST", handler="/messages"} 123
        
        Значение - это число с точкой или timestamp
        
        Имя состояит из трёх частей:
        ЧТОГДЕЕДИНИЦЫИЗМЕРЕНИЯ
        
        В лейблах лучше не использовать очень разные значения, поскольку лимит в 50
    - - через http путь /metrics
      - с интервалом 10 секунд
    - - Instant vector - множество time series
      - String - не используется, устарело
      - Range vector - диапазон
        
        http_requests_total{job="node"}[5m]
      - Scalar - простое число с плавающей точкой
    - - Пример:
        http_requests_total{environment=~"staging|testing|development",method!="GET"}[5m]
      - Операторы
        
        = простые сравнения «равно»
        != простые сравнения «не-равно»
        =~ regex-сравнение «равно»
        !~ regex-сравнение «не-равно»
      - Функции аггрегирования
        
        sum by (ПРИЛОЖЕНИЕ*, ГРУППА) (МЕТРИКА) - сумма по группировке
        sum by (application, group) (http_requests_total)
        
        sum without (instance) (http_requests_total) - сумма по группировке, только исключая instance
        
        rate - среднея скорость за единицу времени. Пример:
        rate(http_requests_total{job="api-server"}[5m])
        
        Можно вкладывать в sum:
        sum by (job) (rate(http_requests_total{job="node"}[5m]))
    - - Мониторинг HTTP-сервера:
        http.Handle("/metrics", promhttp.Handler())
    - - Counter - счётчик, значение которого может только увеличиться
        
        process_cpu_seconds_total 0.53
        
        var metricProcessedOpsTotal = promauto.NewCounter(prometheus.CounterOpts{
        Name: "myapp_processed_ops_total",
        Help: "The total number of processed events",
        })
        metricProcessedOpsTotal.Inc()
        Dec()
      - Gauge - измеритель, значение которого может как падать, так и повышаться
        
        go_gourotines 32
        
        Set(...)
        Inc()
        Dec()
        Add(...)
        Sub(...)
        SetToCurrentTime()
      - Histogram - когда нужно считать большое количество значений, выводя только их сумму или итог. Квантилии (бакеты) помогают понять данные в граничных случаях
        
        Данные дробятся по
        
        _bucket{..., le="0.22"} - среднее значение данных, которое меньше или равно 0.22
        _sum
        _count
        
        12 - максимальное количество бакетов
        
        Примеры использования:
        время выполнения запроса
        размер ответа
        
        rate(prometheus_http_request_duration_seconds_sum[5m] / rate(prometheus_http_request_duration_seconds_count[5m])
        histogram_quantile(0.9, rate(http_request_duration_seconds_bucket[10m])) - Подсчет 90-го процентиля времени выполнения запроса за последние 10m
        
        histogram = promauto.NewHistogram(prometheus.HistogramOpts{...})
        ...
        histogram.Observe(rand.Float64() * 10)
      - Summary (сводка) - тоже самое, что и Histogram, но менее рекомендуеая к использованию
        
        В отличии от Histogram данные аггренируются на стороне клиента
  - - - https://grafana.com/grafana/dashboards/10826
  - - - OTLP/gRPC: 4317 port by default
      - OTLP/HTTP: 4318 port by default
- - - - Читает методом r.Read(byte): количество считанных байтов, error
  - - - HTTP-клиент
        
        http.Get(url) (resp, err)
        
        client := &http.Client{параметры}
        
        MaxIddleConnectPerHost желательно переопределять с 2 на большее значение. Поскольку по-умолчанию будет тормозно отправлять запросы
      - HTTP-сервер
        
        http.ListenAndServe(ХОСТ_С_ПОРТОМ,ХАНДЛЕР)
        
        ХАНДЛЕР - это функция для перехвата запросов
        
        func (http.ResponseWriter, *http.Request) {...}
        
        Можно писать во writer:
        fmt.Fprintf(w, ТЕКСТ)
        fmt.Fprintln(w, ТЕКСТ)
        w.Write([]byte(ТЕКСТ))
        
        Можно писать заголовки через w.Headers().Set(КЛЮЧ, ЗНАЧЕНИЕ)
        
        1 more item...
        
        http.HandleFunc(ПУТЬ, ХАНДЛЕР) - регистрация хандлера
        
        Мультиплексор
        
        http.NewServerMux() - мультиплексор
        &http.ServerMux{}
        new(http.ServerMux)
        
        mux.HandleFunc(ПУТЬ, ХАНДЛЕР)
        
        Стандартный мультиплексор не очень. Хорошо подходят сторонние. Например:
        github.com/gorilla/mux
        
        Умеет триммить / и фильтровать по типу запроса
        
        Тестируется через пакет httptest
        
        Graceful shutdown сервера: server.Shutdown(ctx) по событию OS
    - - Values{}
        
        Add(Ключ, Значение)
        
        Encode() - возвращает строку URL