Please enable JavaScript.

Coggle requires JavaScript to display documents.

Exame DP-900 Julho/2023 - Coggle Diagram

- - - - Arquivos de texto delimitado (CSV, TSV, etc): arquivo de texto sem formatação, delimitado por vírgula, tabulação ou com tamanho fixo.
      - JSON (JavaScript Object Notation): consiste em chave:valor, sendo que através de uma estrutura hierárquica são definidas entidades de dados e seus atributos. Objetos/entidades são indicados por chaves ({}) e coleções/atributos por colchetes ([]) separados por vírgula.
      - XML: formato de arquivo que usa marcas delimitadas por colchetes angulares (<>, lembra HTML) e terminadas por barra para representar elementos e atributos.
      - BLOB (Objeto binário grande): diferente de outros tipos de arquivos geralmente construídos com base em caracteres imprimíveis, BLOB serve para armazenar arquivos não estruturados em formato binário, como imagens, vídeos, áudios, tipos específicos de documentos de aplicativos.
      - Formatos de arquivo otimizados: formatos legíveis de arquivos geralmente não são performáticos em questão de armazenamento ou processamento, então surgem formatos de arquivos que permitem compactação, indexação, etc.
        
        Avro: em linhas, foi criado pela Apache, armazena o cabeçalho (que registra a estrutura dos dados) em JSON e linhas em binários. Compacta os dados e otimiza largura de banda de rede.
        
        ORC: em colunas, foi criado para otimizar leitura e gravação no Apache Hive (DW que dá suporte a resumos rápidos de dados e consultas em Big Data), que contém faixas de dados com cada uma contendo dados de uma coluna ou conjunto delas (índice nas linhas, dados de cada linha e rodapé (estatísticas das colunas)).
        
        Parquet: em colunas, criado pela Cloudera e Twitter, com grupos de linhas onde dados são armazenados juntos no mesmo grupo de linhas e cada grupo contém uma ou mais partes de dados, juntamente aos metadados que podem ser lidos por um aplicativo. Muito bom para dados aninhados.
    - - Bancos de dados relacionais: tabelas/entidades, com linhas/registros/instâncias que recebem uma chave primária exclusiva, referenciando instâncias da entidade em outras tabelas. O banco é normalizado (sem valores duplicados), com as tabelas gerenciadas através de SQL.
      - Bancos de dados não relacionais: não tem esquema relacional, NoSQL - em alguns casos fornecendo suporte ao SQL, ainda sim.
        
        Chave-valor: cada registro tem uma chave exclusiva e um valor associado em qualquer formato.
        
        Documentos: formato específico de chave-valor, no qual o valor é um JSON.
        
        Família de colunas: dados tabulares que abrangem linhas e colunas, com possibilidade de dividir as colunas em "famílias" (grupos) com essas (colunas) logicamente relacionadas.
        
        Grafo: armazenam entidades como nós com links para definir relação entre eles.
  - - - Atomicidade: cada transação é única e sempre é totalmente bem sucedida ou falha. Caso qualquer coisa dê errado, não pode existir um registro no banco, por exemplo.
      - Consistência: transações só podem conduzir de um estado válido a outro. O que deveria ser executado deve ser executado sem problemas.
      - Isolamento: transações são independentes, não podendo interferir umas nas outras e sempre ter resultado consistente.
      - Durabilidade: uma vez executada, uma ação deve continuar neste mesmo estado.
- - - - Banco de dados SQL do Azure: PaaS totalmente gerenciado e hospedado no Azure.
      - Instância gerenciada de SQL do Azure: instância hospedada com manutenção automatizada, mas com mais responsabilidade do proprietário. Empresas podem fazer migração lift-and-shift para nuvem de seus apps sem maiores impactos.
      - VM do Azure: máquina virtual com o SQL Server totalmente gerenciado pelo responsável.
    - - MySQL
      - MariaDB
      - PostgreSQL
- - - - DDL (linguagem de definição de dados): modificar e remover tabelas e outros objetos (CREATE, ALTER, DROP, RENAME).
      - DCL (linguagem de controle de dados): gerenciar acesso a objetos em um banco de dados (GRANT, DENY, REVOKE).
      - DML (linguagem de manipulação de dados): manipular linhas em tabelas (inserção, modificação ou recuperação), além de exclusão (SELECT, INSERT, UPDATE, DELETE). MAX e MIN são exemplos de funções de agregação.
- - - - Blobs de blocos: conjunto de blocos (menor quantidade de dados lidos ou gravados individualmente), variando até 100MB e com máximo de 50 mil blocos (+4,7TB). Utilizados para blobs alterados com pouca frequência.
      - Blobs de páginas: coleção de páginas com tamanho fixo de 512 bytes, com suporte a operações de leitura e gravação aleatórias com até 8TB de dados. São utilizados para implementar o armazenamento em disco virtual para VMs.
      - Blobs de acréscimo: otimizado para suporte a operações de acréscimo, sem suporte a exclusão ou alteração de blocos, sempre criados ao final, com cada bloco variando até 4MB e máximo total de 195GB.
    - - Quente: camada padrão para blobs acessados com frequência, armazenados em mídia de alto desempenho.
      - Acesso esporádico/Fria: desempenho e custo inferiores a camada quente, para blobs acessados com menor frequência. É possível alterar blobs da camada quente para fria sem maiores problemas.
      - Acesso aos arquivos/Camada Arquivos: menor custo de armazenamento e maior latência para acesso, ideal para armazenar dados históricos com segurança, com acesso raro. Dados podem demorar horas para serem recuperados no processo de reidratação (movimentação para camadas Quente ou Fria).
- - - - Azure Synapse Analytics: solução unificada e ponta a ponta para análise de dados em grande escala. Tudo gerenciado através da interface Azure Synapse Studio, que permite criar notebooks interativos combinando markdown e Spark.
      - Azure Databricks: solução baseada no Spark com funcionalidades nativas de SQL, com clusters Spark otimizados para carga de trabalho de análise e ciência de dados, com interface interativa com dados explorados através de notebooks. Melhor solução para casos em que é necessária portabilidade.
      - Azure HDInsight: serviço que dá suporte a vários tipos de cluster de análise de dados de código aberto (Apache), sendo interessante em caso de migração de solução Hadoop local para nuvem.
- - - - Vantagens: processamento de grandes volumes em momento conveniente; agendamento em momentos que sistemas e computadores estão ociosos, por exemplo.
      - Desvantagens: atraso entre ingestão e resultados; dependências de dados sempre estarem prontos para os processos, podendo ocasionar em uma parada em caso de problemas.
      - Processamento em lote só consegue ocorrer em bases de dados estruturadas
  - - - Azure Stream Analytics: PaaS para definir trabalhos de streaming que ingerem de uma fonte de streaming, aplicam consulta perpétua e gravam resultados de saída.
      - Streaming Estruturado do Spark: biblioteca que permite desenvolver soluções baseadas no Spark, incluindo o Synapse Analytics, Databricks e HDInsight.
      - Data Explorer: serviço de análise de banco de dados de alto desempenho otimizado para consultada de dados em lote ou streaming, que pode ser usado de forma autônoma ou como um tempo de execução do Synapse Data Explorer.
    - - Hub de eventos do Azure: serviço de ingestão para gerenciar filas de dados para eventos.
      - Hub IoT do Azure: similar ao primeiro, mas otimizado para IoT (internet das coisas).
      - Azure Data Lake Gen2: geralmente utilizado para processamento em lotes, também pode ser utilizado para streaming.
      - Apache Kafka: solução de ingestão de dados usada em conjunto com Spark, podendo ser utilizada em um cluster Kafka do HDInsights.
    - - Hubs de eventos do Azure: usados para enfileirar dados processados para processamento posterior.
      - Data Lake Gen2 ou Blob Storage: manter resultados como arquivo.
      - Azure SQL Database ou Synapse Analytics ou Databricks: manter resultados em tabelas para consulta e análise.
      - Power BI: gerar visualizações em tempo real em relatórios e painéis.