Please enable JavaScript.

Coggle requires JavaScript to display documents.

Engenharia de Dados - Coggle Diagram

- - - - Blob
        
        Azure data Lake Gen2
        
        Formatos
        
        Parquet
        
        Avro
        
        Protobuf
        
        API
        
        Delta
        
        Autenticação
        
        ADLS tem um formato de sistema de arquivos distribuído interno chamado Azure Blob File System (ABFS). Além disso, ele também fornece API de interface de sistema de arquivos semelhante, como Hadoop, para endereçar arquivos e diretórios dentro de ADLS usando o esquema URI.
      - FileShare
      - Queue
      - Tables
  - - - OLAP
        
        "On-line Analytical Processing", trata da capacidade de analisar grandes volumes de informações nas mais diversas perspectivas dentro de um Data Warehouse (DW). O OLAP também faz referência às ferramentas analíticas utilizadas no BI para a visualização das informações gerenciais e dá suporte para as funções de análises do negócio organizacional.
      - MPP
        
        Analytical Massively Parallel Processing (MPP) Databases são bancos de dados otimizados para cargas de trabalho analíticas: agregando e processando grandes conjuntos de dados, tendem a ser colunares, geralmente armazenam cada coluna como um objeto, distribuem seus conjuntos de dados em muitas máquinas, ou nós, para processar grandes volumes de dados, esses nós contêm seus próprios recursos de armazenamento e computação, permitindo que cada um execute uma parte da consulta.
      - Modelagem
        
        Star Schema
        
        Snow Flake
  - - - OLTP
        
        "On-line Transaction Processing", é o termo usado para se referir aos sistemas transacionais, ou seja, os sistemas operacionais das organizações. São utilizados no processamento dos dados de rotina que são gerados diariamente através dos sistemas informacionais da empresa e dão suporte às funções de execução do negócio organizacional.
  - - - Consistency
        
        Esse comportamento significa que o sistema garante a leitura do dado mais atualizando, quanto ele foi escrito. Isso significa que, o cliente pode ler o dado no mesmo nó que este dado foi escrito ou de um nó diferente, o mesmo dado será retornado para a aplicação cliente. Mesmo que alguém tenha mudado o estado do domínio da aplicação com novas informações, o comportamento de consistência, garantirá que o cliente não verá dados velhos, apenas os novos dados serão visualizados.
      - Availability
        
        O comportamento de Disponibilidade, significa que quando o cliente lê ou escreve um dados em um dos nós, o nó que está sendo utilizado pelo cliente, pode estar indisponível.Isso não quer dizer que um nó não pode falhar, o que esse comportamento quer dizer é que, um nó pode sim ficar offline/cair/falhar, mas o sistema/aplicação continuaria disponível.
      - Partition Tolerance
        
        Esse comportamento significa que o sistema continua operando, mesmo que aconteça alguma falha na rede (quebra de conectividade). Isso garante que, Por exemplo: Temos um banco de dados distribuido em alguns nós da rede (Ex.: 10 NÓS) e, estes nós, estão ligados através de um cluster. Caso uma das partes do cluster falhe, o sistema continuaria operando sem nenhuma falha, porque a outra parte, que se encontra operacional do cluster, garantirá que, pelo menos, as operações de leitura, continue funcionando normalmente.
      - Combinações CAP
        
        CA
        
        Sistemas que implementam este tipo de abordagem, normalmente necessitam de forte consistência e altíssima disponibilidade. Quando um sistema implementa esse tipo de abordagem, isso representa um risco para a aplicação que não sabe lidar com falhas em algum dos nós. Caso essa falha aconteça, o sistema fica indisponível até que os membros do cluster se reestabeleçam novamente. Esse tipo de abordagem é chamada de Otimista, ou seja: Escritas NUNCA falham. Exemplos de sistemas implementados com esta abordagem: SQL Server, Oracle, Postgre, MySQL e outros banco de dados relacionais.
        
        CP
        
        Abordagem pessimista, o que significa dizer que: Escritas PODEM ser negadas. Sistemas que optam por essa estratégia, precisam abrir mão da disponibilidade — mesmo que seja um pouco. Existe uma palavra, bastante importante nesse contexto, chamada: Conscenso. Em sistemas do tipo CP, caso exista um particionamento e o sistema não entre num conscenso, a escrita — como mencionado anteriormente, pode sim ser rejeitada/negada. Há um forte trabalho feito nas plataformas que implementam essa abordagem, para que nada de errado aconteça ou seja, há a implementação de protocolos de conscenso chamado: Praxos, garantindo a Forte Consistência. Exemplos desses tipos de sistemas são: MongoDB, Hadoop.
        
        AP
        
        Sistemas que implementam este tipo de abordagem, onde requer alta disponibilidade e escalabilidade e tolerância a particionamento, precisa abrir mão da consistência e aplicar o conceito chamando: Consistência Eventual (Eventual-Consistency). A intenção desse tipo de implementação é que esse tipo de sistemas permitam mais escritas e tenham seus dados sincronizados em um momento posterior; o que pode ter uma janela tempo de inconsistência. Aqui vão alguns Bancos de dados NoSQL que implementam esse tipo de comportamento: MongoDB, Cassandra, Riak, Voldemort, RavenDB, DocumentDB.
    - - Velocidade
      - Volume
      - Variedade
      - Veracidade
      - Valor
    - - Atomicidade
        
        É algo indivisível. Ou tudo o que está em uma transação deve ser realizado com sucesso, ou nada deve ser realizado.
      - Consistencia
        
        O banco de dados deve ter uma transação terminada em estado consistente, ou seja, deve respeitar todas as regras impostas no banco de dados para todos os envolvidos na transação EX: Datatypes, nulidade, constraints
      - Isolamento
        
        Uma transação não pode interferir em outra enquanto está em atividade. Só após sua conclusão é que o seu resultado ficará disponível para outras transações.
      - Durabilidade
        
        Ao final da transação o resultado deve permanecer no banco de dado, aconteça o que acontecer.
    - - Horizontal (Scale Out/In)
        
        Significa adicionar mais nós a (ou remover nós de) um sistema, como adicionar um novo computador para uma aplicação de software distribuída. EX: NOSQL, Databricks
      - Vertical (Scale Up/Down)
        
        significa adicionar recursos (ou remover recursos de) um único nó em um sistema, normalmente envolvendo a adição de UCPs ou memória para um único computador. EX: SQL Server
  - - - Esses recursos são um pouco mais complicados, pois precisam ser calculados muito rapidamente e costumam ser exibidos em latência de milissegundos. Por exemplo, calcular uma pontuação z para detecção de fraude em tempo real. Nesse caso, o pipeline é construído calculando a média e o desvio padrão em uma janela deslizante em tempo real. Esses cálculos são muito mais desafiadores, exigindo computação rápida, bem como acesso rápido aos dados. Os dados podem ser armazenados na memória ou em um banco de dados de valores-chave muito rápido. O processo em si pode ser realizado em vários serviços na nuvem ou em uma plataforma como a Plataforma de Ciência de Dados Iguazio, que possui todos esses componentes como parte de sua oferta principal.
    - - Normalmente é necessário para atender e armazenar com eficiência grandes quantidades de dados de recursos. Normalmente, os recursos off-line são calculados por meio de estruturas como Spark ou simplesmente executando consultas SQL em um determinado banco de dados e, em seguida, usando um processo de inferência em lote.
- - - - Pilares
        
        Abstração
        
        É utilizada para a definição de entidades do mundo real. Sendo onde são criadas as classes. Essas entidades são consideradas tudo que é real, tendo como consideração as suas características e ações
        
        Encapsulamento
        
        É a técnica utilizada para esconder uma ideia, ou seja, não expôr detalhes internos para o usuário, tornando partes do sistema mais independentes possível. Como um exemplo mais técnico podemos descrever o que acontece em um sistema de vendas, aonde temos cadastros de funcionários, usuários, gerentes, clientes, produtos entre outros. Se por acaso acontecer um problema na parte do usuário é somente nesse setor que será realizada a manutenção não afetando os demais.
        
        Herança
        
        Na Programação Orientada a Objetos o significado de herança tem o mesmo significado para o mundo real. Assim como um filho pode herdar alguma característica do pai, na Orientação a Objetos é permitido que uma classe herde atributos e métodos da outra, tendo apenas uma restrição para a herança.
        
        Polimorfismo
        
        O Polimorfismo é um mecanismo por meio do qual selecionamos as funcionalidades utilizadas de forma dinâmica por um programa no decorrer de sua execução.Com o Polimorfismo, os mesmos atributos e objetos podem ser utilizados em objetos distintos, porém, com implementações lógicas diferentes. Por exemplo: podemos assumir que uma bola de futebol e uma camisa da seleção brasileira são artigos esportivos, mais que o cálculo deles em uma venda é calculado de formas diferentes.
      - Objetos
        
        Objeto é uma instancia de uma classe, ou seja uma representação da classe, ex: Listas, tuplas, dicionarios, dados
      - Classes
        
        Classes proporcionam uma forma de organizar dados e funcionalidades juntos. Criar uma nova classe cria um novo “tipo” de objeto, permitindo que novas “instâncias” desse tipo sejam produzidas
      - Métodos
        
        Um método é uma função que “pertence” a um objeto instância.
    - - Regras
        
        6-Tratamento de erros
        
        As coisas podem dar errado, mas, quando isso ocorre, os programadores são os responsáveis por garantir que o código continuará fazendo o que precisa. Ou seja: saber tratar as exceções de forma correta é um grande e importante passo para um programador em desenvolvimento.
        
        1-Nomes
        
        A definição de nome é essencial para o bom entendimento de um código. Aqui, não importa o tipo de nome, seja ele Variável,Função,Parâmetro,Classe,Método. Ao definir um nome, é preciso ter em mente 2 pontos principais, Ele deve ser preciso e passar logo de cara sua ideia central. Ou seja, deve ir direto ao ponto;Não se deve ter medo de nomes grandes. Se a sua função ou parâmetro precisa de um nome extenso para demonstrar o que realmente representa, é o que deve ser feito.
        
        2-Regra do escoteiro
        
        A regra significa deixar o código mais limpo do que estava antes de mexer nele.
        
        3-Seja o verdadeiro autor do código
        
        Em resumo, para estruturar um código limpo, é necessário criar funções simples, claras e pequenas. Existem 2 regras para criar a narrativa via código, As funções precisam ser pequenas; Elas têm de ser ainda menores.
        
        4-DRY (Don’t Repeat Yourself)
        
        Esse princípio pode ser traduzido como “não repita a si mesmo”. O DRY diz que cada pedaço do conhecimento de um sistema deve ter uma representação única e ser totalmente livre de ambiguidades. Em outras palavras, define que não pode existir duas partes do programa que desempenhem a mesma função.
        
        5-Comente apenas o necessário
        
        O que ocorre é que, enquanto os códigos são constantemente modificados, os comentários não.
        
        7-Testes limpos
        
        Um código só é considerado limpo após ser validado através de testes
        
        Repeatable
        
        Repeatable: Deve permitir a repetição do teste diversas vezes e em ambientes diferentes;
        
        Self-Validation
        
        Self-Validation: Os testes bem escritos retornam com as respostas true ou false, justamente para que a falha não seja subjetiva;
        
        Independent
        
        Ele deve ser independente, a fim de evitar que cause efeito cascata quando da ocorrência de uma falha – o que dificulta a análise dos problemas;
        
        Timely
        
        Timely: Os testes devem seguir à risca o critério de pontualidade. Além disso, o ideal é que sejam escritos antes do próprio código, pois evita que ele fique complexo demais para ser testado.
        
        TDD
        
        Teste Drive Desenvolvimento, guiado por testes é uma técnica de desenvolvimento de software que se relaciona com o conceito de verificação e validação e se baseia em um ciclo curto de repetições: Primeiramente o desenvolvedor escreve um caso de teste automatizado que define uma melhoria desejada ou uma nova funcionalidade.
        
        Fast
        
        O teste deve ser rápido, permitindo que seja realizado várias vezes e a todo momento;
      - O principio é tornar o desenvolvimento e a manutenção cada vez mais simples.
  - - - Rest API
        
        O acrônimo API que provém do inglês Application Programming Interface (Em português, significa Interface de Programação de Aplicações), trata-se de um conjunto de rotinas e padrões estabelecidos e documentados por uma aplicação A, para que outras aplicações consigam utilizar as funcionalidades desta aplicação A, sem precisar conhecer detalhes da implementação do software.
        
        REST significa Representational State Transfer. Em português, Transferência de Estado Representacional. Trata-se de uma abstração da arquitetura da Web. Resumidamente, o REST consiste em princípios/regras/constraints que, quando seguidas, permitem a criação de um projeto com interfaces bem definidas. Desta forma, permitindo, por exemplo, que aplicações se comuniquem
  - - - Histórico
        
        Possibilidade de alternar entre versões
      - Trabalho Equipe
        
        Desenvolvimento Paralelo em diferentes ambientes
      - Ramificação / Branch
        
        Possibilidade de criar varias versões a partir de um ponto e juntar as funcionalidades após finalizadas
      - Rastreabilidade
        
        Identificar em que ponto a mudança foi feita e identificar o responsável
      - Sistema que gerencia os versionamentos dos códigos
      - Tipos Controle Versão
        
        Centralizado
        
        Visual studio Team Fundation Server
        
        Subversion
        
        Distribuido
        
        Git
        
        Estados GIT - Funcionamento
        
        1- Working Directory
        
        Arquivos
        
        Modificados
        
        Excluidos
        
        Adicionados
        
        1 more item...
        
        2- Staging Area
        
        Arquivos adicionados e preparados para serem versionados
        
        1 more item...
        
        3- Commited
        
        Arquivos Salvos
        
        1 more item...
  - - - O arquivo .egg é um formato de distribuição para pacotes Python. É apenas uma alternativa para uma distribuição de código-fonte ou exe do Windows. Mas note que para o Python puro, o arquivo .egg é completamente multiplataforma.
        O próprio arquivo .egg é essencialmente um arquivo .zip. Se você alterar a extensão para "zip", você pode ver que ele terá pastas dentro do arquivo.
- - - - Os produtores não precisam se preocupar com relação a partição onde os dados serão enviados, o kafka gerencia isto automaticamente, a confirmação da escrita dos dados é automatica, mas pode ser configurada manualmente caso necessário. Em caso de falhas de conexão com o broker, o producer saberá se recuperar automaticamente
    - - Tópicos :
        
        Offsets
        
        Cada partição tem um identificador incremental chamado offset.
        
        Partições
        
        Os tópicos podem ser subdividios em partições, e cada nova mensagem é inserida de forma ordenada
        
        Tópico é uma fila de dados, capaz de armazenar mensagens, o tópico é definido pelo nome, e pooem ser criados o quanto for preciso
      - Os consumers sabem se recuperar automaticamente em caso de problemas de conexão, podem ler os dados dentro de um mesmo grupo, compartilhando o mesmo offset, as partições são distribuidas conforme a quantidade de consumers existentes, caso haja mais consumers do q partições os consumers excedentes não receberão dados, sempre q um novo consumer passa a consumir um topico, ocorre o rebalanceamento das partições atribuidas para cada consumer,
    - - O Remote Procedure Call (Chamada de Procedimento Remoto) é uma tecnologia para a criação de programas distribuídos servidor/cliente que provê um paradigma de comunicação de alto nível no sistema operacional, já presumindo a existência de um protocolo de transporte, como TCP/IP ou UDP, para carregar a mensagem entre os programas comunicantes.
        
        O RPC trabalha de maneira parecida, em que o controle muda entre dois processos: o processo cliente e o processo servidor. Primeiramente o processo cliente envia uma mensagem que contém os parametros do procedimento para o servidor e passa a esperar uma resposta. Em seguida, um processo do lado do servidor, que estava inativo até a chegada da mensagem, extrái os parametros, computa os resultados e então envia uma mensagem de resposta e passa a esperar a próxima chamada. Quando o processo cliente recebe a resposta, ele extrái os resultados da mensagem e resume sua execução.
- - - - É um protocolo de rede para o usuário internet acessar, administrar e modificar remotamente seus servidores. Com o acesso SSH, o usuário pode fazer login em um outro computador por uma rede protegida por criptografia. Desse jeito, ele pode executar comandos, mover e editar arquivos de um local para outro sem riscos de interceptação por agentes maliciosos.
      - Open SSH
      - Putty