Please enable JavaScript.
Coggle requires JavaScript to display documents.
AWS - IA, Data lifecycle - Coggle Diagram
AWS - IA
Amazon SageMaker
-
-
-
-
-
JumpStart
-
-
Você pode avaliar, comparar e selecionar FMs rapidamente baseados em qualidades e metricas de responsabilidades pré-definidas
-
SageMaker Canvas
Um ambiente no-code em que se pode criar modelos de ML. Perfeito para quem não tem conhecimento em código
-
Data Wrangler
Também é no-code, mas não faz MLs
a melhor opção para criar divisões de treinamento, teste e validação em seus dados para ML
-
-
Model Dashboard
displays data from Amazon SageMaker Model Cards, SageMaker Model Monitor and SageMaker Endpoint services
SageMaker Model Dashboard gives you a comprehensive overview of deployed models and endpoints so that you can track resources and model behavior violations in one place.
-
Autopilot
-
Propósito principal: Automaticamente constroi, treina e tuna ML models
-
DEPLOYING
Self-managed
AWS Batch, ECS, EKS, Lambda com o API Gateway, EC2
-
-
-
-
Model Cards
-
-
-
-
how each model should be used, along with an assessment of the potential risks associated with its deployment
-
-
Model monitor
monitors the quality of Amazon SageMaker machine learning models in production. With Model Monitor, you can set up: Continuous monitoring with a real-time endpoint, Continuous monitoring with a batch transform job that runs regularly, and On-schedule monitoring for asynchronous batch transform jobs.
-
-
MAIS OUTRAS COISAS
AI
ML
DL
Gen AI
-
-
-
-
-
-
-
-
lifecycle
Identify use case
experiment and select
Adapt, align and augment
- 1 more item...
-
metrics
-
-
Conversion rate
Avalia a efetividade da solução Gen AI em impulsionar ações do usuário, como compras ou inscrições
-
-
Cross-domain performance
métrica que analisa quão bem um sistema se adapta para contextos específicos, como saúde, finanças e entretenimento
User satisfaction
Coleta feedback do usuário, e revisa as dimesões da experiência do usuário final
-
-
-
-
Training process for FMs
-
Fine-tuning
-
-
Técnicas
-
-
-
-
Domain adaptation
- 1 more item...
-
Data preparation
-
-
-
-
-
-
Data logging
- 1 more item...
-
-
-
-
Performance metrics
-
-
-
-
-
-
Services
SageMaker JumpStart, Clarify
-
-
-
-
-
-
-
Na AWS, para treinar um ML, ele pode estar no RDS no Redshift e no S3, no Dynamo DB e DocumentDB tbm
-
-
INFERENCE
-
Produzir um resultado esperado para um dado para o qual ML não foi treinado, q é desconhecido
-
-
-
-
Tokenization
Quebrar o texto em palavras ou até sub-palavras, em partes menores
overfitting
-
Underfit models experience high bias, whereas, overfit models experience high variance
-
BIas
Preconceito
Tipo treinar com um grupo de etnia só, ai tu vai lá e coloca uma etnia diferente e o model não entende
LLMs
-
-
-
-
-
-
São não deterministicas
-
Temperatura baixa ajuda com mais respostas deterministicas, temperatura alta se tornam mais criativas
-
-
-
-
-
Os treinamentos dos modelos devem ser equalitários, para q a IA não seja preconceituosa
Deve envolver vários grupos de
Você deve pensar no meio ambiente, tentando envolver o mínimo impacto na natureza
.
Version control
Code: Github, gitlab, bitbucket, AWS CodeCommit
-
-
-
-
-
A engenharia de recursos para dados estruturados geralmente envolve tarefas como normalização e tratamento de valores ausentes, enquanto para dados não estruturados envolve tarefas como tokenização e vetorização
O vazamento de prompt refere-se à divulgação ou vazamento não intencional dos prompts ou entradas usadas em um modelo. Ele pode expor dados protegidos ou outros dados usados pelo modelo, como o funcionamento do modelo.
Envenenamento refere-se à introdução intencional de dados maliciosos ou tendenciosos no conjunto de dados de treinamento de um modelo, o que leva o modelo a produzir resultados tendenciosos, ofensivos ou prejudiciais (intencionalmente ou não).
-
-
The key advantage of combining human evaluation with benchmark datasets in AI model evaluation is that it helps balance technical performance metrics with user experience. While benchmark datasets can provide objective metrics, human evaluation can offer insights into how the model performs in real-world scenarios and how users interact with it.
-
Amazon Bedrock
-
-
Solução da Amazon para gerar serviços generative AI. Em que vc passa uma base de dados para ele e ele gera um conteúdo
-
-
-
Bedrock Guardrail
Uma barreira para não vazar dados, por exemplo
-
-
-
-
-
Bedrock Agents
-
Tipo, "vire uma atendente"
Acessa RAG, ele consegue tomar uma decisão com base no banco de dados
-
-
-
-
ML com inferência
Conclusão, Terminação
Batch - FM mais lenta
Ela processa muitos dados mas não precisa de resposta em tempo real, é mais lenta
-
Você é responsável pela criptografia dos dados e aplicar controles de acesso, bem como pela precisão dos resultados
-
-
-
-
-
-
-
-
Outras coisas
-
-
Continued Pre-Training envolve treinar o modelo com dados específicos, para ele saber coisas específicas
-
Domain Adaptation FIne-Tuning envolve melhorar, afinar o modelo para dominar e entender dados específicos
A vantagem primária de IA generativa na AWS é automatizar a criação de novos dados baseado em padrões existentes, ampliando a produtividade e inovação
-
Inferência é o processo seus parâmetros treinados para gerar predições ou saidas de baseados em dados de entrada provisionados pelo usuário
-
hallucination
o LLM chatbot gera respostas que parecem plausíveis e fatídicas, mas estão incorretas
Os FMs servem como uma base ampla para várias aplicações de IA, fornecendo capacidades generalizadas, enquanto os LLMs são especializados para compreender e gerar a linguagem humana.
Outros Coisas
-
Confusion Matrix
Uma ferramenta específica para avaliar a performance de classificação dos modelos mostrando um numero verdadeiro de positivos e negativos e um falso
Quando ta ruim o ML model,
A empresa deve aumentar o número de épocas, o que envolve treinar o modelo para mais iterações no conjunto de dados
A model evaluation é o processo de avaliar e comparar os resultados do modelo para determinar o modelo mais adequado para um caso de uso, enquanto a model inference é o processo de um modelo gerar uma saída (resposta) a partir de uma determinada entrada (prompt)
-
-
This is the most suitable choice because a small language model (SLM) optimized for deployment on edge devices is specifically designed to be lightweight, efficient, and capable of running on devices with limited computational resources.
-
A IA generativa é importante porque pode criar de forma autônoma dados novos e complexos, aumentando a criatividade e a eficiência em vários domínios
-
Risk Management
Disciplina de segurança de GenAI focada em identificar ameaças potenciais para as soluções de Gen AI e recomendar mitigações
Melhorar a interpretabilidade e a transparência do modelo pode, por vezes, envolver compromissos com o desempenho do modelo, uma vez que modelos mais simples são muitas vezes mais fáceis de interpretar, mas podem não atingir o desempenho mais elevado
Quanto as causas de BIAS, Um cientista de dados seleciona recursos para um modelo de aprendizado de máquina com base em suas crenças pessoais sobre quais atributos são importantes, levando a um modelo tendencioso
-
-
-
You can use Amazon SageMaker to train the custom machine learning model and Amazon Bedrock to integrate the pre-trained large language model
Para os agentes AI responderem rapidamente, ele ativa a similaridade rápida de pesquisa em vector databases
-
-
Os agentes de IA coletam dados sobre os resultados de suas ações, o que ajuda a refinar o modelo de IA e melhorar sua precisão e eficácia ao longo do tempo. Para melhorar a precisão e eficácia
Transfer learning
modelo de aprendizado que utiliza o conhecimento adquirido em uma tarefa ou dataset para melhorar a performance em uma nova q esteja relacionada
Context Window, que determina a quantidade de texto ou informação que o modelo pode considerar de uma só vez ao gerar uma resposta, normalmente medida em tokens em vez de caracteres.
A empresa deve usar conjuntos de dados de referência, que são conjuntos de dados pré-compilados e padronizados, projetados especificamente para testar preconceitos e discriminação nos resultados do modelo
se ta caro, considere reduzir os tokens do prompt
-
Um agente AI pode, para ajudar as interações com o cliete, personalizar recomendações de produtos com base em sua preferência e fornecer respostas em tempo real às dúvidas dos clientes
Amazon Q
-
-
-
-
-
Não da para editar muito
Ou seja, vc não consegue mudar o FM
-
Como ele funciona
Usar em uma S3 os vídeos, o PDF, TXT
-
-
-
-
-
-
Plugins
-
-
-
-
Pelo chat ela pode utilizar esses software, ele faz sozinho por exemplo uma abertura de um chamado
-
-
-
-
Amazon Lex
-
-
-
-
-
-
Para chatbot caio, lembre-se
-
-
Amazon Kendra
-
A partir de dados em X local, ele vai aprender tudo
-
-
-
-
-
Search analytics
provides insights into how users interact with search results, including metrics such as popular search queries, click-through rates, and user engagement. T
Relevance tuning in Amazon Kendra allows the company to adjust search result rankings based on user interactions.
DeepRacer
-
-
-
-
-
-
-
No free tier, tu ganha 10 horas e 5gb durante os primeiros 30 dias para treinar e alimentar seu carro
-
-
Amazon Personalize
Utilizado em web, app, sms, mobiles, emails
-
-
-
-
-
-
Classificação personalizada para reordenar listas de produtos com base nas preferências de cada cliente & Recomendações em tempo real para sugerir produtos dinamicamente enquanto os clientes navegam no site
Governança com IA
Confiabilidade para AI
Para empresas, pessoas, no geral
-
-
Como começou, tudo.
o ciclo de vida da IA
Sem mostrar muito né, ninguém pode copiar
-
-
Manter a confencialidade, integridade e disponibilidade dos dados
-
Machine Learning
-
-
Supervised
Passar alguns dados
Mas tu diz as resposta pra ele, pra ele entender
-
-
-
-
-
-
Depois que o modelo foi treinado, é hora de iniciar o processo de usar as informações que um modelo aprendeu para fazer previsões ou decisões. Isso é chamado de inferência.
Amazon Comprehend
-
-
-
Medical
-
Ele desidentifica o paciente, não extraindo PII
-
-
Para analisar grande quantidade de dados no s3, considere agendar um batch processing jobs
-
-
Amazon Transcribe
-
-
-
-
Tem um medical, q serve especificamente para converter falas médicas para texto
Features
Custom Vocabulary - colocar no transcribe uma lista de palavras que são mais técnicas q é capaz de ele não entender
-
Responsabilidade IA
-
-
-
-
Transparência
Passar como ele funciona, da onde ele tira as respostas. As referências por exemplo
Criar uma IA do 0 é muito mais seguro q usar algo pré-criado, pois vc tem mais controle
-
Parâmetros de inferência
-
-
Temperature
A temperatura é um valor entre 0 e 1 e regula a criatividade das respostas do modelo. Use uma temperatura mais baixa se quiser respostas mais determinísticas e use uma temperatura mais alta se quiser respostas criativas ou diferentes para o mesmo prompt no Amazon Bedrock.
-
-
-
Podemos citar tbm, tamanho da resposta, penalidades e sequencias de parada
-
Prompt
-
-
-
Dividido em:
-
-
Saída de dados (formato, características)
-
-
Tipos
-
One-shot
Um exemplo, dando instruções
-
-
negative prompting
evitar certos assuntos, controlar a saida
Few-shot
Dá exemplos
Ajuda o modelo dando exemplos e permite resultados mais certeiros com tarefas complexas ao orientar o modelo
-
-
Amazon Rekognition
-
-
-
-
FEATURES
-
Label detection
Localiza objetos, cenas, e alguns conceitos em imagens
SERVICES
Content moderation
serviço correto a ser utilizado para garantir que as imagens enviadas pelo usuário não contenham nenhum conteúdo impróprio.
-
Amazon Forecast
-
-
-
Coloca os dados (CSV, XLS. DB) em uma S3
-
-
Amazon Textract
-
-
Ele pega quando o texto é fácil, tipo, melhor usar para pegar o texto em documentos
Em casos mais difíceis, usa o rekognition
-
-
-
Amazon Augmented AI
-
Uma AI ta trabalhando normal, mas tem a supervisão de um humano
-
-
Se é um dado novo, uma resposta nova, negativa ou positiva, ele passa para os seres humanos para aprovarem
-
Amazon Polly
-
-
The generative engine in Amazon Polly is best suited for generating expressive and adaptive speech using generative AI.
Speech Synthesis Markup Language (SSML) in Amazon Polly serve para customizar e controlar a fala de saída
-
-
No Amazon Q Bussiness
-
o guardrails suporta controle de tópicos específico para determinar o ambiente web por trás quando ele encontra a menção de um tópico bloqueado pelo user final
-
Ele leva em conta as permissões de usuários exisitentes na empresa para controlar o acesso aos dados
-
Segurança com GenAI
-
-
Não é seguro usar o chat gpt da vida pois ele é publico, a responsabilidade é da open ai por exemplo
Redes neurais
Generative Adversarial Network (GAN) for creating realistic synthetic data while preserving the statistical properties of the original data
-
-
-
Responsible AI
Um guia que garante q a IA trabalha de maneira bacana, segura e pá
ética
O guia
-
-
-
Transparency
Ela tem q mostrar como ela funciona, como chegou em tal resultado
-
Amazon Connect
-
-
Por voz (ligação) Chat/SMS, chamada web ou de vídeo
-
-
-
-
-
.
Coisas da AWS
-
-
A AWS cuida da of segurança da nuvem e voce, cliente, na in nuvem
-
-
-
-
-
-
-
-
-
-
-