Please enable JavaScript.
Coggle requires JavaScript to display documents.
DataHackes - Deep Learning - Coggle Diagram
DataHackes - Deep Learning
O que é Deep learning?
Primeiro a gente precisa entender que Deep Learning não é um método ou um modelo em si, é uma área. Que está dentro da área que a gente conhece como Machine Learning/Aprendizado de Máquina.
São técnicas de machine learning que podem resolver problemas de classicação, regressão e clusterização como as outras.
Deep learning são redes neurais que são empilhadas uma em cima da outra/em layers (dai que vem o deep) com o objetivo de abstrair a informação (features) para que problemas complexos se tornem mais simples.
Exemplo da imagem da rede e falar de GoodFelow.
Abstração de Informação e representação do aprendizado do modelo
https://miro.medium.com/max/700/0*H1BpEe_FvavDwuHk
Como funciona uma Rede Neural?
Redes Neurais:
É o conjunto de neurônios artificiais, o neurônio artificial é um matemático que simula o Neurônio Real.
Pensa ai: Uma neurônio artificial vai ter as
entradas
, essas entradas são multiplicadas por
pesos
, e o resultado dessa operação passa por uma
função de ativação
que leva a saída. Agora sai ligando vários neurônios em série e paralelo... isso é uma MLP.
Como ajustar os pesos
?
Gradiente descendente
. Alô Calculo.
ImageNet Classification
2012 a ruptura. AlexNet passou de 26 para 16 o Erro percentual.
2017 a SENet (150layers) 2.3
https://principlesofdeeplearning.com/index.php/is-deep-learning-getting-too-deep/
https://paperswithcode.com/sota/image-classification-on-imagenet
FixEfficientNet-L2 (Facebook)
1.3% o Erro
ResNet-101
Deep Learning Brasil
TransferLearning e como usar redes pré-treinadas.
Cenários:
Dataset pequeno mas problema conhecido
Dataset grande e problema desconhecido
Dataset pequeno e problema desconhecido
Radiografia para Pneumonia
Textos para geração de embeddings
Qual framework é o mais indicado? (atualização, força de comunidade, funcionalidades, etc.)
https://marutitech.com/top-8-deep-learning-frameworks/
Keras/Tensorflow: Ótima comunidade e atualização, Versão 2.* mudou tudo!
PyTorch: A que estou usando no momento. Fácil debug e customização. Comunidade não tão forte quanto o Tensorflow mas é boa
MXNet: Mantido pela Amazon, não usei a fundo mas parece bem promissor. Só não tem comunidade. rsrsrs
DeepLearning4J: cai fora...
https://medium.com/@ODSC/deep-learning-frameworks-you-need-to-know-in-2020-44d7db80a5b4
https://www.kdnuggets.com/2018/04/top-16-open-source-deep-learning-libraries.html
Quais plataformas de Deep Learning existem hoje (falar do Paperspace, Crestle.ai)
AI Platform | Google Cloud
FloydHub - Deep Learning Platform - Cloud GPU
Amazon SageMaker - Amazon Web Services
Google Colab /Kaggle
Caixa preta?
SHAP
GradCam
LIME
Quais cursos de Deep Learning vocês indicam?
https://developers.google.com/machine-learning/crash-course
Programa de cursos integrados Aprendizagem profunda
https://www.coursera.org/specializations/deep-learning
andrewng
https://www.udacity.com/course/intro-to-tensorflow-for-deep-learning--ud187
Deep Learning Nanodegree
https://www.udacity.com/course/deep-learning-nanodegree--nd
Ian Goodfellow
Manual Prático do Deep Learning - Redes Neurais Profundas
Arnaldo Gualberto
https://www.udemy.com/course/redes-neurais/
Redes
Inception
ResNet
Deep belief Network
2000
Mid-2000s: The term “deep learning” begins to gain popularity after a paper by Geoffrey Hinton and Ruslan Salakhutdinov showed how a many-layered neural network could be pre-trained one layer at a time.
LeNet 5 - 1998Yann LeCun
https://engmrk.com/lenet-5-a-classic-cnn-architecture/
OpenIA
https://github.com/openai/gpt-3
https://www.reddit.com/r/MachineLearning/comments/h0jwoz/d_gpt3_the_4600000_language_model/
https://lambdalabs.com/blog/demystifying-gpt-3/
OpenAI recently published GPT-3, the largest language model ever trained. GPT-3 has 175 billion parameters and would require 355 years and $4,600,000 to train - even with the lowest priced GPU cloud on the market.[1]
Coordenador de Pesquisador em Deep Learning - DeepLearning Brasil
