Please enable JavaScript.
Coggle requires JavaScript to display documents.
"iCanes" ou "Bee4Blind" Sistema de Visão…
"iCanes" ou "Bee4Blind"
Sistema de Visão Inteligente pra Cegos
Bionic Eye and Ear for Blind
Hardware
2 câmeras em par estéreo
resolução baixa (ex: VGA 640x480)
alta taxa de quadros (ex: 60 fps)
acoplamento direto à placa mãe
capacidade de visão noturna
alta taxa de transmissão de imagens
lentes de grande ângulo (>90°)
1 par estéreo de fones de ouvido
Montagem para a cabeça,
como um "boné" ou "chapéu"
Baterias elétricas
recarregáveis
Controle de remoto inteligente
botão de pânico
botões táteis
vibração multialertas
versão de bolso
versão para o "bastão"
"Placa mãe" de processamento
de grande capacidade
CPU de baixo custo
GPU, DSP ou FPGA
para visão computacional
Lanternas de infravermelho
para visão noturna
par de iluminadores infravermelhos
leds dispostos ao redor das 2 câmeras
1 par estéreo de microfones
Integração com Smartphones
através do cabo de áudio estéreo
(mic/ear) ou através de BlueTooth
objetivos desta interface são:
localização GPS,
telemetria,
multisensores,
processamento de linguagem
natural (STT e TTS)
Software
Python
OpenCV
Kiwi
Django
Algoritmos próprios
de Inteligência Artificial
Optical Flow
Structure From Motion
Machine Learning
Deep Learning
GAN - Generative Adversarial Networks
CNN - Convolutional Neural Networks
RBNN - Radial Basis Neural Networks
Bidiretional Neural Networks
Deep Neural Networks
Evolutionary Neural Networks
Análise Tempo x Frequência
SVM
Algoritmos Genéticos
Computação Evolucionária
HHMM
Stereo segmentation correspondence
Tensor Flow
LasTools
Google Earth / Maps
Open Street Maps
Yolo
Github
Conceitos-chave
Dar um sentido de visão para o cego
Visão cognitiva interpretativa e não descritiva apenas
Comunicação eficiente usando espalhamento
espectral de padrões frequenciais audíveis
Comunicação alternativa usando padrões táteis (smart glove)
Sistema de Visão interativo, controlado pela mão
Maquetes digitais 3D ao invés de mapas 2D
Integração com smartphones para ampliação cognitiva da mobilidade e da comunicação do cego, surdo ou mudo
MVP
Hardware Mínimo
par estéreo de câmeras GoPro
Computadores PC para o
pós-processamento com GPU
Software Mínimo
Algoritmos de Optical Flow
para extrair os vetores de movimento
relativo em cada cena
Algoritmos de Structure From Motion
para estimar o movimento vetorial
de cada câmera no espaço 3D
Algoritmos inteligentes de Segmentacão
para "recortar" cada um dos objetos
presentes em cada cena
Algoritmos inteligentes de Classificação
para "identificar" o tipo de cada objeto
presente nas cenas
Visualizador de Nuvem de Pontos
da maquete do ambiente filmado
Visualizador dos objetos detectados
ao longo da trajetória do movimento
do par estéreo de câmeras (cabeça do cego)
Funcionalidades
Mínimas
Apenas pós-processamento
Utiliza imagens captadas por um
par estéreo de câmeras GoPro
Todo o processamento é realizado
em vários softwares, não necessariamente,
desenvolvidos por nosso time
Consegue segmentar as imagens
obtidas de cada "olho" e correlacionar
os objetos através de descritores métricos,
como: cor predominante, área aproximada,
vetor direção, trajetória 3D, velocidade relativa,
provável identificação ou classe de objeto
Consegue gerar a trajetória 3D
do movimento da cabeça e
reproduzir o movimento simulado
da pessoa, como um avatar, em uma
maquete 3D