Tradução de voz e texto para LIBRAS no Android

Hoje vi esta notícia que está muito relacionada ao meu projeto de mestrado, que terminei em 2010: http://idgnow.uol.com.br/mobilidade/2013/04/02/aplicativo-android-permite-traduzir-voz-em-linguagem-de-sinais-para-surdos/

Trata-se de um software de tradução de voz/texto para LIBRAS desenvolvido por uma empresa nova, chamada ProDeaf (http://www.prodeaf.net).

Para quem não conhece meu projeto de mestrado, segue um vídeo que fiz na época com um protótipo do sistema em funcionamento.

Projeto SIRENE chega ao fim, por enquanto

Eu acredito que meus leitores saibem que eu estou fazendo mestrado.

Pois bem, finalmente eu o estou concluindo.

Para os que não conhecem o meu trabalho de mestrado, este trata-se de um sistema de reconhecimento de gestos por visão computacional.

A sigla do sistema é SIRENE (Sistema de Reconhecimento de Gestos por Redes Neurais e Visão Computacional), o nome é auto-esplicativo.

Durante o desenvolvimento do projeto, eu desenvolvi algumas coisas, como um protótipo, cujo vídeo é apresentado a seguir:



E dois artigos publicados em congresso, podem ser vistos aqui.

Espero que aqueles que conheceram meus trabalhos tenham apreciado e se motivado a também contribuir para a sociedade com o desenvolvimento tecnológico.


Obs.: A defesa da minha dissertação será nesta sexta-feira (23/04).

Protótipo do SIRENE em funcionamento

Como todos sabem, estou em São Paulo - SP participando do Interaction South-America'09.

Eu tive dois artigos aceitos, sendo que um deles consiste no resumo do meu mestrado.

Para este artigo, eu preparei um protótipo do SIRENE e gerei este vídeo.



Apesar do vídeo ser curto, ele demorou alguns minutos para ser gerado, quem tiver interesse em saber como está o protótipo é só entrar em contato.

Conjunto de vídeos sobre Libras

Hoje eu fiz os primeiros vídeos para testar os algoritmos que desenvolvi para o meu mestrado.

Primeiro vou testar algoritmos de segmentação, depois de extração dos momentos centrados e por fim os algoritmos de classificação.

Eu fiz um código do Scilab para fazer a captura do vídeo, como o que apresentei aqui.

Eu fiz 2 conjuntos de vídeos com as 26 letras do alfabeto em Libras (um vídeo por letra).

Pelo que vi nos vídeos, terei problemas em fazer a segmentação da mão, caso seja necessário, e/ou algoritmos de rastreamento.

Eu fiz os vídeos na Feneis-CE com 2 pessoas que têm experiência com Libras (um deles é deficiente auditivo).

Sobre os vídeos, eu os fiz com uma webcam VGA (640 x 480 pixels) com duração de 5 segundos a 20 fps.

Eu pensei em fornecer os vídeos a possíveis colaboradores que tenham interesse em trabalhar com reconhecimento de gestos ou mesmo com o reconhecimento da Libras.

Como são muitos vídeos (52 no total) eu não acho interessante colocá-los no YouTube, mas posso passar por e-mail aos interessados (cada conjunto de vídeos tem uns 13,5 MB).

Os interessados podem deixar seus dados (nome e e-mail) como comentário que eu mando os arquivos.

Migração do SIRENE

Essa semana eu comecei a traduzir o SIRENE para python.
Por enquanto, estou com a segmentação da pele pronta, mas ainda não validei.

As bibliotecas não nativas que estou usando: numpy, scipy e OpenCV.

A questão agora é como exibir os resultados, se usarei alguma biblioteca tipo Qt ou Tkinter, ou se usarei apenas as interfaces do OpenCV, que são interessantes também.

O ambiente de desenvolvimento que estou usando é o KDevelop.

Apresentação do SIRENE

O SIRENE (Sistema de Reconhecimento Neuro-Visual da Libras) é o resultado que pretendo alcançar ao final do meu mestrado.

O projeto consiste de um software que fará as vezes de um tradutor da Libras (Língua de Sinais Brasileira) que é a única forma de comunicação de alguns deficientes auditivos. O maior benefício do SIRENE será a nova interface de comunicação com o computador, em que uma câmera irá capturar as imagens e o SIRENE converterá as imagens para texto.

Como o próprio nome sugere, as técnicas abordadas envolverão visão computacional e reconhecimento de padrões (por redes neurais).

O SIRENE será disponibilizado como software livre, possibilitando assim ser incorporado a aplicações existentes (editores de texto, instant's messengers, etc), estudado, adaptado e redistribuído.

Atualmente, o projeto está em fase de levantamento bibliográfico e configuração dos ambientes de simulação e desenvolvimento.