Converta documentos e media utilizando Inteligencia Artificial

Por Amanda Quinto, arquiteta de soluções da AWS
Por Gabriel Couto, arquiteto de soluções da AWS
Por Leticia Dornelas, arquiteta de soluções da AWS

Segundo a Pesquisa Nacional de Saúde (PNS), em 2019, na população do país com 2 anos ou mais de idade, 3,4% (ou 6,978 milhões) tinham deficiência visual e 1,1% (ou 2,3 milhões) tinham deficiência auditiva, e conforme a Lei Brasileira de Inclusão da Pessoa com Deficiência (Lei 13.146), que torna obrigatória a acessibilidade nos sítios da internet mantidos por empresas com sede ou representação comercial no País ou por órgãos de governo, porém de acordo com a matéria da CNN Brasil, mostra que o número de sites brasileiros aprovados em todos os testes de acessibilidade representa menos de 1% do total.

Criar uma solução acoplável, para que empresas e órgãos, possam gerar documentos e mídias para dar acessibilidades aos seus usuários é o que abordaremos nesse blog post.

A solução abaixo, demostra uma arquitetura com serviços serverless para a construção e funcionamento de um website estático que está no HAQM S3, onde será possível inserir documentos e mídias, e com o AWS Step Function para orquestrar os serviços inteligência artificial para conversão dos documentos e mídias para acessibilidade, e por final armazena as informações no HAQM Opensearch para facilitar a busca desses documentos.

Visão Geral da Solução

Figura 1 – Diagrama da solução

Upload dos documentos e videos

O website está hospedado pelo HAQM CloudFront, assim que é feito o upload dos arquivos eles são salvos no HAQM S3, que dispara um evento pelo HAQM EventBridge que inicializa o workflow do AWS Step Functions. Foi criado uma máquina de estados para validar o processamento e armazenamento dos documentos e mídias.

Workflow Step Functions:
1 – Valida o tipo de arquivo
2 – Caso PDF, o HAQM Textract será iniciado.
2.1 – Extrai o texto impresso de qualquer documento.
2.2 – Salva a extração no HAQM S3
2.3 – Obtém o texto salvo na extração e envia para o HAQM Polly
2.4 – Converte o texto para fala e salva no HAQM S3 o arquivo
2.5 – Lambda envia para o HAQM OpenSearch Service os dados dos arquivos para que possa ser feito a busca
3 – Caso mp4 o HAQM Transcribe será iniciado.
3.1 – Converte automaticamente a fala do arquivo em texto
3.2 – Salva a conversão no HAQM S3
3.3 – Lambda envia para o HAQM OpenSearch Service os dados da mídia para que possa ser feito a busca

Pesquisa dos arquivos

Quando o usuário realiza a busca no site, é feita uma chamada na api do HAQM API Gateway que inicializa um AWS Lambda responsável por fazer a busca no HAQM OpenSearch Service, que irá retornar ao website todos os dados relacionados a busca.

Figura 2 – Resultado da busca

Foi utilizado também o HAQM Cognito, para o login dos usuários no website e controle de acesso para as chamadas da api, além do HAQM CloudWatch para logs e métricas e o AWS X-RAY para observabilidade da máquina de estados.

Conclusão e próximos passos

Com a utilização dos serviços de inteligência artificial como HAQM Textract extrair texto de arquivos pdfs, HAQM Polly converter texto em fala e o HAQM Transcribe que converte a fala para texto, possibilita que as organizações possam desenvolver soluções de busca que tenham mais acessibilidade para seus usuários.

Links adicionais
Github: http://github.com/aws-samples/accessibility-document-media-searcher

Sobre os autores:

Amanda Quinto é Arquiteta de Soluções da AWS no time de Setor Público com foco em Organizações sem fins lucrativos (Non-profits Organizations). Amanda já atuou em diversos projetos ajudando os times de desenvolvimento e sustentação em arquitetar sistemas resilientes e escaláveis. Formada pela FATEC-SP, é entusiasta de Devops, machine learning, e apaixonada por kombis.

Gabriel Couto de Almeida é Arquiteto de Soluções da AWS no time de setor público com foco em empresas de Educação. Gabriel já atuou em projetos de desenvolvimento nas áreas de Defesa, Trafego Aéreo, Educação e Instituições Financeiras. Formado em Engenharia da Computação pelo IMT, tem interesse por DevOps, Analytics, Inteligência Artificial e dança de salão.

Letícia Dornelas, Arquiteta de Soluções da AWS, com foco em parceiros do setor público. Trabalha com desenvolvimento de sistemas há mais de 8 anos, atuando em projetos com arquiteturas distribuídas, escaláveis e resilientes. Formada pelo IFSP, tem um interesse especial em Machine Learning, Databases, Serverless e por livros.