Caso de Sucesso – Saiba como o Open Finance Brasil processa mais de 1 bilhão de requisições por dia na AWS

Escrito por Thiarê Kiapine Costa, Head de Dados & Engenharia, Open Finance; Thomas de Almeida Rabelo, Tech Lead de Engenharia, Open Finance; Thiago Maciel, Engenheiro de Software, Darede; Laura Zitelli de Souza, Arquiteta de Soluções, AWS Brasil Setor Público; Isabela Gherson Monteiro, Arquiteta de Soluções, AWS Brasil Setor Público e Amanda Quinto, Arquiteta de Soluções, AWS Brasil Setor Público.

Conheça o Open Finance

O Open Finance ou Sistema Financeiro Aberto é uma iniciativa do Banco Central do Brasil que tem como principais objetivos trazer inovação ao sistema financeiro, promover a concorrência no mercado financeiro nacional, reduzir o spread bancário e melhorar a oferta de produtos e serviços financeiros para o consumidor. Ele propicia o compartilhamento padronizado de dados e serviços por meio de APIs (Application Programming Interfaces) por parte de instituições financeiras e demais instituições autorizadas a funcionar pelo Banco Central do Brasil. No caso de dados de clientes (pessoa física ou jurídica) é o cliente que decidirá quando e com quem ele deseja compartilhá-los no escopo do Open Finance, desde que seja com finalidades específicas e prazos determinados.

Hoje, o Open Finance Brasil é o maior sistema de Open Finance do mundo, com mais de 30 milhões de clientes compartilhando seus dados financeiros e mais de 900 instituições participantes, incluindo bancos tradicionais, neobanks, bancos digitais, meios de pagamento, carteiras eletrônicas, cooperativas de crédito, credenciadoras e fintechs.

Além de sua dimensão, o Banco Central busca torná-lo o sistema mais funcional e estável globalmente. Para isso, o monitoramento da comunicação e da qualidade dos dados compartilhados entre as instituições financeiras é prioridade.

Com essa finalidade, foram criadas a Plataforma de Coleta de Metadados (PCM) e a Plataforma de Análise de Dados (PAD) do Open Finance. O objetivo das plataformas é monitorar o ecossistema, fornecendo direcionamento para as instituições sobre desvio de comportamento e desconformidade com métricas regulatórias e ajudar o ecossistema a acompanhar a adoção e eficiência dos serviços fornecidos aos consumidores via Open Finance. Para isso, a PCM é responsável por coletar metadados das interações entre as instituições,e possibilitar o acompanhamento de métricas como taxa de conversão de pagamentos, taxa de conversão de consentimentos, taxa de indisponibilidade, etc. Esses metadados são enviados para a PAD, onde passam por processos de análise de dados e são consumidos para a produção de relatórios de negócios diários, onde as instituições financeiras conseguem visualizar informações pertinentes. Porém, esse ambiente estratégico possuía uma arquitetura legada e apresentava desafios críticos de escalabilidade que possibilitavam processar apenas 10% da demanda real de requisições recebidas pelo Open Finance.

Neste blogpost, abordaremos como o Open Finance, com apoio da Darede e AWS, foi capaz de modernizar a Arquitetura da PCM e PAD, aumentar sua capacidade de processamento em 10 vezes, atingindo picos de 22 mil transações por segundo e otimizar seu custo em mais de 70% após a refatoração das plataformas.

O Desafio

Toda interação entre os bancos, facilitada pelo Open Finance, deve ser registrada. A Plataforma de Coleta de Metadados (PCM) representa um importante mecanismo para que o Open Finance possa coletar dados e fornecer maior visibilidade aos seus clientes das interações que são facilitadas pela iniciativa do Banco Central. No entanto, eles possuíam os seguintes desafios na estruturação do ambiente:

Gerenciamento de filas e escalabilidade: Para que o registro fosse salvo no sistema, existia uma lógica complexa de filas para executar o pareamento da atividade reportada por duas instituições financeiras em uma mesma relação bilateral. A implementação original apresentava problemas, como componentes sem capacidade de escala e a centralização de diversos tópicos em um único componente de gravação de dados;
Limitação de processamento de registros: Com a infraestrutura anterior, conseguiam processar no máximo 100 milhões de registros por dia, o que representava apenas 10% da real demanda do Open Finance. Com o aumento de registros, o desempenho da plataforma se degradava significativamente, causando atrasos críticos na geração de relatórios operacionais. Além disso, as limitações de processamento faziam com que mais de 80% dos relatórios diários fossem descartados, impactando a eficiência do sistema;
Escalabilidade de Armazenamento: Para armazenamento intermediário das informações, eram utilizados diferentes mecanismos de banco de dados em memória, não relacional e relacional que não permitiam obter a escalabilidade necessária para a plataforma, além de resultar numa complexidade elevada para integração e manutenção.

Esses desafios evidenciaram a necessidade de uma modernização da PCM para otimizar a ingestão de dados no data lake da PAD e para que fosse possível, em curto termo, ampliar em 90% a capacidade de processamento da plataforma para acompanhar o rápido crescimento da iniciativa.

A Solução

Para otimizar esse cenário, foram executadas revisões de arquitetura em parceria com a Darede e o time AWS com os principais objetivos de consolidar e simplificar a arquitetura inicial – eliminando redundâncias e promovendo integração eficiente entre seus componentes -, garantir escalabilidade, otimizar os custos e eliminar gargalos críticos, resolvendo limitações nas camadas de armazenamento e processamento para melhorar a eficiência geral.

Durante a etapa de revisão arquitetural, o Open Finance decidiu por utilizar o HAQM Simple Queue Service (SQS) como serviço de filas de mensagem gerenciado e sem servidor, que permite enviar, armazenar e receber mensagens entre componentes de software em qualquer volume e escalar de maneira econômica, além de eliminar a necessidade de manter a infraestrutura.

Além disso, para solucionar os problemas de escalabilidade e complexidade dos bancos de dados, optou-se pela utilização do HAQM DynamoDB, um banco de dados não relacional, totalmente gerenciado, sem servidor e flexível para qualquer escala. Ele elimina a necessidade de gerenciamento do software de banco de dados e do provisionamento do hardware necessário para executá-lo, escalando automaticamente a capacidade de throughput para atender às demandas das cargas de trabalho.

Dessa forma o Open Finance atingiu uma nova arquitetura sem servidor e orientada a eventos, capaz de escalar de maneira transparente, atendendo à demanda inicial da plataforma PCM, otimizando a ingestão dos dados para a PAD e dando escala para o crescimento previsto da iniciativa.

Arquitetura

Confira a seguir o Diagrama da Arquitetura Modernizada das Plataformas PAD e PCM do Open Finance (Figura 1) e a descrição da solução:

Figura 1 – Arquitetura PCM e PAD Open Finance

As instituições financeiras enviam metadados de suas interações para a PCM. Essas requisições são roteadas por meio do HAQM Application Load Balancer (ALB). O serviço opera no nível da solicitação, roteando o tráfego de entrada de forma eficaz entre vários destinos, como instâncias EC2 ou contêineres, com base no conteúdo da solicitação. Isso aumenta a confiabilidade e a escalabilidade geral do sistema.
O tráfego é direcionado para um cluster do HAQM Elastic Kubernetes Service (EKS), que hospeda a API da PCM. O EKS fornece um serviço Kubernetes gerenciado, permitindo fácil implantação, gerenciamento e escalonamento de aplicações em contêineres. Para garantir escalabilidade eficiente e otimização de custos, foi utilizado o Karpenter e KEDA. O Karpenter é um projeto de código aberto que melhora a eficiência da alocação de recursos, proporcionando economia e maior controle dos servidores alocados no EKS. Já o KEDA permite escalabilidade baseada em eventos e requisitos de negócio, ajustando automaticamente os workloads conforme a demanda varia.
Em seguida, os dados são direcionados para filas do HAQM Simple Queue Service (SQS), que atua como um buffer, desacoplando diferentes componentes do sistema e garantindo que os dados possam ser processados de forma assíncrona e confiável.
De acordo com as regras de negócio do Open Finance, dados que passam pelo motor de conciliação da PCM são armazenados no HAQM DynamoDB para serem pareados.
Em seguida, os dados são enviados para o HAQM Data Firehose, um serviço totalmente gerenciado para entrega de dados em streaming em tempo real a diversos armazenamentos de dados da AWS. Você configura os produtores de dados para enviar dados ao HAQM Data Firehose e ele entrega automaticamente os dados ao destino especificado, além de poder também transformar os dados antes de entregá-los.
O HAQM Data Firehose entrega os dados em tempo real para a camada de entrada (transient) do Data Lake da PAD, que consiste num bucket do HAQM Simple Storage Service (S3), serviço de armazenamento de objetos que oferece alta escalabilidade, disponibilidade de dados, segurança e performance.
Para transformar os dados e criar a camada raw do Data Lake, é utilizado o DuckDB, que roda no EKS (data on EKS), para processar os quase 2TB de dados diários. O DuckDB se destaca em arquiteturas MDS (modern data stack) pelo alto desempenho no processamento de grandes volumes de dados, permitindo transformações eficientes e otimizadas.
Em seguida, o HAQM EMR é utilizado para rodar trabalhos de Spark que executam tarefas complexas de processamento e análise em grandes conjuntos de dados. Os dados processados são armazenados em um bucket do S3 que representa a camada trust do data lake.
Esses dados que compõem a camada product são armazenados no HAQM Redshift, serviço de data warehouse totalmente gerenciado na AWS que permite analisar petabytes de dados sem a sobrecarga do gerenciamento da infraestrutura.
Por fim, o HAQM QuickSight é utilizado na camada de business intelligence para a criação de dashboards e análises dos metadados. Esses relatórios são acessados diretamente pelos usuários finais através do serviço.

Resultados

Através da implementação da nova arquitetura, o Open Finance conseguiu alcançar resultados expressivos. A PCM obteve grande aumento de performance e escalabilidade, sendo capaz de processar 700 milhões de registros represados e extrapolar esse valor para 1.5 bilhão de requisições processadas por dia nas filas do HAQM SQS. Além disso, o problema de escalabilidade e complexidade dos bancos de dados foi resolvido pela utilização do HAQM DynamoDB, que no novo cenário armazena 50 milhões de relatórios diariamente.

Do ponto de vista da eficiência, o Open Finance alcançou mais de 70% de redução dos custos para manter a aplicação, passando de U$7 para U$2 por milhão de relatórios processados, além de eliminar gargalos no processo e obter escalabilidade automática da solução com custos controlados.

Tudo isso impacta diretamente as 250 instituições financeiras que enviam informações diariamente ao Open Finance, uma vez que a plataforma agora é capaz de analisar a grande quantidade de dados enviados e gerar relatórios de métricas de negócios para as instituições financeiras de acordo com seu SLA.

Voz do Cliente

“A revisão realizada possibilitou a exploração de um novo padrão de arquitetura, com ênfase na escalabilidade do ambiente. Além disso, foram identificados insights que sugerem potenciais mudanças e simplificações, as quais contribuíram para a otimização de custos. Essa abordagem não apenas fortalece a eficiência operacional, mas também alinha a infraestrutura às demandas crescentes do ecossistema” – Thiarê Kiapine Costa, Head de Dados & Engenharia, Open Finance

Conclusão

A refatoração da PCM resultou em uma plataforma moderna, escalável e econômica, capaz de processar bilhões de metadados diariamente. O caso da PCM e da PAD serve como referência para projetos de transformação digital de aplicações de alta escada, demonstrando como combinar serviços cloud-native com práticas modernas de desenvolvimento para criar soluções robustas e escaláveis.

A solução atual não apenas atende às demandas correntes do Open Finance Brasil, mas também está preparada para suportar o crescimento futuro do ecossistema financeiro digital, estabelecendo novos padrões de excelência em processamento de dados em larga escala.

Próximos Passos

O Open Finance Brasil está em crescimento com a criação de novos serviços, como o Pix por aproximação, a portabilidade de produtos de crédito entre outros. A expectativa é que o volume de dados cresça ainda mais, atingindo 2 bilhões de requisições enviadas à PCM ainda em 2025.

Com base nos planos diretivos para o ecossistema Open Finance do ano de 2025, a resiliência operacional foi estabelecida como um dos pilares estratégicos. Esse direcionamento busca garantir a continuidade e a robustez das operações mesmo diante de cenários de alta complexidade e constante crescimento de dados.

Além disso, o Open Finance também tem o objetivo de, no futuro, disponibilizar um portal de compartilhamento de dados para que as instituições financeiras que participam da iniciativa consigam analisar e consumir as métricas de negócios entregues pela PCM e PAD em um portal centralizado.

Sobre os autores

	Thiarê Kiapine Costa é Gerente de Plataformas e Dados na Open Finance Brasil. Com um sólido histórico na indústria bancária, Thiarê se destaca por suas habilidades técnicas avançadas em engenharia de dados e gestão de equipes. Sua expertise inclui a arquitetura de sistemas de dados, gerenciamento de fluxos de trabalho e a implementação de metodologias ágeis.
	Thomas Rabelo é Tech Lead de Engenharia na Open Finance Brasil, contando com mais de 16 anos de experiência em engenharia de software e liderança técnica. Especializado em arquitetura de software e sistemas distribuídos, também se destaca como contribuidor acadêmico, com diversas publicações científicas e experiência em ensino. Seu compromisso com a inovação e a excelência tecnológica o capacita a liderar equipes na implementação de soluções disruptivas para transformar o setor financeiro.
	Thiago Maciel é um Engenheiro de Software Sênior na Darede. Possui mais de 15 anos de experiência em TI, com especialização em desenvolvimento backend, sistemas distribuídos, processamento de big data e soluções em nuvem. Versátil em funções como engenheiro backend, engenheiro de plataforma, engenheiro de dados, engenheiro de performance, DevOps, SRE, DBA e arquiteto – ele consegue navegar por toda a stack. Thiago Maciel é apaixonado por construir sistemas escaláveis, de alta performance, custo-eficientes e resilientes.

	Laura Zitelli de Souza é Arquiteta de Soluções na AWS há 3 anos e apoia parceiros e clientes do setor público financeiro em sua jornada para a nuvem AWS. Tem grande interesse pelas áreas de Inteligência Artificial e faz parte da comunidade técnica de Machine Learning na AWS.
	Isabela Gherson Monteiro é Arquiteta de Soluções na AWS há 5 anos e ajuda clientes do setor educacional a construírem suas soluções seguindo boas práticas na nuvem AWS. Apresenta forte entusiasmo pelas áreas de Dados e Inteligência Artificial e faz parte da comunidade técnica de Analytics na AWS.
	Amanda Quinto é Arquiteta de Soluções da AWS no time de Public Sector com foco no Setor Financeiro. Amanda já atuou em diversos projetos ajudando os times de desenvolvimento e sustentação em arquitetar sistemas resilientes e escaláveis. Formada pela FATEC-SP, é entusiasta de Kubernetes, Cloud Native e Engenharia de Plataforma.

O blog da AWS