Contexto
O sistema antigo estava em produção desde 2023 e precisava continuar funcionando igual durante a troca. Na reescrita, separei a coleta de dados públicos da API que os clientes usam.
O que o legado tinha de problema
- A coleta rodava dentro da API e a deixava mais lenta nos picos.
- O índice de busca ficava em disco local e não era compartilhado entre réplicas.
Autoria
- O que foi meu
- Fiz o backend e a arquitetura: o worker de ingestão, a busca, a autenticação, o cache, o modelo de dados e o CI até o deploy.
- O que foi do time
- O outro desenvolvedor ficou com a maior parte do frontend. Nós dois mexemos no produto inteiro.
Decisões
As principais decisões da reescrita, com as alternativas que descartei e os motivos.
Busca no PostgreSQL, sem Lucene
Levei a busca para full-text no PostgreSQL para deixar de manter o índice Lucene em disco fora do banco. Aceitei perder a tolerância a erros de digitação do legado para simplificar a operação da busca.
Ler a decisãoIngestão separada da API
Separei a coleta do PNCP em um worker para tirar esse trabalho do processo que atende os usuários. O worker tem agendamento próprio e grava no mesmo PostgreSQL que a API consulta.
Ler a decisãoAutenticação própria
Reaproveitei a autenticação do boilerplate com JWT, Argon2 e Redis para deixar de operar o Keycloak. Isso reduziu as dependências externas, mas deixou a manutenção dos fluxos de autenticação com a API.
Ler a decisãoCache Redis por módulo
Usei o Redis, que já atendia à autenticação, para evitar repetir consultas de listagem no banco. Cada módulo controla suas chaves, o prazo do cache e a invalidação quando altera os dados.
Ler a decisãoPDF com PDFKit e react-pdf
Usei PDFKit para gerar PDFs na API Node e react-pdf no frontend, sem manter o JasperReports da aplicação Java. Os layouts passaram a ser mantidos no código TypeScript.
Ler a decisãoSnapshots imutáveis de cotação
Copiei os itens para cotacao_item na geração para preservar a cotação mesmo se a origem mudar ou for removida. Para os documentos, que precisam de histórico de versões, usei documento_versao com novos registros a cada finalização.
Ler a decisãoDados de mercado em schema separado
Separei os dados públicos do PNCP no schema licitacoes e mantive os dados das organizações no public. Assim, as tabelas de mercado ficam agrupadas à parte das tabelas que a organização usa para trabalhar.
Ler a decisãoArquitetura
A coleta e o uso ficam em processos diferentes e se encontram no banco.
Como dá para ver funcionando
As telas são do cliente e não podem aparecer. Os recortes abaixo usam dados fictícios.
papel sulfite A4 pregão
- Papel A4, 75 g, resma com 500 folhasR$ 24,90
- Papel sulfite A4, caixa com 10 resmasR$ 239,00
preços fictícios
worker-ingestaolog ilustrativo
O worker grava as contratações novas ou alteradas e pula as que não mudaram.
- 28 páginas: painel, contratações, mercado, preços, conta e área pública.
- Validação pública de uma cotação pelo hash.
- Documentação da API gerada a partir dos schemas Zod.
Resultado
ResultadoAinda não medido
O que já posso afirmar:
- Keycloak e Lucene saíram da arquitetura.
- A coleta roda num worker isolado da API.
- CI completo até o deploy, com testes na API, no front e no worker.
Ainda não medi latência nem uso real. Os relatórios do projeto têm estimativas de ganho, mas sem método de medição, então deixei de fora.