A Quantilica é uma organização dedicada a preservar e transformar a complexidade dos dados públicos brasileiros em ativos analíticos de alta qualidade. Desenvolvemos ferramentas modulares e resilientes para a coleta, arquivamento histórico imutável ("nada se apaga"), normalização e governança de dados econômicos, fiscais, meteorológicos, trabalhistas, educacionais e de saúde.
Abstraímos a instabilidade e a inconsistência das fontes oficiais (APIs obsoletas, FTPs lentos, arquivos sem tipo e retificações silenciosas) para fornecer uma experiência unificada de acesso a dados e garantir a preservação de longo prazo da memória estatística e documental pública brasileira.
- 🏛️ Fiscais e Tesouro: Coletores para Tesouro Direto, Resultado do Tesouro Nacional (RTN), RFB (CNPJ) e BCB.
- 📈 Estatísticas e Economia: Integração profunda com SIDRA/IBGE e Comércio Exterior (Comex Stat).
- 🏥 Saúde e Educação: Extração e normalização de microdados do DATASUS e INEP.
- 💼 Trabalho: Processamento de dados do Programa de Disseminação de Estatísticas do Trabalho (PDET).
- ☁️ Infraestrutura e Energia: Coleta automatizada de dados da ANP (Petróleo/Gás), ANAC (Aviação) e INMET (Meteorologia).
Todos os nossos projetos são construídos sobre o quantilica-core, garantindo:
- Resiliência: Lógica de rede padronizada com retries e backoff exponencial.
- Preservação Histórica (Imutabilidade): Na camada bruta, nada se apaga — arquivos são versionados pelo carimbo temporal da publicação oficial (
@timestamp), permitindo que revisões governamentais coexistam lado a lado sem sobrescrever o passado. - Proveniência: Cada dado baixado possui um manifesto SHA256 (schema v2) para rastreabilidade e reprodutibilidade total (time-travel).
- Analytical-Ready: Foco na transição de formatos brutos para Parquet particionado (Lake Hive) de alta performance.
- Observabilidade: Logs estruturados e monitoramento proativo das fontes governamentais.
Estamos evoluindo para nos tornarmos a Camada de Abstração de Dados (Data Access Layer) definitiva para o Brasil:
- CLI Unificada:
quantilica-cli— interface única com descoberta de fetchers via plugins. (Disponível na versão estávelv0.3+) - Data Contracts: Garantia de integridade e alerta automático de mudanças nas fontes.
- Unified Hub: Portal para busca global e download de dados pré-processados.
Somos uma iniciativa aberta! Se você tem experiência com dados públicos brasileiros ou quer ajudar a melhorar nossa infraestrutura em Python:
- Explore nossos repositórios terminados em
-fetcher. - Leia o nosso Guia de Contribuição e o nosso Roadmap Estratégico.
- Abra uma Issue ou sugira uma nova fonte de dados.
Transformando dados públicos em conhecimento acionável.