Relatório mensal: setembro de 2020 | Brasil.IO - Blog
Relatório mensal: setembro de 2020
qui 01 outubro 2020
#relatório, #desenvolvimento, #infraestrutura
Apesar de estarmos bastante atarefados por aqui, muitas das coisas que estamos fazendo no Brasil.IO não são tão facilmente visíveis a todos, por isso resolvi criar relatórios mensais, que são parte de uma estratégia de comunicação mais estruturada, para tornar nosso processo mais transparente e nos aproximarmos de quem apoia e utiliza o projeto.
Escrevo na primeira pessoa do plural pois do lado de cá temos muitas pessoas envolvidas no projeto: além das pessoas voluntárias no projeto COVID-19, eu (Álvaro Justen), Bernardo Fontes e Marcel Marques estamos trabalhando no desenvolvimento e infraestrutura (existem vários outros contribuidores de código também, em vários repositórios, mas nós 3 estamos no dia-a-dia trabalhando na plataforma).
Vamos então ao que fizemos em setembro de 2020:
Trabalhamos diariamente na atualização dos dados da COVID-19 desde 20 de março de 2020. A partir de 6 de junho, quando houve o apagão de dados do Ministério da Saúde, começamos a publicar um boletim próprio, com base nos dados que coletamos - já publicamos mais de 100!
Além do trabalho diário, nesse mês fizemos diversas melhorias e correções em ferramentas internas que utilizamos para checar os dados, atualizar o dataset etc.
Nossos dados já foram utilizados por diversos veículos nacionais e internacionais, além de instituições renomadas como FioCruz e IBGE. Confira nosso clipping.
Sim, fomos atacados (virtualmente), mas não foi um ataque estilo "invasão": nas últimas semanas recebemos uma quantidade muito grande de requisições coordenadas. Foram tantas que nossos servidores não aguentaram muito bem (o site ficou bastante lento em alguns momentos, inclusive atrasando a atualização de dados da COVID-19). Talvez a intenção não tenha sido fazer com que a plataforma caísse, mas não podemos aceitar que o site fique lento por conta de usuários abusivos e, por isso, precisamos implementar limitações de acesso à API.
O processo foi relativamente longo (para mais detalhes veja as issues no GitHub), mas já conseguimos resolver boa parte do problema e o site está responsivo novamente. Ainda temos algumas questões a serem endereçadas, mas já traçamos um plano.
Atualizações na página inicial
No caminho de aumentar a visibilidade do que estamos fazendo, adicionamos uma coluna de últimas atualizações na página inicial; lá ficarão todos os datasets que foram atualizados recentemente. Em breve adicionaremos mais detalhes a esse coluna e outras funcionalidades, como a opção de assinar as atualizações por RSS (e eventualmente até a opção de "seguir" um dataset).
Melhoria na importação de dados e Página de download de arquivos
Atualizar os dados da COVID-19 ainda nos toma muito tempo e, por isso, estamos sempre melhorando o processo de importação de dados, para que seja cada vez mais automático. Uma das melhorias que fizemos nesse mês tem a ver com a forma como os arquivos completos dos datasets são listados e hospedados: agora estão mais integrados com a plataforma e cada dataset possui um link mais amigável - o da COVID-19, por exemplo, ficou como brasil.io/dataset/covid19/files/.
Apesar de pouco impacto para os usuários, essa alteração nos ajudou a ser mais produtivos na atualização dos datasets e a reestruturação no código abriu caminho para outras melhorias que virão.
Correção da página de empresas
A página que contém informações consolidadas de empresas (como essa, da Odebrecht) estava com um pequeno bug, que não permitia visualizar algumas das empresas disponíveis no dataset socios-brasil. Já foi corrigido e agora todas estão acessíveis!
Para outubro, pretendemos:
Implementar autenticação na API (e por segurança precisaremos deixar o cadastro mais rigoroso);
Atualizar os seguintes datasets:
Eleições (atualizar e melhorar código do programa que converte os dados e atualizar dados na plataforma);
Empresas e sócios (atualizar dados na plataforma);
Criar dataset de candidatos em 2020 que possuem empresas;
Auxílio emergencial (atualizar dataset na plataforma, com novas parcelas);
Criar páginas exclusivas para acessar dados das eleições, facilitando o acesso de usuários leigos;
Atualizar dados da população dos municípios (usados no Painel COVID-19 e no portal das eleições que será criado);
Melhorar a documentação da API;
Continuar atualizando diariamente os dados da COVID-19.
Feedback sobre a comunicação
Ainda estamos experimentando as melhores formas de comunicar novidades do projeto. Algumas ideias são:
Publicar o relatório mensal em nossa campanha de financiamento coletivo e aqui no blog;
Utilizar o canal no Telegram para enviar de forma imediata as principais atualizações;
Reativar a conta @brasil_io no TWitter para publicar os boletins diários da COVID-19 e atualizações em datasets;