2022 está quase chegando ao fim. E o que a área de desenvolvimento tecnológico desta promissora startup executou este ano em sua infraestrutura tecnológica? Lembrando que somos uma startup na área regtechs, govtechs com soluções sobre dados da transparência pública.
Você vai ler a retrospectiva da DataPolicy e quais foram nossos avanços! Nosso time buscou consolidar a nossa confiabilidade. Quer saber o que fizemos?
Eu sou o Jadiel, Teófilo, CTO da DataPolicy, e esta é uma breve retrospectiva sobre nossas atividades.
Quais foram os avanços na infraestrutura tecnológica em 2022 na DataPolicy?
Este ano, nossos times promoveram avanços na infraestrutura tecnológica. Aqui estão as principais coisas que executamos e que valem a pena estar neste post!
A confiabilidade da infraestrutura na DataPolicy
Na área de confiabilidade, nós executamos o perfil de escalabilidade de nossos serviços. A ideia dessa técnica foi identificar o quanto de recursos computacionais nós gastamos para cada usuário.
E porquê esta atividade foi um dos focos este ano? Porque com esta informação podemos alocar a quantidade certa de recursos de acordo com o número esperado de usuários que temos.
Extração de dados na infraestrutura tecnológica da DataPolicy
Extração de dados na infraestrutura tecnológica da DataPolicy sempre foi um foco nos trabalhos de desenvolvimento. No entanto, este ano nós refatoramos a extração de textos de PDFs de dezenas de crawlers.
Ademais, criamos um serviço específico para essa tarefa, consistindo de vários “robôs trabalhadores” que funcionam independentemente. O foco também foi melhorar a escalabilidade.
Gostaria de entender melhor o que é uma infraestrutura tecnológica?
Antes de continuarmos, é válido iluminar o conceito de um crawler. A cada segundo, circulam milhões de dados na internet. Na maioria dos casos, estes dados encontram-se não estruturados, isto é, sem uma lógica de organização.
Um dado público isoladamente não significa nada para nossos usuários. Por isso, o trabalho dos nossos crawlers inclui pesquisar e organizar as informações em um banco de dados digitais, como a Câmara dos Deputados, por exemplo. Outros, classificam e agregam informações.
Gostaria de entender melhor como dados do poder legislativo podem ser úteis para você em nossa Plataforma? Acesse monitoramento legislativo e veja um pouco dos nossos serviços!
Este ano, então nós executamos melhorias na infraestrutura destes “spiders”, como também são chamados, que extraem textos em PDF. Exemplo de uma funcionalidade que nós executamos de forma excelente há mais de 1 ano:
PDFs e funcionalidade Highlight
A DataPolicy costuma desenvolver suas próprias estruturas e tecnologia. Como é o caso da varredura e pesquisa em um arquivo PDF. Exemplo de uma funcionalidade que nós executamos de forma excelente há mais de 1 ano:
Infraestrutura de nova interface para aplicação
Nós iniciamos a nova interface para a ferramenta de Gestão de Risco Regulatório da DataPolicy. Executamos planejamento e início desta implementação pensando em facilitar para nossos usuários e tornar a APP da DataPolicy mais amigável. Calma, ainda é um segredo!
Também executamos diversas alterações e melhorias na aplicação.
O que é a API dentro da infraestrutura tecnológica da DataPolicy?
APIs, mais especificamente as Web APIs, são serviços acessíveis na web. Assim como qualquer site, que ao invés de retornarem páginas formatadas como o usuário está acostumado a ver, retorna dado bruto em um formato específico.
A ideia é que ela seja utilizada por outros serviços para extrair informação. A API da DataPolicy é um produto que vai permitir aos usuários integrarem seus sistemas à base de conhecimentos e inteligência da DataPolicy.
Dessa forma, a área técnica de nossos clientes podem desenvolver soluções a partir dos dados providos por nós. Demais, não é mesmo?
A DataPolicy sempre contou com uma API para consulta de dados do usuário da aplicação. Porém, esse novo produto possui um foco diferente: Permitir acesso direto ao agregado de dados abertos que a DataPolicy construiu.
Este foi um breve panorama de como nós evoluímos este ano. Espero que tenha curtido. Visite nossa P[agina Inicial e conheça mais sobre a DataPolicy.
