Online Archive na prática | MongoDB

Nesse artigo vamos falar dos critérios práticos pra se construir o Online Archive a partir do MongoDB Atlas.

Se você ainda não conhece sobre o Online Archive recomendo-lhe a leitura de um outro artigo que escrevi sobre essa funcionalidade explicando em detalhe algumas configurações:

Sobre Online Archive — MongoDB

ou aqui considerar que você já conhece a ferramenta e que já "respondeu" as questões que deixei no artigo anterior que devem ser consideradas antes de arquivar os dados. Vamos então partir para prática!

. . .

Iniciando meu Online Archive

Quesitos iniciais:

• Qual documento será arquivado?

• Em que collection está?

• Qual critério utilizarei para arquivar esse dado?

• Por quanto tempo vou armazenar esse dado em um bucket?

Além dos critérios de configuração, é necessário avaliar a quantidade de recurso disponível no seu cluster conforme falamos no artigo anterior.

Como criar o Online Archive

Para esse exemplo usaremos a collection companies, que possui a estrutura especificada abaixo. Nesse contexto arquivaremos toda as companies que tenha mais de um ano desde de criação, deixando na base apenas registros com menos de 365 dias. Usaremos o atributo created_at para configurar nossa regra de arquivamento.

Antes de iniciarmos o processo não podemos esquecer de validar se existe índice no campo created_at, pois a existência de índice nesse campo é imprescindível! (falamos mais sobre esse ponto no artigo anterior)

Criamos um índice simples e isso já nos ajudará no processo de arquivamento:

Na tela de criação de Online Archive clicamos sobre opção de configuração e o Atlas trará uma série de informações importantes sobre as configurações subsequentes.

Hora de começar a configurar! Vamos lá!

Acesse o Atlas e vá até o cluster que terá os registros arquivados. No painel administrativo do cluster é possível identificar a opção Online Archive:

Inicialmente precisamos informar o database e a collection onde está o dado a ser arquivado:

(caso esteja usando uma collection time-series, selecione a opção exibida)

Na seção abaixo selecionaremos a região do nosso cluster e a regra de arquivamento que utilizaremos. Existem duas regras disponíveis:

• Data Match: criada a partir de um campo data onde você define o número de dias que quer manter o documento no cluster Atlas (base quente), após a data definida os dados são arquivados;

  
  

• Custom Criteria: criada a partir de uma query personalizada que atenda as especificidades da sua regra de arquivamento.

  
  

No nosso caso como arquivaremos a partir de um campo data, utilizaremos Data Match. Além disso, definimos o formato do campo created_at e a data limite que o dado deve permanecer na base. Nesse caso que tudo que tiver mais de 365 dias deve ser arquivado .

Uma outra configuração que podemos fazer é a definição de quanto tempo armazenaremos o dado no bucket. Essa informação é opcional e pode ser editada. Após o período definido no campo os dados arquivados são permanentemente excluídos.

Outra opção bem interessante é o Scheduler Window, nele você pode definir um horário para que os dados sejam arquivados. Caso você não habilite essa opção o dado começará a ser arquivado assim que o processo de configuração do Online Archive finalizar.

Importante! 🔔 Se você estiver arquivando dados de uma base com alto volume de uso e que arquivará uma massa de dados, o ideal é iniciar o processo em um horário de menor fluxo para não prejudicar seu ambiente produtivo.

Particionamento

Além do critério de busca também precisamos configurar o critério de particionamento. Nele definimos como os dados serão organizados no bucket.

Podemos criar até 2 níveis de partição, caso optemos pela regra de particionamento por query, e 3 níveis quando usamos o campo de data(campo de data + 2 níveis).

Resumo da configuração

Depois de finalizar o Atlas mostrará o resumo das configurações feitas para que o processo seja validado, além de indicar a criação do índex também exibe uma query com base no critério de buscar para que o usuário possa validar quantos registros serão impactado/arquivados pelo processo.

Arquivando …

Uma vez concluída a configuração o processo inicia e os dados começam a ser arquivados. O processo passa pelos status de pending, archiving e IDLE.

Uma vez em que foi arquivado o Atlas exibe a quantidade de registros armazenados e o horário do último armazenamento.

É possível pausar, editar e deletar a qualquer momento seu processo de archive. Lembrando que as opções de edição são limitadas, não sendo possível alterar a regra de arquivamento.

Conexão

E para finalizar você pode conectar no seu dado arquivado de duas formas:

Endpoint federado que conecta no cluster Atlas e no Online Archive ao mesmo tempo. Nesse caso é possível fazer consulta nos dois lugares pelo mesmo endpoint (porém não é uma opção fortemente recomendada para uso contínuo).

• Endpoint direto para o Online Archive

  
  

Para fechar quero agradecer você que chegou até aqui. Eu espero ter conseguido te ajudar nesse processo de configuração do Online Archive.

Caso tenha alguma dúvida ou quiser contribuir com alguma informação? Deixe aqui nos comentários (: