Utilização da ferramenta CDM para cópia de arquivos entre SFTP Server e OBS - Blog Huawei Cloud
Home > Sem categoria > Utilização da ferramenta CDM para cópia de arquivos entre SFTP Server e OBS
O objetivo deste artigo é mostrar o passo-a-passo sobre como copiar o arquivo de um Servidor SFTP para OBS usando a ferramenta CDM – Cloud Data Migration. Este tipo de tarefa pode ser requerida dependendo das necessidades do cliente.
No final deste artigo existe uma referência que foi utilizada para elaborar este procedimento.
Importante: os blocos
utilizados nas anotações indicam informações relevantes e que requerem uma atenção especial. Também indicam as informações que foram preenchidas nos campos,
e os botões que devemos interagir.
1 – Servidor SFTP
1.1 ECS CentOS está representando o servidor SFTP
O /root/cdm/dir_read/ será o diretório lido pela ferramenta CDM para copiar os arquivos para o OBS. O arquivo1.txt e o arquivo2.txt serão os arquivos copiados para o OBS.
2 – Acessando o servidor SFTP via ECS Windows
2.1 Usando o endereço IP público 159.X.X.X do servidor SFTP
O cliente SFTP usado nesta demonstração foi o WinSCP.
Valide que o SFTP Server esteja disponível, ou seja, que não existe problema de conexão e que os arquivos estão disponíveis para serem copiados para o OBS.
3 - OBS
3.1 O OBS é chamado de RJK, e a pasta onde os arquivos serão copiados do servidor SFTP será /cdm/dir_write/.
Verifique que atualmente não há nenhum arquivo nesta pasta.
4 - CDM - Migração de dados em nuvem
4.1 Criando um cluster de CDM e vinculando um EIP ao cluster
Nenhum cluster CDM configurado ainda. Comprando um novo.
No console estava disponível apenas: cdm.large.
Nenhuma opção acima foi escolhida.
Agora o cluster está no Executando, é necessário ligar o EIP (o cluster CDM usa o EIP para acessar o servidor SFTP local).
Dica: Caso nenhum EIP esteja disponível, será necessário adquirir um através da tela abaixo:
5. Criação de links
As etapas abaixo são muito importantes para estabelecer uma conexão entre o servidor SFTP e o OBS.
5.1 Criar o Link do Servidor SFTP
Antes de salvar a configuração, é altamente recomendável fazer um teste de conexão.
Agora que o teste de conexão com o servidor SFTP via CDM foi bem-sucedido, salve a configuração.
5.2 Criar o link OBS
Todos os parâmetros de conexão abaixo estão relacionados ao OBS.
AK e SK dependem de cada conta. Antes de salvar a configuração, é altamente recomendável fazer um teste de conexão.
Agora o teste de conexão com o OBS via CDM foi bem-sucedido, salve a configuração.
6 - Criando uma demanda
A criação de uma demanda é necessária para reunir os dois links criados na etapa anterior.
Configuração da demanda de origem: está relacionado ao servidor SFTP. O campo Source Directory / File deve ser configurado com o diretório onde os arquivos estão disponíveis no servidor SFTP.
Configuração da demanda de destino: está relacionado ao OBS. O campo "Write Directory" deve ser configurado com o caminho da pasta onde os arquivos serão copiados para o servidor OBS do SFTP. Formato do arquivo: Selecione Binário. É aplicável à cópia de arquivo. O valor deve ser o mesmo na origem e no destino da migração.
Método de processamento de arquivo duplicado: Selecione Ignorar para evitar a transferência de arquivos duplicados.
Neste exemplo, a tarefa agendada é executada a cada 10 minutos. Os valores e parâmetros serão mantidos como padrão.
Depois que a demanda é criado, é possível ver que foi executada com sucesso:
Valide a quantidade de arquivos copiados do servidor SFTP para o OBS.
7. Verificar o OBS com os dois arquivos
7.1. Verifique se os arquivos file1.txt e file2.txt originais estão em bucket/rjk/cdm/dir_write/.
7.2. Valide o conteúdo dos dois arquivos baixados
8. Atualização do servidor SFTP e verificação de novos arquivos no OBS
Agora, o servidor SFTP será atualizado com os arquivos file3.txt e file4.txt. Espera-se que esses novos arquivos sejam copiados para o OBS após a execução do trabalho novamente no CDM.