Visão geral do plug-in SAP ODP | Documentação do Cloud Data Fusion | Google Cloud
Visão geral do plug-in SAP ODP
Neste guia, descrevemos como implantar, configurar e executar pipelines de dados que usam o plug-in SAP ODP. É possível usar o SAP como uma fonte de extração de dados baseada em lote e em delta no Cloud Data Fusion utilizando do provisionamento de dados operacionais (ODP, na sigla em inglês).
Esse plug-in permite a integração de dados em massa de aplicativos SAP com o Cloud Data Fusion. É possível configurar e executar transferências de dados em massa do DataSourcesdo SAP sem programação.
Para aplicativos SAP e DataSources compatíveis para extração, consulte as Perguntas frequentes. Para mais informações sobre o SAP no Google Cloud, consulte a Visão geral do SAP no Google Cloud.
Configurar o sistema SAP ERP (ativar DataSources no SAP).
Implante o plug-in no ambiente do Cloud Data Fusion.
Faça o download do transporte SAP do Cloud Data Fusion e instale-o no SAP.
Usar o Cloud Data Fusion e o SAP ODP para criar pipelines de dados e integrar dados do SAP.
Para usar esse plug-in, é necessário ter conhecimento dos domínios nas seguintes áreas:
criar pipelines no Cloud Data Fusion;
Gerenciamento de acesso com o IAM
Como configurar o SAP Cloud e os sistemas de planejamento de recursos corporativos locais (ERP, na sigla em inglês)
Papéis do usuário
As tarefas nesta página são realizadas por pessoas com os seguintes papéis no Google Cloud ou no sistema SAP:
Administrador do Google Cloud Os usuários atribuídos a esse papel são administradores de contas do Google Cloud.
Usuário do Cloud Data Fusion Os usuários atribuídos a esse papel estão autorizados a projetar e executar pipelines de dados. Eles recebem, no mínimo, o papel de leitor do Data Fusion ( roles/datafusion.viewer). Se estiver usando o controle de acesso baseado em papéis, talvez sejam necessários outros papéis.
Administrador do SAP Os usuários atribuídos a essa função são administradores do sistema SAP. Eles têm acesso para fazer o download de softwares do site de serviços da SAP. Não é um papel do IAM.
Usuário SAP Os usuários atribuídos a esse papel estão autorizados a se conectar a um sistema SAP. Não é um papel do IAM.
Pré-requisitos para extração de ODP
O DataSource precisa estar ativado no sistema SAP.
Os dados precisam ser preenchidos no DataSource.
O DataSource precisa ser ativado para extração de ODP. Para verificar se ele está ativado, siga estas etapas:
Faça login no sistema SAP. Acesse o código t SE16N.
Forneça o nome da tabela ROOSATTR e insira o nome do DataSource em OLTPSOURCE.
Clique em Executar ou pressione F8.
Se o campo EXPOSE_EXTERNAL estiver marcado como X, o DataSource poderá ser usado para extração de ODP.
Se o DataSource não estiver listado nessa tabela ou o campo EXPOSE_EXTERNAL estiver em branco, siga estas etapas para expor a extração do DataSource para ODP:
Faça login no sistema SAP. Acesse o t-code SA38.
Forneça o nome do programa RODPS_OS_EXPOSE e clique em Executar.
Forneça o nome da DataSource e clique em Liberar DataSource.
Salve as alterações no transporte.
Modos de extração de dados
O plug-in é compatível com estes modos de extração de dados:
Completo: extrai todos os dados.
Sincronização: determina o uso do modo de extração completo (todos os dados), delta (alterações incrementais) ou recuperação (repetição da última execução) para execução atual com base no status anterior no SAP de dados.
Colunas filtráveis do DataSource
Somente algumas colunas da DataSource podem ser usadas para condições de filtro. Essa é uma limitação do SAP por padrão.
Para acessar as informações do campo, siga estas etapas:
Faça login no sistema SAP. Acesse o t-code RSA3.
Forneça o nome do DataSource e pressione Enter.
Use os campos exibidos na seção Seleções como filtros. As operações aceitas são Igual e Entre (intervalo).
Como configurar o sistema ERP da SAP
O administrador da SAP executa as tarefas nesta seção.
O SAP ODP usa um Módulo de função remota (RFM, na sigla em inglês), que precisa ser instalado em cada servidor SAP de onde os dados são extraídos. Essa RFM é entregue como um transporte SAP.
Para configurar seu sistema SAP, siga estas etapas:
O usuário do Cloud Data Fusion precisa fazer o download do arquivo ZIP que contém o transporte da SAP e fornecê-lo ao administrador da SAP. Para fazer o download, use o link fornecido com o plug-in no Hub. Consulte Como configurar o Cloud Data Fusion.
O administrador do SAP precisa importar o transporte SAP para o sistema SAP e verificar os objetos criados. Para mais informações, consulte Como instalar o transporte SAP (em inglês).
O usuário do SAP pode importar o transporte de autorização ou criar o papel de autorização com base no objeto de autorização. Para mais informações sobre objetos de autorização, consulte Autorização SAP necessária.
Como ativar o DataSource
Para extrair os dados, um DataSource precisa estar ativado no sistema SAP de origem. Para ativar um DataSource no SAP, siga estas etapas:
Acessar o código da transação RSA5
Expanda a lista do DataSources.
Forneça o nome da DataSource e clique em check_circle Enter.
Se a pesquisa for bem-sucedida, a biblioteca do DataSource será exibida na lista de resultados.
Selecione o nome do DataSource e clique em check_circle Enter.
Selecione a opção DataSource e clique em Ativar DataSources.
Na caixa de diálogo Criar entrada no diretório de objetos, insira o nome do pacote e clique em Salvar.
Na caixa de diálogo Requerer solicitação de trabalho transferível, insira o número de transporte no campo Solicitação. Clique em check_circle Enter.
O DataSource selecionado é ativada no SAP.
Como instalar arquivos de transporte no SAP
Os componentes da SAP são necessários para projetar e executar pipelines de dados no Cloud Data Fusion. Eles são entregues como arquivos de transporte SAP arquivados como um arquivo ZIP (uma solicitação de transporte, que consiste em um cofile e um arquivo de dados).
O ID da solicitação de transporte e os arquivos associados são fornecidos na tabela a seguir:
Tabela 2: transporte SAP
ID do transporte
DE3K 900.079 K900079.DE3 R900079,DE3 Módulos de função ativados no RFC
DE3K900042 K900042.DE3 R900042.DE3 Papel de autorização
Depois que a transferência é importada para o sistema SAP, os seguintes objetos SAP são criados:
Módulos de função ativados em RFC:
/GOOG/ODP_DS_EXTRACT_DATA
/GOOG/ODP_DS_FETCH_DATA
/GOOG/ODP_DS_METADATA
Papel de autorização: /GOOG/ODP_AUTH
Para instalar o transporte SAP, siga estas etapas:
Etapa 1: fazer upload dos arquivos de solicitação de transporte
Faça login no sistema SAP como administrador do sistema.
Copie os cofiles para a pasta /usr/sap/trans/cofiles.
Copie o arquivo de dados para a pasta /usr/sap/trans/data.
Etapa 2: importar os arquivos de solicitação de transporte
O administrador da SAP pode importar os arquivos de solicitação de transporte usando uma das seguintes opções:
Opção 1: importar os arquivos de solicitação de transporte usando o sistema de gerenciamento de transporte SAP
Faça login no sistema SAP como administrador da SAP.
Digite o STMS da transação.
Clique em Visão geral > Importações.
Na coluna "Fila", clique duas vezes no SID atual.
Clique em Extras > Outras solicitações > Adicionar.
Selecione o ID da solicitação de transporte e clique em Continuar.
Selecione a solicitação de transporte na fila de importação e clique em Solicitar > Importar.
Digite o número do cliente.
Na guia Opções, selecione Substituir originais e Ignorar a versão inválida do componente (se disponível).
Opcional: para programar uma reimportação dos transportes para um momento posterior, selecione Deixar solicitações de transporte na fila para importação posterior e Importar solicitações de transporte novamente. Isso é útil para upgrades do sistema SAP e restaurações de backup.
Para verificar a importação, use transações, como SE80 e SU01.
Opção 2: importar os arquivos de solicitações de transporte no nível do sistema operacional
Adicione as solicitações apropriadas ao buffer de importação executando o seguinte comando:
Por exemplo: tp addtobuffer IB1K903958 DD1
Importe as solicitações de transporte executando o seguinte comando:
Substitua NNN pelo número do cliente. Por exemplo: tp import IB1K903958 DD1 client=800 U1238
Observação: U1238 indica a definição das opções descritas nas etapas de 9 a 10 na Opção 1. Os números indicam o número da ordem de opções correspondente na GUI do SAP, que pode variar de acordo com o sistema. Os números precisam ser ajustados pelo administrador da SAP.
Verifique se o módulo da função e os papéis de autorização foram importados com êxito usando as transações apropriadas, como SE80 e SU01.
Autorizações SAP necessárias
Para executar um pipeline de dados no Cloud Data Fusion, você precisa de um usuário SAP. O usuário SAP precisa ser dos tipos Communications ou Dialog. Para evitar o uso de recursos da caixa de diálogo do SAP, o tipo Communications é recomendado. Os usuários podem ser criados usando o código de transação SU01 do SAP.
Atribua um papel de autorização para que o usuário do SAP possa projetar e executar pipelines de dados no Cloud Data Fusion. É possível atribuir o papel de autorização /GOOG/ODP_AUTH, incluído nos transportes do SAP fornecidos com o plug-in, ou criar o papel de autorização manualmente no SAP.
Para criar o papel de autorização manualmente, siga estas etapas:
Na GUI do SAP, digite o código da transação PFCG para abrir a janela Manutenção de papéis.
No campo Papel, insira um nome para o papel.
Por exemplo: zcdf_role
Clique em Papel único.
A janela Criar papéis é aberta.
No campo Descrição, insira uma descrição e clique em Salvar.
Por exemplo, Authorizations for SAP ODP plugin.
Clique na guia Autorizações. O título da janela muda para Alterar papéis.
Em Editar dados de autorização e gerar perfis, clique em edit Alterar dados de autorização.
A janela Choose Template será aberta.
Clique em Não selecionar modelos.
A janela Alterar papel: autorizações é aberta.
Clique em Manualmente.
Forneça as autorizações mostradas na tabela de autorização da SAP a seguir.
Para ativar o papel de autorização, clique no ícone Gerar.
Tabela 3: autorizações da SAP
Texto de classe do objeto
Texto do objeto de autorização
AAAB Objetos de autorização entre aplicativos S_RFC Verificação de autorização para acesso ao RFC ACTVT. Atividade 16
AAAB Objetos de autorização entre aplicativos S_RFC Verificação de autorização para acesso ao RFC RFC_NAME Nome do objeto RFC para o qual o acesso é permitido. /GOOG/CDF_ODP_FG,
/GOOG/ODP_DS_EXTRACT_DATA,
/GOOG/ODP_DS_FETCH_DATA,
/GOOG/ODP_DS_METADATA,
DDIF_FIELDINFO_GET,
RFCPING,
RFC_GET_FUNCTION_INTERFACE,
RODPS_REPL_ODP_CLOSE,
SAPTUNE_GET_SUMMARY_STATISTIC,
AAAB Objetos de autorização entre aplicativos S_RFC Verificação de autorização para acesso ao RFC RFC_TYPE Digite do objeto RFC para o qual o acesso é permitido. FUGR
AAAB Objetos de autorização entre aplicativos S_TCODE Verificação do código da transação no início da transação TCD Código da transação SM50
BC_A Base: administração S_ADMI_FCD Autorizações do sistema S_ADMI_FCD Função de administração do sistema PADM,
BC_A Base: administração S_BTCH_ADM Processamento em segundo plano: administrador em segundo plano BTCADMIN Código do administrador em segundo plano Y
BC_A Base: administração S_BTCH_JOB Processamento em segundo plano: operações em jobs em segundo plano JOBACTION Operações de job RELE
BC_A Base: administração S_BTCH_JOB Processamento em segundo plano: operações em jobs em segundo plano JOBGROUP Resumo dos jobs de um grupo RELE
RO Autorizações: API BW Service S_RO_OSOA Autorizações do SAP DataSource ACTVT. Atividade 03
RO Autorizações: API BW Service S_RO_OSOA Autorizações do SAP DataSource OLTPSOURCE DataSource (OSOA/OSOD) *
RO Autorizações: API BW Service S_RO_OSOA Autorizações do SAP DataSource OSOAAPCO Componente de aplicativo de um DataSource (OSOA/OSOD) *
RO Autorizações: API BW Service S_RO_OSOA Autorizações do SAP DataSource OSOAPART Subobjeto para DataSource DATA
*Para impedir que um usuário execute pipelines de ODP com DataSources específicos, para o objeto de autorização S_RO_OSOA, não use um asterisco (*). Em vez disso, forneça os nomes de DataSource necessários em OLTPSOURCE (por exemplo, 2LIS_02_ITM, 0MATERIAL_ATTR).
Como configurar o Cloud Data Fusion
O usuário do Cloud Data Fusion e o administrador do Google Cloud executam as tarefas nesta seção.
Verifique se a comunicação está ativada entre a instância do Cloud Data Fusion e o servidor SAP. Para instâncias particulares, configure o peering de rede. Depois que o peering de rede é estabelecido com o projeto em que os sistemas SAP estão hospedados, nenhuma configuração adicional é necessária para se conectar à instância do Cloud Data Fusion. O sistema SAP e a instância do Cloud Data Fusion precisam estar dentro do mesmo projeto.
Etapas de usuário do Cloud Data Fusion
Para configurar o ambiente do Cloud Data Fusion para o plug-in, siga estas etapas:
No Console do Google Cloud, acesse a página Instâncias do Cloud Data Fusion.
Selecione a instância desejada.
A página Detalhes da instância é aberta.
Verifique se a instância fez upgrade para a versão 6.4.0 ou posterior. Se a instância estiver em uma versão anterior, será necessário fazer upgrade dela.
Abra a instância. Na IU do Cloud Data Fusion, clique em Hub.
Selecione a guia SAP > SAP ODP.
Se a guia "SAP" não for exibida, consulte Solução de problemas de integrações do SAP.
Clique em Implantar plug-ins do SAP ODP.
O plug-in agora será exibido no menu Origem na página do Studio.
Etapas de administração do SAP e administrador do Google Cloud
O administrador do SAP faz o download dos seguintes artefatos do JCo no site de suporte do SAP e os fornece ao Google Cloud Admin.
Uma plataforma independente (sapjco3.jar)
Dependente da plataforma (libsapjco3.so no Unix)
Observação: a versão mínima da JCo compatível é 3.0.20.
Para fazer o download dos arquivos, siga estas etapas:
Acesse a página do SAP Connectors.
Clique em SAP Java Connector/Tools and Services. Selecione links específicos da plataforma para o download.
Selecione a plataforma em que sua instância do Cloud Data Fusion é executada:
Se você usar imagens padrão do Google Cloud para as VMs no cluster (o padrão do Cloud Data Fusion), selecione Linux para processadores compatíveis com Intel de 64 bits x86.
Se você usar uma imagem personalizada, selecione a plataforma correspondente.
O Google Cloud Admin precisa copiar os arquivos JCo para um bucket legível do Cloud Storage. Forneça o caminho do bucket ao usuário do Cloud Data Fusion para inseri-lo na propriedade de plug-in correspondente no Cloud Data Fusion: Caminho do GCS para biblioteca SAP JCo (consulte Como configurar o plug-in).
O administrador do Google Cloud precisa conceder acesso de leitura para os dois arquivos à conta de serviço do Cloud Data Fusion para o ambiente de design e a conta de serviço do Dataproc para o ambiente de execução. Para mais informações, consulte Contas de serviço do Cloud Data Fusion.
Como configurar o plug-in
O plug-in SAP ODP lê o conteúdo de um DataSource do SAP.
Para filtrar os registros, configure as seguintes propriedades para o SAP ODP.
Observação: as macros são compatíveis com as propriedades de conexão e podem ser usadas para gerenciar de maneira centralizada as conexões SAP. Por exemplo, é possível usar macros para as propriedades de conexão e definir os valores no ambiente de execução.
Nome de referência: usado para identificar essa origem de maneira exclusiva para linhagem, anotação de metadados etc.
Cliente SAP: o cliente SAP a ser usado (por exemplo, 100).
Linguagem SAP: linguagem de logon SAP (por exemplo, EN).
Tipo de conexão: tipo de conexão SAP (direta ou de carga). Selecionar um tipo alterará os seguintes campos disponíveis:
Para uma conexão direta {:#direct-connection}:
Host do servidor de aplicativos SAP: o nome do servidor SAP ou o endereço IP.
Número do sistema SAP: o número do sistema SAP (por exemplo, 00).
Roteador SAP: a string do roteador.
Para uma conexão com carga balanceada
Host de servidores de mensagens SAP: o nome ou o endereço IP do SAP Message Host.
Serviço ou número da porta do SAP Message Server: o serviço ou o númeroda porta do SAP Message Server (por exemplo, sapms02).
Código do sistema SAP (SID, na sigla em inglês): o código do sistema SAP (por exemplo, N75).
Nome do grupo de logons da SAP: o nome do grupo de logons da SAP (por exemplo, PUBLIC).
Nome do SAP DataSource: o nome do SAP DataSources (por exemplo, 2LIS_02_ITM).
Botão Get Schema: gera um esquema com base nos metadados do SAP, com mapeamento automático dos tipos de dados do SAP para os tipos de dados correspondentes do Cloud Data Fusion (mesma funcionalidade do botão Validar).
Extrair tipo: o plug-in é compatível com os dois tipos de extração de dados a seguir:
Completo (todos os dados): extrai todos os dados disponíveis.
Sincronização (seleção automática com base em execução anterior): determina se o modo completo, delta (incremental) ou de recuperação (recuperar dados da última execução) precisa ser executado com base no tipo de execução anterior e no status disponível no SAP. Ele extrai dados completos na execução inicial do pipeline (modo ODP F) e os altera nas execuções subsequentes do pipeline (modos ODP D, R).
Para mais informações, consulte Extrair tipos.
Nome de usuário de logon SAP: nome de usuário SAP. Recomendado: se o nome de usuário do SAP Authentication for alterado periodicamente, use uma macro.
Senha de logon do SAP: senha de usuário SAP. Recomendado: use macros seguras para valores confidenciais, como Senha do usuário.
Detalhes do SAP JCo
ID do projeto do GCP: ID do projeto do Google Cloud, que identifica exclusivamente um projeto. Ele pode ser encontrado no Painel do Console do Google Cloud.
Caminho do GCS da biblioteca SAP JCo: o caminho do Cloud Storage que contém os arquivos da biblioteca SAP JCo enviados pelo usuário.
Nome do assinante do ODP de SAP: identifica um assinante do Assinante do ODP válido para a extração de dados de um DataSource válido. Esse nome precisa ter no máximo 32 caracteres, sem espaços, e pode conter apenas a-z, A-Z, 0-9, _ e /. Ele precisa ser exclusivo para diferentes pipelines extraindo dados do mesmo DataSource. Se estiver em branco ou não especificado, o framework de execução usará a combinação padrão do ID do projeto, namespace e nome do pipeline. Se esse valor padrão tiver mais de 32 caracteres, o plug-in o truncará automaticamente.
Opções de filtro (igual): define o valor que um campo precisa ser lido. Uma lista de nomes de campos de metadados e os pares de valores deles são opções de filtro. Ele especifica a condição do filtro que será aplicada ao ler dados de um DataSource. Somente os registros que satisfazem o filtro são extraídos. A chave de filtro corresponde a um campo no esquema e precisa ser de um tipo simples (não ARRAY, RECORD ou UNION).
Opções de filtro (intervalo): define os limites baixos e altos em que o valor do campo precisa ser lido. Tem o formato baixo E alto. Uma lista de nomes de campos de metadados e os pares de valores deles são opções de filtro. Ela especifica a condição do filtro a ser aplicada na leitura de dados de um DataSource. Somente os registros que satisfazem o filtro são extraídos. A chave de filtro corresponde a um campo no esquema e precisa ser de um tipo simples (não ARRAY, RECORD ou UNION).
Número de divisões a serem geradas: cria partições para extrair registros da tabela em paralelo. O mecanismo do ambiente de execução cria o número especificado de partições (e conexões SAP) enquanto extrai os registros da tabela. Tenha cuidado ao definir essa propriedade para um número maior que 16, já que o paralelismo maior aumenta as conexões simultâneas com o SAP. Recomendamos valores entre 8 e 16. Se o valor for 0 ou for deixado em branco, o sistema escolherá um valor apropriado com base no número de Executores disponíveis e nos registros a serem extraídos e no tamanho do pacote.
Tamanho do pacote (em KB): número de registros a serem extraídos em uma única chamada de rede SAP. Esse é o número de registros que o SAP armazena na memória durante cada chamada de extração de rede. Vários pipelines de dados que extraem dados podem atingir o pico de uso de memória e resultar em falhas devido a erros Out of Memory. Tenha cuidado ao definir essa propriedade.
Insira um número inteiro positivo. Se 0 ou deixado em branco, o plug-in usará um valor padrão de 70000 ou um valor calculado corretamente se o número de registros a serem extraídos for menor que 70.000.
Se o pipeline de dados falhar com erros Out of Memory, diminua o tamanho do pacote ou aumente a memória disponível para os processos de trabalho do SAP.
Como configurar um pipeline
Para grandes conjuntos de dados (por exemplo, alguns milhões de registros) com um grande número de divisões (acima de 16), o sistema SAP pode enviar registros duplicados. Para evitar isso, é recomendável usar um dos seguintes métodos de eliminação de duplicação no pipeline do Cloud Data Fusion:
Em ambos os métodos, você usa campos de chave do DataSource para executar a eliminação de duplicação.
Se você usar um coletor do BigQuery no pipeline, use o modo Upsert no coletor do BigQuery. Forneça os campos de chave na seção Chave da tabela do plug-in do coletor do BigQuery.
Se você não usar um coletor do BigQuery no pipeline, use o plug-in Deduplicate, inserido no pipeline após o plug-in do SAP ODP. Preencha os principais campos na seção Unique Fields do plug-in Eliminar duplicação.
Observação: no Cloud Data Fusion 6.4.0 ou anterior, defina este argumento de ambiente de execução: spark.cdap.pipeline.aggregate.dataset.enable = false.
Mapeamento de tipo de dados
Tabela 4: mapeamento de tipos de dados SAP para tipos do Cloud Data Fusion
Tipo de dados do SAP
Tipo ABAP
Descrição (SAP)
Tipo de dados do Cloud Data Fusion
INT1 b Inteiro de 1 byte int
INT2 s Inteiro de 2 bytes int
INT4 i Inteiro de 4 bytes int
INT8 8 Inteiro de 8 bytes long
DEZ p Número no pacote no formato BCD (DEC) decimal
DF16_DEC,
DF16_RAW a Ponto flutuante decimal de 8 bytes IEEE 754r decimal
DF34_DEC,
DF34_RAW e Ponto flutuante decimal de 16 bytes, IEEE 754r decimal
FLTP f Número de ponto flutuante binário double
LCHR c String de caracteres string
GEOM_EWKB string String de caracteres string
STRING string CLOB de string de caracteres bytes
NUMC,
ACCP n Texto numérico string
LRAW x Dados binários bytes
RAWSTRING xstring String de bytes BLOB bytes
DATS d Data date
TIMS t Momento time
TIMS utcl (Utclong),
Clique em Validate no canto superior direito ou em Get Schema.
O plug-in valida as propriedades e gera um esquema com base nos metadados da SAP. Ele mapeia automaticamente os tipos de dados da SAP para os tipos de dados correspondentes do Cloud Data Fusion.
Como executar um pipeline de dados
Depois de implantar o pipeline, clique em Configurar no painel central superior.
Selecione Recursos.
Se necessário, altere a CPU do Executor e a Memória com base no tamanho geral dos dados e no número de transformações usadas no pipeline.
Para iniciar o pipeline de dados, clique em Executar.
Como otimizar o desempenho
Os plug-ins usam os recursos de carregamento em paralelo do Cloud Data Fusion. As diretrizes a seguir ajudarão a configurar o ambiente de execução para que você forneça recursos suficientes ao mecanismo para atingir o grau de paralelismo e desempenho desejado.
Observação: no tempo de execução, o plug-in lê o número de processos de trabalho e memória disponíveis da SAP alocados por processo de trabalho da SAP para ajustar automaticamente o número de divisões e o tamanho do pacote se você não tiver especificado esses valores.
Otimizar a configuração do SAP
Recomendado: utilize um usuário do SAP Communication em vez de um usuário do Dialog (isso usa menos recursos do sistema SAP). Além disso, se um servidor de mensagens estiver disponível no seu modo paisagem, use uma conexão do SAP com balanceamento de carga em vez de uma conexão direta.
Se você especificar valores para o número de divisões e o tamanho do pacote, o plug-in poderá ajustar esses valores para não esgotar os processos de trabalho e a memória disponíveis do SAP. Estes são os limites superiores dos recursos SAP usados:
50% dos processos de trabalho disponíveis
70% da memória disponível por processo de trabalho
Otimizar a configuração do plug-in
Recomendado: deixe o Número de divisões a serem geradas e o tamanho do pacote em branco, a menos que você conheça as configurações de memória do sistema SAP. Por padrão, esses valores são ajustados automaticamente para melhorar o desempenho.
Use as propriedades a seguir para um desempenho ideal ao executar o pipeline:
Número de divisões a serem geradas: controla diretamente o paralelismo no lado do Cloud Data Fusion. O mecanismo do ambiente de execução cria o número especificado de partições (e conexões SAP) enquanto extrai os registros da tabela. Os valores entre 8 e 16 são recomendados, mas podem aumentar até 32 ou até 64 com a configuração apropriada do SAP (alocando recursos de memória apropriados para os processos de trabalho no SAP).
Se o valor for 0 ou for deixado em branco, o sistema escolherá automaticamente um valor apropriado com base no número de processos de trabalho SAP disponíveis, nos registros a serem extraídos e no tamanho do pacote.
Tamanho do pacote: o tamanho de cada pacote de dados em bytes a ser buscado em todas as chamadas de rede para SAP. Um tamanho menor faz com que chamadas de rede frequentes repitam a sobrecarga associada. Um tamanho de pacote grande (> 100 MB) pode atrasar a recuperação de dados. 0 ou nenhuma entrada tem 50 MB como padrão.
Extrair tipos
Se o tipo de extração for Full, o plug-in sempre solicitará dados completos do DataSource.
Se o tipo de extração for Sync, o plug-in verificará primeiro o status da execução anterior no SAP.
Se não houver execução anterior, escolha dados completos (F).
Se o tipo de execução anterior era "Completo" (F):
Se a execução foi concluída, execute a chave no modo Delta (D).
Caso contrário, execute a chave no modo Completo (F). Isso permite recuperar os dados anteriormente por engano.
Se o tipo de execução anterior for o modo Delta (D) ou Recuperação (R):
Caso contrário, execute a chave no modo Recuperação (R). Isso permite a recuperação dos dados delta anteriores no erro.
Extração de vários pipelines do mesmo DataSource
Esse recurso não está disponível no momento. Somente um pipeline pode extrair dados de um DataSource por vez.
Recomendado: mantenha o campo Nome do assinante do SAP ODP em branco e não execute vários pipelines extraindo dados do mesmo DataSource.
Configurações de recursos do Cloud Data Fusion
Recomendado: use 1 CPU e 4 GB de memória por Executor. Esse valor se aplica a cada processo de Executor. Faça isso na caixa de diálogo Configurar > Recursos.
Configurações de cluster do Dataproc
Recomendado: no mínimo, aloque um total de CPUs (entre workers) maior que o número pretendido de divisões (consulte a seção Configuração de plug-ins). Por exemplo, se você tiver 16 divisões, defina 20 ou mais CPUs no total, em todos os workers (há uma sobrecarga de 4 CPUs usadas para coordenação).
Recomendado: use um cluster permanente do Dataproc para reduzir o ambiente de execução do pipeline de dados. Isso elimina a etapa de provisionamento, que pode levar alguns minutos ou mais. Faça isso na seção de configuração do Compute Engine.
Quais produtos e versões do SAP são compatíveis?
Origens compatíveis:
SAP S4/HANA 1909 e posterior.
SAP ERP6 NW 7.31 SP16 e posterior. Importe a nota do SAP 2232584 para ativar outras DataSources no sistema.
Sistemas ERP da SAP baseados no NW 7.31 SP16 ou posterior.
Quais são os modelos de implantação SAP compatíveis?
O plug-in foi testado com servidores SAP implantados no Google Cloud.
Quais tipos de SAP DataSources são compatíveis com extração?
O plug-in é compatível com os seguintes tipos de DataSource:
Há notas do SAP que precisam ser implementadas antes do uso desse plug-in?
Se você precisar ativar outros DataSources, implemente a seguinte observação para sistemas ERP6: 2232584 (link em inglês): versão de extratores SAP para replicação ODP (ODP SAPI). Esse site externo requer um login do SAP.
Há uma limitação no volume de dados ou na largura do registro?
Não há limite definido para o número de linhas extraídas ou o tamanho do DataSource. Testamos até 306 milhões de linhas extraídas em uma execução de pipeline com uma largura de registro de 1 KB.
Qual é a capacidade esperada do plug-in
Para um ambiente configurado de acordo com as diretrizes da seção Como otimizar o desempenho, o plug-in pode extrair cerca de 38 GB/hora. O desempenho real pode variar de acordo com a carga de sistema do Cloud Data Fusion e do SAP ou tráfego de rede.