Cluster cancela execução de comando Python devido a conflito na biblioteca - Azure Databricks | Microsoft Docs
Cluster cancela execução de comando python devido a conflito na biblioteca
O aglomerado regressa Cancelled num caderno Python. Os cadernos em todas as outras línguas executam com sucesso no mesmo cluster.
Quando instala uma versão conflituosa de uma biblioteca, ipython ipywidgets como, numpy ou para o scipy , pandas PYTHONPATH então, o Python REPL pode quebrar, fazendo com que todos os comandos regressem Cancelled após 30 segundos. Isto também quebra %sh, o macro de caderno que permite introduzir scripts de concha em células de portátil Python.
Se instalou recentemente uma bokeh biblioteca no cluster, a instalação pode ter incluído uma biblioteca incompatível. tornado Ver Cluster cancela execução de comando Python após a instalação de Bokeh.
Se instalou uma numpy biblioteca, pode ser incompatível. Ver a execução do comando Python falhar com o AttributeError.
Identifique a biblioteca conflituosa e desinstale-a.
Instale a versão correta da biblioteca num portátil ou com um script init com âmbito de cluster.
Identifique a biblioteca conflituosa
Desinstale cada biblioteca uma de cada vez, e verifique se o Python REPL ainda quebra.
Se o REPL ainda se partir, reinstale a biblioteca que removeu e retire a seguinte.
Quando encontrar a biblioteca que faz com que o REPL se rompa, instale a versão correta dessa biblioteca utilizando um dos dois métodos abaixo.
Também pode inspecionar o registo do controlador std.err () para o cluster (na página de Configuração do Cluster) para obter um traço de pilha e uma mensagem de erro que possa ajudar a identificar o conflito da biblioteca.
Instale a biblioteca correta
Opção 1: Instalar num bloco de notas utilizando pip3
Opção 2: Instalar utilizando um script init com âmbito de cluster
Siga os passos abaixo para criar um script init com âmbito de cluster que instala a versão correta da biblioteca. Substitua <library-name> nos exemplos pelo nome de ficheiro da biblioteca para instalar.
Se o script init já não existir, crie um diretório base para armazená-lo:
Confirme que o script existe:
Vá à página de configuração do cluster e clique nas Opções Avançadas para alternar.
Na parte inferior da página, clique no separador Scripts Init:
No drop-down destino, selecione DBFS, forneça o caminho do ficheiro para o script, e clique em Adicionar.