Ciência de dados apache-spark
Apache Spark é um sistema de computação em cluster de código aberto que visa tornar a análise de dados rápida - tanto para executar quanto para escrever, originalmente desenvolvido no AMPLab da UC Berkeley.
Como calcular a média de uma coluna de quadro de dados e encontrar os 10% principais
Sou muito novo no Scala e no Spark e estou trabalhando em alguns exercícios criados usando estatísticas de beisebol. Estou usando uma classe de caso, crie um RDD e atribua um esquema aos dados, e depois o transformei em um DataFrame para que eu possa usar o SparkSQL para selecionar …
Substitua todos os valores numéricos em um dataframe pyspark por um valor constante
Considere um quadro de dados pyspark composto por elementos 'nulos' e elementos numéricos. Em geral, os elementos numéricos têm valores diferentes. Como é possível substituir todos os valores numéricos do quadro de dados por um valor numérico constante (por exemplo, pelo valor 1)? Desde já, obrigado! Exemplo para o dataframe …
12 python apache-spark
Problema com o IPython / Jupyter no Spark (alias não reconhecido)
Estou trabalhando na configuração de um conjunto de VMs para experimentar o Spark antes de gastar e gastar dinheiro na construção de um cluster com algum hardware. Nota rápida: Sou um acadêmico com experiência em aprendizado de máquina aplicado e trabalho bastante em ciência de dados. Eu uso as ferramentas …
Como converter dados categóricos em dados numéricos no Pyspark
Estou usando o notebook Ipython para trabalhar com aplicativos pyspark. Eu tenho um arquivo CSV com muitas colunas categóricas para determinar se a renda cai abaixo ou acima do intervalo de 50k. Eu gostaria de executar um algoritmo de classificação, utilizando todas as entradas para determinar a faixa de renda. …
Análise de log de servidor usando aprendizado de máquina
Foi-me atribuída esta tarefa para analisar os logs do servidor de nosso aplicativo, que contém logs de exceção, logs de banco de dados, etc. Sou novo no aprendizado de máquina, usamos o Spark com pesquisa elástica e o Sparks MLlib (ou PredictionIO). O resultado seria poder prever com base nos …
10 machine-learning predictive-modeling apache-spark
Spark, idealmente dividindo um único RDD em dois
Eu tenho um grande conjunto de dados que preciso dividir em grupos de acordo com parâmetros específicos. Quero que o trabalho seja processado da maneira mais eficiente possível. Eu posso imaginar duas maneiras de fazer isso Opção 1 - Criar mapa a partir do RDD original e filtrar def customMapper(record): …
Quando o cache expirou para um RDD no pyspark?
Usamos .cache()no RDD para cache persistente de um conjunto de dados. Minha preocupação é quando esse cache será expirado? dt = sc.parallelize([2, 3, 4, 5, 6]) dt.cache()
Calcular semelhança de cosseno no Apache Spark
Eu tenho um DataFrame com IDF de determinadas palavras computadas. Por exemplo (10,[0,1,2,3,4,5],[0.413734499590671,0.4244680552337798,0.4761400657781007, 1.4004620708967006,0.37876590175292424,0.48374466516332]) .... and so on Agora, faça uma consulta Q, posso calcular o TF-IDF dessa consulta. Como faço para calcular a semelhança de cosseno da consulta com todos os documentos no quadro de dados (há quase um …
9 machine-learning nlp apache-spark cosine-distance
Eu tenho um script python escrito com o Contexto Spark e quero executá-lo. Tentei integrar o IPython ao Spark, mas não consegui. Então, tentei definir o caminho do spark [pasta / bin de instalação] como uma variável de ambiente e chamei o comando spark-submit no prompt do cmd. Acredito que …