Ciência de dados unbalanced-classes
Perguntas com a marcação «unbalanced-classes»
Devo procurar um conjunto de dados 'equilibrado' ou um conjunto de dados 'representativo'?
Minha tarefa de 'aprendizado de máquina' é separar o tráfego benigno da Internet do tráfego malicioso. No cenário do mundo real, a maioria (digamos 90% ou mais) do tráfego da Internet é benigna. Assim, senti que deveria escolher uma configuração de dados semelhante para treinar meus modelos também. Mas me …
Guia rápido para o treinamento de conjuntos de dados altamente desequilibrados
Eu tenho um problema de classificação com aproximadamente 1000 amostras positivas e 10.000 amostras negativas no conjunto de treinamento. Portanto, esse conjunto de dados é bastante desequilibrado. A floresta aleatória simples está apenas tentando marcar todas as amostras de teste como uma classe majoritária. Algumas boas respostas sobre subamostragem e …
Dados multiclasses desbalanceados com o XGBoost
Eu tenho 3 classes com esta distribuição: Class 0: 0.1169 Class 1: 0.7668 Class 2: 0.1163 E eu estou usando xgboostpara classificação. Eu sei que existe um parâmetro chamado scale_pos_weight. Mas como ele é tratado no caso 'multiclass' e como posso defini-lo corretamente?
19 classification xgboost multiclass-classification unbalanced-classes
Quais são as implicações para o treinamento de um Tree Ensemble com conjuntos de dados altamente tendenciosos?
Eu tenho um conjunto de dados binários altamente tendencioso - tenho 1000x mais exemplos da classe negativa do que a classe positiva. Gostaria de treinar um conjunto de árvores (como árvores aleatórias extras ou uma floresta aleatória) nesses dados, mas é difícil criar conjuntos de dados de treinamento que contenham …
14 machine-learning feature-selection unbalanced-classes
Como você aplica o SMOTE na classificação de texto?
Técnica de superamostragem de minoria sintética (SMOTE) é uma técnica de superamostragem usada em um problema de conjunto de dados desequilibrado. Até agora, tenho uma ideia de como aplicá-lo em dados estruturados genéricos. Mas é possível aplicá-lo no problema de classificação de texto? Qual parte dos dados você precisa exagerar? …
13 unbalanced-classes text smote
Classes desequilibradas - Como minimizar os falsos negativos?
Eu tenho um conjunto de dados que possui um atributo de classe binária. Existem 623 casos com classe +1 (câncer positivo) e 101.671 casos com classe -1 (câncer negativo). Eu tentei vários algoritmos (Naive Bayes, Random Forest, AODE, C4.5) e todos eles têm taxas de falso-negativos inaceitáveis. A Random Forest …
Classe desequilibrada: class_weight para algoritmos ML no Spark MLLib
No python sklearn, existem vários algoritmos (por exemplo, regressão, floresta aleatória ... etc.) que possuem o parâmetro class_weight para manipular dados desequilibrados. No entanto, não encontro esse parâmetro para os algoritmos MLLib. Existe um plano de implementar class_weight para algum algoritmo MLLib? Ou existe alguma abordagem no MLLib para dados …
8 machine-learning apache-spark unbalanced-classes weighted-data
Treinar / Test Split após executar SMOTE
Como estou lidando com dados altamente desequilibrados, usei o algoritmo SMOTE para reamostrar o conjunto de dados. Após a reamostragem do SMOTE, dividi o conjunto de dados reamostrado em conjuntos de treinamento / teste, usando o conjunto de treinamento para criar um modelo e um conjunto de testes para avaliar …
Como corrigir o desequilíbrio de classe na amostra de treinamento?
Recentemente, fui entrevistado em uma entrevista de emprego sobre soluções para corrigir um desequilíbrio de classes no conjunto de dados de treinamento. Vamos nos concentrar em um caso de classificação binária. Ofereci duas soluções: superamostrar a classe minoritária alimentando lotes de dados equilibrados do classificador ou particionando a classe abundante, …
7 training unbalanced-classes class-imbalance
Treinamento e teste do AdaBoost para classificação de baixa probabilidade
Eu tenho um conjunto de dados que quero classificar como fraude / não fraude e tenho muitos alunos fracos. Minha preocupação é que haja muito mais fraude do que não fraude; portanto, meus alunos fracos têm desempenho melhor que a média, mas nenhum desempenho melhor que 50% no conjunto completo. …