﻿ 小样本不平衡设备数据下的机器学习策略研究
 上海理工大学学报 2022, Vol. 44 Issue (4): 407-416 PDF

Machine learning strategy under small sample unbalanced equipment data
CHEN Yang , LIU Qinming , LIANG Yaoxu
Business School, University of Shanghai for Science & Technology, Shanghai 200093, China
Abstract: Aiming at the problem of equipment life prediction with insufficient sample size and unbalanced distribution of small sample data, a joint optimization model based on improved smote algorithm and improved KNN (K-Nearest Neighbor) algorithm was constructed. First, the noise scale factor β was set to eliminate the noise in the sample data. Then, an improved smote (ISMOTE) was built through the combination of B-SMOTE (Borderline-SMOTE) algorithm and traditional SMOTE algorithm to add and optimize a few samples with distribution problems, so as to avoid the deviation caused by unbalanced sample distribution and small number of samples. Secondly, for the sample points with fuzzy boundary in the classification process, the particle swarm optimization algorithm was used to find the center point of each sample type and calculate the mean value of sample distance to establish the separation threshold $\bar d$ . For the sample points within the threshold range, the "voting method" was used to judge the sample type, so as to avoid the error caused by the mixing of different kinds of samples in the KNN algorithm. Finally, through the simulation using the state data of caterpillar hydraulic pump and the vibration data of hydraulic guide bearing of Lingjintan hydropower station, the numerical examples show that the above two improved algorithms can accurately analyze the equipment operation state and predict the future healthy development trend of equipment in the face of small sample unbalanced equipment data.
Key words: machine learning     life prediction     small sample     KNN algorithm     SMOTE algorithm

SMOTE (synthetic minority oversampling technique)算法是目前适用较多的合成少数类过采样技术，它是基于随机过采样算法的一种改进方案。由于随机过采样采取简单复制样本的策略来增加少数类样本，这样容易产生模型过拟合的问题，即使得模型学习到的信息过于特别而不够泛化。SMOTE算法的基本思想是对少数类样本进行分析，并根据少数类样本人工合成新样本添加到数据集中。SMOTE算法本身也存在很多问题，首先邻近值的选择难以确定，同时面对异常值以及不平衡数据分布的时候表现并不理想。针对以上问题，Han等提出了一种Borderline-SMOTE算法，目前这也是最广为人接受的改进算法。杨赛华等在此基础上提出了一种BN-SMOTE改进算法，利用最近邻思想构建处于决策边界附近的多数类样本集，再一次确定边界区域难以学习的少数类样本点从而构建一个新的少数类样本集。杨毅等在Han 的研究基础上提出了一种RB-SMOTE的改进模型，通过合成不平衡率不一的多个新训练样本，组成相应的多个基分类器，再采用投票的方式对测试样本进行分类。Bansal等提出了SMOTE-M算法规避数据不平衡带来的问题。王超学等提出了一种GA-SMOTE算法提高SMOTE面对不平衡数据集的分类性能。以上几种算法均对SMOTE算法进行不同程度的改进，但是，面对多数类样本中存在的噪声的问题并没有进行有效处理，因此，以上几种改进算法并不能很好地对已有数据进行优化。

1 问题描述 图 1 基于ISMOTE-VKNN模型的设备数据分析流程 Fig. 1 Equipment data analysis process based on the ISMOTE-VKNN model
2 改进SMOTE算法 2.1 面向不平衡分类问题的SMOTE算法

SMOTE即合成少数类过采样技术，它是基于随机过采样算法的一种改进方案。由于随机过采样采取简单复制样本的策略来增加少数类样本，SMOTE算法的基本思想是对少数类样本进行分析并根据少数类样本人工合成新样本添加到数据集中，算法流程如下：

a. 对于少数类中每一个样本 $x$ ，以欧氏距离为标准计算它到少数类样本集中所有样本的距离，得到其k个近邻。

b. 根据样本不平衡比例设置一个采样比例以确定采样倍率N，对于每一个少数类样本 $x$ ，从其k个近邻中随机选择若干个样本，假设选择的近邻为 ${x}_{n}$

c. 对于每一个随机选出的近邻xn，分别与原样本按照如下的公式构建新的样本。

 ${x}_{{\rm{new}}} = x + rand\left(\mathrm{0,1}\right)\cdot(\stackrel{～}{x}-x)$ (1)

2.2 ISMOTE算法

 ${\beta }=\frac{{N}_{{\rm{Min}}}}{{N}_{{\rm{Maj}}}}$ (2)

 ${x}_{{\rm{Min}}} ={ {x}_{{\rm{Min}}1,}{x}_{\rm{Min}2,}{x}_{\rm{Min}3,}{x}_{\rm{Min}4,}{x}_{\rm{Min}5,}{x}_{\rm{Min}6,}\dots }$ (3)
 ${x}_{{\rm{Maj}}} ={ {x}_{\rm{Maj}1,}{x}_{\rm{Maj}2,}{x}_{\rm{Maj}3,}{x}_{\rm{Maj}4,}{x}_{\rm{Maj}5,}{x}_{\rm{Maj}6,}\dots }$ (4)

β>α，按照如下公式构建新样本：

 ${x}_{{\rm{new}}} = x + rand\left(\mathrm{0,1}\right)\cdot(\stackrel{～}{x}-x)$ (5)
 $x\in {X}_{{\rm{Min}}}$

 ${d}_{12}=\sqrt{\sum _{k=1}^{n}{({x}_{1k}-{x}_{2k})}^{2}}$ (6)

$d$ < ${d}_{\rm{min}}$ 的样本点集为 ${x}_{i}$ ，则剩下的样本点集为

 ${x}_{}={x}_{{\rm{Min}}} + {x}_{{\rm{new}}} - {x}_{i}$ (7)

a. 若对于任意 ${x}_{}$ ，都有 $d$ < $m$ ，则 ${x}_{}$ = ${x}_{n}$

b. 若对于任意 ${x}_{}$ ，至多50%样本的 $d$ < $m$ ，则 ${x}_{}$ = ${x}_{h}$ ，从中随机抽取部分样本点 ${x}_{i}$ 进行新增处理， ${x}_{i}\in {x}_{h}$ ，抽取比例为25%～50%

c. 若对于任意 ${x}_{}$ ，大于50%样本的 $d$ > $m$ ，则 ${x}_{}$ = ${x}_{u}$ ，采用传统SMOTE算法新增样本。

 ${x}_{{\rm{new}}} = {x}_{i} + rand\left(\mathrm{0,1}\right)\cdot(\stackrel{～}{{x}_{i}}-{x}_{i})$ (8)
 ${x}_{{\rm{new}}} = {x}_{u} + rand\left(\mathrm{0,1}\right)\cdot(\stackrel{～}{{x}_{u}}-{x}_{u})$ (9)

ISMOTE算法流程如图2所示。 图 2 ISMOTE算法流程图 Fig. 2 Flow chart of ISMOTE algorithm

3 VKNN算法 3.1 KNN算法分析

KNN（K- Nearest Neighbor）法即k最邻近法，最初由 Cover和Hart于1968年提出，是一个理论上比较成熟的方法，也是最简单的机器学习算法之一。该方法的思路非常简单直观：如果一个样本在特征空间中的k个最相似（即特征空间中最邻近）的样本中的大多数属于某一个类别，则该样本也属于这个类别。该方法在定类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。KNN算法的核心思想是，如果一个样本在特征空间中的k个最相邻的样本中的大多数属于某一个类别，则该样本也属于这个类别，并具有这个类别上样本的特性。该方法在确定分类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。KNN方法在类别决策时，只与极少量的相邻样本有关。

3.2 VKNN算法

 $\begin{split} {V}_{id} =&\omega {V}_{id} + {C}_{1}random (0,1)( {P}_{id} - {X}_{id} )+\\& {C}_{2}random (0,1)( {P}_{gd} - {X}_{id}) \end{split}$ (10)
 ${X}_{id} = {X}_{id} + {V}_{id}$ (11)

a. 样本点集合为

 $X=\left\{\left({x}_{1},\,{y}_{i}\right),\left({x}_{2},\,{y}_{2}\right),\cdots ,\left({x}_{m},\,{y}_{m}\right)\right\}$ (12)

b. 建立适应度函数为

 $f\left(x,y\right)=\sum _{i=1}^{m}\sqrt{{\left(x-{x}_{i}\right)}^{2}+{\left(y-{y}_{i}\right)}^{2}}$ (13)

c. 根据欧氏距离式(6)对同簇样本点到该种类样本分布中心进行计算，计算出的距离合集 $D=\left\{{d}_{1},{d}_{2},\cdots ,{d}_{m}\right\}$ ，根据式(12)计算同簇样本到中心点距离均值

 $\stackrel-{d}=\frac\sum _{i=1}^{m}{d}_{i}}{m}$ (14)

d. 若 ${d}_{i} <\; \stackrel{-}{d}$ ，则纳入隔离样本集 ${D}_{{\rm{new}}}$

e. 判断 ${D}_{{\rm{new}}}$ 中多数类样本种类并作为最终输出结果。

4 基于ISMOTE-VKNN的算法流程

a. 收集设备状态的数据，将其数据进行预处理后按照2∶1的比例分为训练集与测试集。

b. 根据企业要求确定噪声标准α，计算每个少数类样本的噪声系数β并进行比较，从而选择合适的样本点。

c. 设置距离阈值 ${d}_{{\rm{min}}}$ 并计算少数类样本距离d进行比较，选择合适的样本点。

d. 通过计算k邻近值并判断样本状态选择不同的新增方式。

e. 利用PSO寻找同簇样本中心点并计算 $\overline{d}$

f. 分隔样本点并生成 ${D}_{{\rm{new}}}$

g. 进行投票，输出分类结果。

ISMOTE-VKNN流程图如图3所示。 图 3 ISMOTE-VKNN算法分析流程图 Fig. 3 Flow chart of ISMOTE-VKNN algorithm analysis
5 ISMOTE_VKNN仿真分析 5.1 数据来源

5.2 数据分布 图 4 振动数据点位分布 Fig. 4 Distribution of vibration data points

5.3 ISMOTE算法 表 1 β与阈值α的比较结果 Table 1 Comparison results for β and threshold α 图 5 ISMOTE算法处理后的数据分布 Fig. 5 Data distribution after ISMOTE algorithm processing 图 6 原始异常数据点拟合曲线 Fig. 6 Fitting curve of original abnormal data points 图 7 ISMOTE异常数据点拟合曲线 Fig. 7 Fitting curve of ISMOTE abnormal data points
5.4 VKNN算法 表 2 ISMOTE_VKNN设备数据预测结果 Table 2 Prediction results of equipment data based on ISMOTE_VKNN 表 3 KNN设备数据预测结果 Table 3 Equipment data prediction results based on VKNN 表 4 SVM与ISMOTE_SVM处理结果 Table 4 SVM and ISMOTE_ SVM processing results 表 5 液压泵各算法正确率展示表 Table 5 The correct rate of each algorithm of hydraulic pump 表 6 水导轴承各算法正确率展示表 Table 6 Accuracy display table of hydraulic guide bearing

5.5 剩余寿命预测 图 8 设备数据点RMS监视数据 Fig. 8 RMS monitoring data of equipment data points 图 9 RMS实际值与测试值比较图 Fig. 9 Comparisons of RMS actual value and test value 图 10 水导轴承RUL实际值与测试值比较图 Fig. 10 Comparison between actual RUL value and test value of hydraulic guide bearing

6 结束语

  胡昌华, 施权, 司小胜, 等. 数据驱动的寿命预测和健康管理技术研究进展[J]. 信息与控制, 2017, 46(1): 72-82.  刘文溢, 刘勤明, 叶春明, 等. 基于改进退化隐马尔可夫模型的设备健康诊断与寿命预测研究[J]. 计算机应用研究, 2021, 38(3): 805-810.  曹正志, 叶春明. 考虑转动周期的轴承剩余使用寿命预测[J/OL]. 计算机集成制造系统, 2021: 1–14[2021-10-30]. http://kns.cnki.net/kcms/detail/11.5946.TP.20210702.1723.008.html.  赵凯琳, 靳小龙, 王元卓. 小样本学习研究综述[J]. 软件学报, 2021, 32(2): 349-369.  HAN H, WANG W Y, MAO B H. Borderline-SMOTE: a new over-sampling method in imbalanced data sets learning[C]//Proceedings of International Conference on Intelligent Computing. Hefei: Springer, 2005: 878–887.  杨赛华, 周从华, 蒋跃明, 等. 一种改进的不平衡数据过采样算法BN-SMOTE[J]. 计算机与数字工程, 2020, 48(9): 2108-2113. DOI:10.3969/j.issn.1672-9722.2020.09.007  杨毅, 梅颖. 面向不平衡数据集的一种基于SMOTE的集成学习算法[J]. 丽水学院学报, 2020, 42(5): 64-69. DOI:10.3969/j.issn.2095-3801.2020.05.010  BANSAL A, SAINI M, SINGH R, et al. Analysis of SMOTE: modified for diverse imbalanced datasets under the IoT environment[J]. International Journal of Information Retrieval Research, 2021, 11(2): 15-37. DOI:10.4018/IJIRR.2021040102  王超学, 张涛, 马春森. 面向不平衡数据集的改进型SMOTE算法[J]. 计算机科学与探索, 2014, 8(6): 727-734. DOI:10.3778/j.issn.1673-9418.1403003  张庆. 机械设备状态评估及寿命预测分析[J]. 中国机械, 2016(7): 73-73.  ROYLE J A, DORAZIO R M, LINK W A. Analysis of multinomial models with unknown index using data augmentation[J]. Journal of Computational and Graphical Statistics, 2007, 16(1): 67-85. DOI:10.1198/106186007X181425  古平, 杨炀. 面向不均衡数据集中少数类细分的过采样算法[J]. 计算机工程, 2017, 43(2): 241-247. DOI:10.3969/j.issn.1000-3428.2017.02.040  YADAV K S, SINGHA J. Facial expression recognition using modified Viola-John’s algorithm and KNN classifier[J]. Multimedia Tools and Applications, 2020, 79(19): 13089-13107.  XU Y T, ZHANG Y Q, ZHAO J, et al. KNN-based maximum margin and minimum volume hyper-sphere machine for imbalanced data classification[J]. International Journal of Machine Learning and Cybernetics, 2019, 10(2): 357-368. DOI:10.1007/s13042-017-0720-6  殷小舟. 一种改进的结合K近邻法的SVM分类算法[J]. 中国图象图形学报, 2009, 14(11): 2299-2303. DOI:10.11834/jig.20091117  李欢, 焦建民. 简化的粒子群优化快速KNN分类算法[J]. 计算机工程与应用, 2008, 44(32): 57-59. DOI:10.3778/j.issn.1002-8331.2008.32.017  江涛, 陈小莉, 张玉芳, 等. 基于聚类算法的KNN文本分类算法研究[J]. 计算机工程与应用, 2009, 45(7): 153-155,158. DOI:10.3778/j.issn.1002-8331.2009.07.046  朱军, 胡文波. 贝叶斯机器学习前沿进展综述[J]. 计算机研究与发展, 2015, 52(1): 16-26. DOI:10.7544/issn1000-1239.2015.20140107  姚勇,赵辉,刘志镜.. 一种非线性支持向量机决策树多值分类器[J]. 西安电子科技大学学报, 2007(6): 873-876.  刘秋阁, 何清, 史忠植. 一种新的非线性支持向量机分类算法[C]//中国人工智能学会第12届全国学术年会. 哈尔滨: 中国人工智能学会, 2007.
{"ft_lang_label":"__label__zh","ft_lang_prob":0.90320265,"math_prob":0.99759114,"size":11331,"snap":"2022-40-2023-06","text_gpt3_token_len":9323,"char_repetition_ratio":0.08881434,"word_repetition_ratio":0.011627907,"special_character_ratio":0.25496426,"punctuation_ratio":0.18175979,"nsfw_num_words":0,"has_unicode_error":false,"math_prob_llama3":0.98182607,"pos_list":[0,1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24,25,26,27,28,29,30,31,32,33,34,35,36,37,38,39,40,41,42,43,44,45,46],"im_url_duplicate_count":[null,10,null,10,null,null,null,null,null,8,null,3,null,8,null,1,null,1,null,1,null,1,null,null,null,1,null,1,null,1,null,null,null,null,null,null,null,null,null,null,null,1,null,1,null,1,null],"WARC_HEADER":"{\"WARC-Type\":\"response\",\"WARC-Date\":\"2022-10-01T18:30:40Z\",\"WARC-Record-ID\":\"<urn:uuid:d9bd4742-7b9c-423d-81dd-c83e38d03928>\",\"Content-Length\":\"102300\",\"Content-Type\":\"application/http; msgtype=response\",\"WARC-Warcinfo-ID\":\"<urn:uuid:ff993de7-ba50-443e-8c98-7d3bcc2c094f>\",\"WARC-Concurrent-To\":\"<urn:uuid:f616fa2e-e129-4fb3-bf36-875a6cc14e06>\",\"WARC-IP-Address\":\"202.120.215.161\",\"WARC-Target-URI\":\"https://jns.usst.edu.cn/html/2022/4/20220413.htm\",\"WARC-Payload-Digest\":\"sha1:SJEGIKYWUYXHUEOD2IU6IPKWMXVCCXZX\",\"WARC-Block-Digest\":\"sha1:HYEDA247VQFJMULKZ4L5ZNAQJSWC3YU7\",\"WARC-Identified-Payload-Type\":\"text/html\",\"warc_filename\":\"/cc_download/warc_2022/CC-MAIN-2022-40/CC-MAIN-2022-40_segments_1664030336880.89_warc_CC-MAIN-20221001163826-20221001193826-00299.warc.gz\"}"}