# 一、感知机的概念

感知机是一种二类分类的线性模型，输入实例的特征向量，输出为实例的类别，即+1或者-1。感知机模型是神经网络和支持向量机的基础。

假设特征为

，类标签为

，由特征到类标签的映射可以表示为

# 二、感知机模型的训练

## 1、目标函数

为了能够正确的对实例分类，我们的目标是能够求出分隔超平面，即求出参数

。在这里，分隔超平面存在的前提是数据集是线性可分的。

在训练参数

；类似的，当

。一个点到平面之间的距离公式为

，有

，因此误分类点到分隔超平面之间的距离为

，则对于误分类点集合

，感知机的损失函数为

。我们可以使用梯度下降法求解这样的最小化问题。（梯度下降法），在这里我们采用梯度下降法的改进算法：随机梯度下降法。

## 2、感知机的训练过程

• 随机选取权重和偏置的初值

• 随机选取初始实例
• 如果

• 转至2，直到训练集中没有误分类点。

# 三、实例

选自《统计学习方法》，训练集为：正实例点是

，负实例点是

MATLAB代码

%读入数据
x=[3,3;4,3;1,1];
y=[1;1;-1];

%--初始化w和b
w = [0,0];
b = 0;
a = 1;%步长

%--选择未能初始化的点
flag = 0;

i = 1;
while flag~=1
while i <= 3
t = y(i)*(w*x(i,:)'+b);
if t <= 0
w = w + a*y(i,:)*x(i,:);
b = b + a*y(i,:);
i = 1;%重置i
break;
else
i = i+1;
end
if i == 4
flag = 1;
end
end
end
%画出分隔线
hold on
axis([0 5 0 5]);%axis一般用来设置axes的样式，包括坐标轴范围，可读比例等
for j = 1:3
plot(x(j,1),x(j,2),'.');
m(1,j) = (-b-w(1)*j)./(w(2));
end
j = 1:3;
plot(j,m);

297 篇文章59 人订阅

### 我来说两句

0 条评论
{"ft_lang_label":"__label__zh","ft_lang_prob":0.8850877,"math_prob":0.9996512,"size":999,"snap":"2019-26-2019-30","text_gpt3_token_len":814,"char_repetition_ratio":0.07537688,"word_repetition_ratio":0.0,"special_character_ratio":0.36236235,"punctuation_ratio":0.20179372,"nsfw_num_words":0,"has_unicode_error":false,"math_prob_llama3":0.980491,"pos_list":[0,1,2],"im_url_duplicate_count":[null,null,null],"WARC_HEADER":"{\"WARC-Type\":\"response\",\"WARC-Date\":\"2019-07-16T16:26:44Z\",\"WARC-Record-ID\":\"<urn:uuid:2af58116-4bfe-4c9d-95f7-b309de6e2213>\",\"Content-Length\":\"59967\",\"Content-Type\":\"application/http; msgtype=response\",\"WARC-Warcinfo-ID\":\"<urn:uuid:a78bfce1-34de-4744-b256-a8ef479d6496>\",\"WARC-Concurrent-To\":\"<urn:uuid:d806ddb4-c213-46bf-a4d9-08d1841f9d47>\",\"WARC-IP-Address\":\"119.28.39.127\",\"WARC-Target-URI\":\"https://cloud.tencent.com/developer/article/1396216\",\"WARC-Payload-Digest\":\"sha1:UUKXFZZCLYGYSPO4QGTIFBOENITE3SVN\",\"WARC-Block-Digest\":\"sha1:JKCLCOFLR2SUOYAFUGJM5MSLO6QUV5YF\",\"WARC-Identified-Payload-Type\":\"text/html\",\"warc_filename\":\"/cc_download/warc_2019/CC-MAIN-2019-30/CC-MAIN-2019-30_segments_1563195524679.39_warc_CC-MAIN-20190716160315-20190716182315-00218.warc.gz\"}"}