半正定核函数有哪些

半正定核函数有特征向量内积的平方。

对于半正定矩阵来说，相应的条件应改为所有的主子式非负。顺序主子式非负并不能推出矩阵是半正定的。通常定义为空间中任一点x到某一中心xc之间欧氏距离的单调函数，可记作 k（||x-xc||）， 其作用往往是局部的，即当x远离xc时函数取值很小。

函数的近代定义

是给定一个数集A，假设其中的元素为x，对A中的元素x施加对应法则f，记作f（x），得到另一数集B，假设B中的元素为y，则y与x之间的等量关系可以用y=f（x）表示，函数概念含有三个要素：定义域A、值域B和对应法则f。其中核心是对应法则f，它是函数关系的本质特征。

可以理解为海森矩阵就是多维度的二阶导，正定就是二阶导大于0，半正定就是二阶导大于等于0。

凸函数是数学函数的一类特征。凸函数就是一个定义在某个向量空间的凸子集C（区间）上的实值函数。

凸函数是指一类定义在实线性空间上的函数。 

注意：中国大陆数学界某些机构关于函数凹凸性定义和国外的定义是相反的。Convex Function在某些中国大陆的数学书中指凹函数。

Concave Function指凸函数。但在中国大陆涉及经济学的很多书中，凹凸性的提法和其他国家的提法是一致的，也就是和数学教材是反的。

总结如下：

举个例子，同济大学高等数学教材对函数的凹凸性定义与本条目相反，本条目的凹凸性是指其上方图是凹集或凸集，而同济大学高等数学教材则是指其下方图是凹集或凸集，两者定义正好相反。

另外，也有些教材会把凸定义为上凸，凹定义为下凸。碰到的时候应该以教材中的那些定义为准。

前面已经分别介绍了基于硬间隔最大化的线性可分支持向量机、基于软间隔最大化的线性支持向量机，这次来总结下使用核函数来解决非线性可分问题的非线性支持向量机。

对于非线性可分问题，我们本着简化问题的思想，自然是希望将其转化为熟悉的线性可分问题进行处理，那么怎么做呢？对于一个在样本的原始空间中不是线性可分的数据，如下左图中的红色样本点和蓝色样本点，如果想要进行分类的话，可以将数据映射到更高维的特征空间中，如果映射的合适的话，就能找到一个超平面将数据分类，如下右图所示：

这种做法是特例还是可以普遍使用的呢？《机器学习》书上说：

不过书上并没有解释原因，我们先从低维直观的理解一下，如下图所示：在一维线性不可分的数据，可以映射成在二维线性可分的，在二维线性不可分的数据，可以映射成在三维线性可分的：

在更高的维度也适用吗？实际上，这个论点在理论上是有证明的，即 Cover定理 ，Cover定理可以理解为：当空间的维数D越大时，在该空间的N个数据点间的线性可分的概率就越大。如果固定数据的数量N，维度D小于数据数量N时，特征空间维度越高，越有可能使数据线性可分；在维度超过数据数量时，数据一定线性可分（试想如果我们把每个数据点都映射到不同的坐标轴上，那么可不就是线性可分的了么）。

因此，我们对非线性可分的数据，可以将数据映射至高维空间，然后再用我们熟悉的线性分类器来分类，至此，剩下的问题就是怎么映射呢？这就需要核函数登场了。

核函数是一个广泛使用的技术，事实上它比支持向量机出现的更早，它可以将一个空间的向量映射到另一个空间，刚好符合我们解决非线性可分问题的需求， 核函数定义 ：

核函数的一大优势就是，它通过定义函数 来隐式的定义映射 ，一般来说，直接计算函数 是比较容易的，因为它是在原始低维度进行的，而通过 计算是很困难的，因为 是高维的，甚至是无穷维的。

既然核函数这么棒，那怎么获得一个核函数呢？或者说怎么判断一个函数是不是核函数？通常我们所说的核函数都是正定核函数， 正定核函数的充要条件：

有了这个定义，理论上我们可以构造出核函数，不过对非常困难，因为要保证任意输入的Gram矩阵都要是半正定矩阵，所以在实际使用中，我们一般使用前辈们总结好的常用核函数。

证明：

根据定义，核函数的映射涉及从欧氏空间到希尔伯特空间的转化，其过程是怎样的呢？如果我们在Gram矩阵是半正定的条件下，把这个映射过程推出来不就相当于证明了上述定理的充分性了吗~

前提： 是对称函数、 是半正定矩阵

除去对应的基底，将其表示为希尔伯特空间的向量（一个函数可以看成一个无穷维的向量，空间中的任何一个函数都可以表示为一组正交基的线性组合）：

计算二者内积：

也就是核函数定义中的：

至此就证明了上述定理的充分性，至于必要性，求出Gram矩阵就可以证明，比较简单就不说了。

这个特性叫做 再生性（reproducing property） ，所以这个空间叫做 再生核希尔伯特空间(RKHS, reproducing kernel Hilbert space) 。

对定义的低维度到高纬度的映射 来说，我们不需要知道这个映射是什么就可以计算得到高维的内积 ，这就是SVM中使用的 核技巧 。

上述核函数及证明中出现较多的各种数学空间，如果不熟悉的话可以看文末的附录，对各种空间的关系有一个大致的展示。

使用线性核函数跟不使用核函数是一样的，还是无法处理非线性可分问题的，不过从这个角度出发，我们可以把 线性可分SVM看作非线性不可分SVM的使用线性核函数的特例 。

SVM中也称为径向基核函数（Radial Basis Function,RBF），是非线性支持向量机中最常用的核函数：

因为在映射后的高维空间中，支持向量机还是在解决线性可分的数据，所以原理、目标函数什么的都跟之前是一样的，只是最终的形式上有所不同，最终可得非线性支持向量机模型：

非线性支持向量机的算法过程：

核函数的引入大大提升了支持向量机的应用范围，使得其在非线性可分问题上也有了很好的分类表现，而且核技巧使得隐式的高维映射成为可能，使用起来也非常便捷。

还记得我们在 逻辑回归 中针对非线性可分问题说过：

所以相对于逻辑回归等线性分类器来说，SVM具有很大的优势，这也是SVM在过去几十年里流行的主要原因之一，其优美的数学推导也让很多学者非常喜欢，不过随着近几年集成学习、神经网络的兴起和数据量的爆炸性增长，SVM也慢慢的不再那么流行了，不过其在特定问题上仍然是一个很有魅力的算法，值得大家掌握。

现在三种SVM都写完了，来总结一下SVM的优缺点吧：

数学空间：数学中的空间的组成包括两个部分：研究的对象和内在的规则，或者叫做元素和结构。

考研数学必备知识点总结

　 摘要

　提醒考生，在最后冲刺阶段，一定要学会思考着去做题。大家都有过的经历就是题明明都做过，但是再遇到还是不会做！这就是很多同学存在的通病——不求甚解。总以为不会做了，看看答案就会了，并不会认真的思考为什么不会，解题技巧是什么，和它同类型的题我能不能会做等等。其实，这些都是很重要的，要学着思考，学着“记忆”，最重要的是要会举一反三，这样，我们才能脱离题海的浮沉，做到有效做题，高效提升！

　 高等数学部分

　第一章 函数、极限与连续

　1、函数的有界性

　2、极限的定义（数列、函数）

　3、极限的性质（有界性、保号性）

　4、极限的计算（重点）（四则运算、等价无穷小替换、洛必达法则、泰勒公式、重要极限、单侧极限、夹逼定理及定积分定义、单调有界必有极限定理）

　5、函数的连续性

　6、间断点的类型

　7、渐近线的计算

　第二章 导数与微分

　1、导数与微分的定义（函数可导性、用定义求导数）

　2、导数的计算（“三个法则一个表”：四则运算、复合函数、反函数，基本初等函数导数表；“三种类型”：幂指型、隐函数、参数方程；高阶导数）

　3、导数的应用（切线与法线、单调性（重点）与极值点、利用单调性证明函数不等式、凹凸性与拐点、方程的根与函数的零点、曲率（数一、二））

　第三章 中值定理

　1、闭区间上连续函数的性质（最值定理、介值定理、零点存在定理）

　2、三大微分中值定理（重点）（罗尔、拉格朗日、柯西）

　3、积分中值定理

　4、泰勒中值定理

　5、费马引理

　第四章 一元函数积分学

　1、原函数与不定积分的定义

　2、不定积分的计算（变量代换、分部积分）

　3、定积分的定义（几何意义、微元法思想（数一、二））

　4、定积分性质（奇偶函数与周期函数的积分性质、比较定理）

　5、定积分的计算

　6、定积分的应用（几何应用：面积、体积、曲线弧长和旋转面的面积（数一、二），物理应用：变力做功、形心质心、液体静压力）

　7、变限积分（求导）

　8、广义积分（收敛性的判断、计算）

　第五章 空间解析几何（数一）

　1、向量的运算（加减、数乘、数量积、向量积）

　2、直线与平面的方程及其关系

　3、各种曲面方程（旋转曲面、柱面、投影曲面、二次曲面）的求法

　第六章 多元函数微分学

　1、二重极限和二元函数连续、偏导数、可微及全微分的定义

　2、二元函数偏导数存在、可微、偏导函数连续之间的关系

　3、多元函数偏导数的计算（重点）

　4、方向导数与梯度

　5、多元函数的极值（无条件极值和条件极值）

　6、空间曲线的切线与法平面、曲面的切平面与法线

　第七章 多元函数积分学（除二重积分外，数一）

　1、二重积分的`计算（对称性（奇偶、轮换）、极坐标、积分次序的选择）

　2、三重积分的计算（“先一后二”、“先二后一”、球坐标）

　3、第一、二类曲线积分、第一、二类曲面积分的计算及对称性（主要关注不带方向的积分）

　4、格林公式（重点）（直接用（不满足条件时的处理：“补线”、“挖洞”），积分与路径无关，二元函数的全微分）

　5、高斯公式（重点）（不满足条件时的处理（类似格林公式））

　6、斯托克斯公式（要求低；何时用：计算第二类曲线积分，曲线不易参数化，常表示为两曲面的交线）

　7、场论初步（散度、旋度）

　第八章 微分方程

　1、各类微分方程（可分离变量方程、齐次方程、一阶线性微分方程、伯努利方程（数一、二）、全微分方程（数一）、可降阶的高阶微分方程（数一、二）、高阶线性微分方程、欧拉方程（数一）、差分方程（数三））的求解

　2、线性微分方程解的性质（叠加原理、解的结构）

　3、应用（由几何及物理背景列方程）

　第九章 级数（数一、数三）

　1、收敛级数的性质（必要条件、线性运算、“加括号”、“有限项”）

　2、正项级数的判别法（比较、比值、根值，p级数与推广的p级数）

　3、交错级数的莱布尼兹判别法

　4、绝对收敛与条件收敛

　5、幂级数的收敛半径与收敛域

　6、幂级数的求和与展开

　7、傅里叶级数（函数展开成傅里叶级数，狄利克雷定理）

　 线性代数部分

　第一章 行列式

　1、行列式的定义

　2、行列式的性质

　3、特殊行列式的值

　4、行列式展开定理

　5、抽象行列式的计算

　第二章 矩阵

　1、矩阵的定义及线性运算

　2、乘法

　3、矩阵方幂

　4、转置

　5、逆矩阵的概念和性质

　6、伴随矩阵

　7、分块矩阵及其运算

　8、矩阵的初等变换与初等矩阵

　9、矩阵的等价

　10、矩阵的秩

　第三章 向量

　1、向量的概念及其运算

　2、向量的线性组合与线性表出

　3、等价向量组

　4、向量组的线性相关与线性无关

　5、极大线性无关组与向量组的秩

　6、内积与施密特正交化

　7、n维向量空间（数学一）

　第四章 线性方程组

　1、线性方程组的克莱姆法则

　2、齐次线性方程组有非零解的判定条件

　3、非齐次线性方程组有解的判定条件

　4、线性方程组解的结构

　第五章 矩阵的特征值和特征向量

　1、矩阵的特征值和特征向量的概念和性质

　2、相似矩阵的概念及性质

　3、矩阵的相似对角化

　4、实对称矩阵的特征值、特征向量及其相似对角矩阵

　第六章 二次型

　1、二次型及其矩阵表示

　2、合同变换与合同矩阵

　3、二次型的秩

　4、二次型的标准型和规范型

　5、惯性定理

　6、用正交变换和配方法化二次型为标准型

　7、正定二次型及其判定

　 概率论与数理统计部分

　第一章 随机事件和概率

　1、随机事件的关系与运算

　2、随机事件的运算律

　3、特殊随机事件（必然事件、不可能事件、互不相容事件和对立事件）

　4、概率的基本性质

　5、随机事件的条件概率与独立性

　6、五大概率计算公式（加法、减法、乘法、全概率公式和贝叶斯公式）

　7、全概率公式的思想

　8、概型的计算（古典概型和几何概型）

　第二章 随机变量及其分布

　1、分布函数的定义

　2、分布函数的充要条件

　3、分布函数的性质

　4、离散型随机变量的分布律及分布函数

　5、概率密度的充要条件

　6、连续型随机变量的性质

　7、常见分布（0-1分布、二项分布、几何分布、超几何分布、泊松分布、均匀分布、指数分布、正态分布）

　8、随机变量函数的分布（离散型、连续型）

　第三章 多维随机变量及其分布

　1、二维离散型随机变量的三大分布（联合、边缘、条件）

　2、二维连续型随机变量的三大分布（联合、边缘和条件）

　3、随机变量的独立性（判断和性质）

　4、二维常见分布的性质（二维均匀分布、二维正态分布）

　5、随机变量函数的分布（离散型、连续型）

　第四章 随机变量的数字特征

　1、期望公式（一个随机变量的期望及随机变量函数的期望）

　2、方差、协方差、相关系数的计算公式

　3、运算性质（期望、方差、协方差、相关系数）

　4、常见分布的期望和方差公式

　第五章 大数定律和中心极限定理

　1、切比雪夫不等式

　2、大数定律（切比雪夫大数定律、辛钦大数定律、伯努利大数定律）

　3、中心极限定理（列维—林德伯格定理、棣莫弗—拉普拉斯定理）

　第六章 数理统计的基本概念

　1、常见统计量（定义、数字特征公式）

　2、统计分布

　3、一维正态总体下的统计量具有的性质

　4、估计量的评选标准（数学一）

　5、上侧分位数（数学一）

　第七章 参数估计

　1、矩估计法

　2、最大似然估计法

　3、区间估计（数学一）

　第八章 假设检验（数学一）

　1、显著性检验

　2、假设检验的两类错误

　3、单个及两个正态总体的均值和方差的假设检验

　专业课想冲刺一下？点击这里，学长学姐等着你呢。

　（实习编辑：林小婷）

;

1令A为 n阶对称矩阵，若对任意n维向量x都有x-1Ax ＞0(≥0)则称A为正定矩阵

2简称哈氏方程,由2n个方程,加上2n个坐标和动量密度的初值,可解出2n个未知坐标和动量密度

3即特征值

Aξ=λξ,在A变换的作用下，向量ξ仅仅在尺度上变为原来的λ倍。称ξ是A 的一个特征向量，λ是对应的特征值（本征值）。

4一个天体绕另一个天体接二体问题的规律运动时,因受别的天体的吸引或其他因素的影响,在轨道上产生的偏差,这些作用与中心体的引力相比是很小的，因此称为摄动。天体在摄动作用下，其坐标、速度或轨道要素都产生变化，这种变化成分称为摄动项。例如,月球绕地球运动时受到太阳和其他行星吸引以及地球形状的影响,偏离按二体问题规律运动的轨道,而发生摄动类似摄动的概念,在物理学中称为"微扰"。

5所谓耗散系统就是指一个远离平衡态的开放系统（力学的、物理的、化学的、生物的、社会的等等）通过不断地与外界交换物质和能量，在外界条件的变化达到一定阈值时，就有可能从原有的混沌无序状态过渡到一种在时间上、空间上或功能上有序的规范状态，这样的新结构就是耗散结构，或称为耗散系统。

耗散系统具有真真意义上的时间单向性。时间变成了不可逆的矢量，单向流逝，一去不返。行为与时间不可分割地熔铸在一起，一起构成了不可逆转的单向过程。这才是时间的真真意义。就象一个鸡蛋孵小鸡，一旦孵出小鸡，它就不可能再变回一个鸡蛋了，无论你想什么办法都不行。

我们生存的宇宙是一个我们现在能感知的最大的耗散系统，所以在宇宙中的万事万物都被打上了时间的烙印，不可能再重现历史。许多描写时间旅行的小说或**，在我看来不能被成为科幻小说或**，应该被成为神话小说或**。

6李雅普诺夫意义下的稳定性 指对系统平衡状态为稳定或不稳定所规定的标准。主要涉及稳定、渐近稳定、大范围渐近稳定和不稳定。

①稳定 用 S(ε)表示状态空间中以原点为球心以ε为半径的一个球域，S(δ)表示另一个半径为 δ的球域。如果对于任意选定的每一个域S(ε),必然存在相应的一个域S(δ)，其中δ＜ε，使得在所考虑的整个时间区间内，从域 S(δ)内任一点 x0出发的受扰运动φ(t；x0，t0)的轨线都不越出域S(ε)，那么称原点平衡状态 xe＝0是李雅普诺夫意义下稳定的。

②渐近稳定 如果原点平衡状态是李雅普诺夫意义下稳定的,而且在时间t趋于无穷大时受扰运动φ(t；x0，t0)收敛到平衡状态xe=0,则称系统平衡状态是渐近稳定的。从实用观点看，渐近稳定比稳定重要。在应用中，确定渐近稳定性的最大范围是十分必要的，它能决定受扰运动为渐近稳定前提下初始扰动x0的最大允许范围。

③大范围渐近稳定 又称全局渐近稳定，是指当状态空间中的一切非零点取为初始扰动x0时，受扰运动φ(t；x0，t0)都为渐近稳定的一种情况。在控制工程中总是希望系统具有大范围渐近稳定的特性。系统为全局渐近稳定的必要条件是它在状态空间中只有一个平衡状态。

④不稳定 如果存在一个选定的球域S(ε)，不管把域S(δ)的半径取得多么小，在S(δ)内总存在至少一个点x0，使由这一状态出发的受扰运动轨线脱离域 S(ε),则称系统原点平衡状态xe＝0是不稳定的。

在概率论中，任何随机变量的特征函数(缩写：chf,复数形式：chf's)完全定义了它的概率分布。在实直线上，它由以下公式给出，其中X是任何具有该分布的随机变量：

其中t是一个实数，i是虚数单位，E表示期望值。

用矩母函数MX（t）来表示（如果它存在），特征函数就是iX的矩母函数，或X在虚数轴上求得的矩母函数。

与矩母函数不同，特征函数总是存在。

如果FX是累积分布函数，那么特征函数由黎曼-斯蒂尔切斯积分给出：

如果随机变量的概率密度函数存在，概率密度函数为，上述积分可以简化为：

其中

 

是随机变量X的概率密度函数。

如果X是一个向量值随机变量，我们便取自变量t为向量，tX为数量积。

反演定理

在累积概率分布函数与特征函数之间存在双射。也就是说，两个不同的概率分布不能有相同的特征函数。

给定一个特征函数φ，可以用以下公式求得对应的累积概率分布函数F：

 

。

一般地，这是一个广义积分；被积分的函数可能只是条件可积而不是勒贝格可积的，也就是说，它的绝对值的积分可能是无穷大。 [2] 

博赫纳-辛钦定理/公理化定义

任意一个函数

 

是对应于某个概率律

 

的特征函数，当且仅当满足以下三个条件：

 

是连续的；

 

；

 

是一个正定函数（注意这是一个复杂的条件，与

 

不等价）。

计算性质

特征函数对于处理

特征函数对于处理独立随机变量的函数特别有用。例如，如果X1、X2、……、Xn是一个独立（不一定同分布）的随机变量的序列，且

其中ai是常数，那么Sn的特征函数为：

特别地，

 

。这是因为：

 

。

注意我们需要

 

和

 

的独立性来确立第三和第四个表达式的相等性。

另外一个特殊情况，是

 

且

 

为样本平均值。在这个情况下，用

 

表示平均值，我们便有：

 

。

李雅普诺夫第二法中的V(x)选择：考虑一个函数V(x):R→R使得 只有在处等号成立（正定函数） （负定） 则V(x)称为李雅普诺夫候选函数（Lyapunov function candidate），且系统（依李雅普诺夫的观点）为渐近稳定。

A，B是t的函数，都是列向量，P是相应维数的常数矩阵。(A'PB)求导=A'[(PB)求导]+(PB)'(A''求导)=A'PB导数+B'P'A导数。带入Lyapunov函数状态X，就是(X'PX)求导=X'PX导数+X'P'X导数=X'(P+P')X导数。

它们的直观几何意义是：

平衡点为李雅普诺夫稳定的，表示若动力系统状态函数（微分方程的解函数）的初值“足够接近”平衡点，则它会永远维持在平衡点附近任意小的范围里。渐近稳定的意思是，初值足够接近平衡点的状态函数，不但维持在平衡点附近，而且最后会收敛到平衡点。