在机器学习中,要做的核心工作之一就是根据实际问题,定义出一个目标函数,接着找到这个目标函数的最优解。 在找这个最优解的过程中,你可能会生不如死~
但是,上帝关上了你的门,总会给你打开一扇窗~
有一类问题叫做凸优化问题,我们可以比较有效的找到全局最优解。
这就是今天我们就来介绍的主角——凸优化。
话不多说,先来看一下相关的一些定义。
1、凸函数
若 是凸函数,(如 )则函数图像位于凸函数上方的区域构成凸集。
有:
正式定义:
(1)若函数 的定义域 为凸集,且满足
则有:
(2)若函数 一阶可微,则函数 为凸函数当且仅当 的定义域domf为凸集,且:
(3)若函数 二阶可微,则函数 为凸函数当且仅当 的定义域domf为凸集,且:
若 是一元函数,上式表示二阶导大于等于零。
若 是多元函数,上式表示二阶导 矩阵半正定。
凸函数的举例:
指数函数:
幂函数: 或
负对数函数:
负熵函数:
范数函数:
最大值函数:
指数线性函数:
最大值函数:
指数线性函数:
2、仿射集
若通过集合 中任意两个不同点的直线仍然在集合 内,则称集合 为仿射集。
,
则
直线,平面和超平面都属于仿射集: 维空间的 -1维仿射集为 -1维超平面。
3、凸集
集合 内任意两点间的线段均在集合 内,则称集合 为凸集:
,
则
,
则
一般来说,仿射集的要求更高,仿射集必然是凸集,凸集未必是仿射集。
4、分割超平面
设 和 是两个不相交的凸集,则存在超平面 , 可以将 和 分离。
有: ,
且
5、支持超平面
设集合 , 为 边界上的点。 若存在 ,满足对任意 ,都有 成立,则称超平面 为集合 在点 处的支撑超平面。
凸集边界上任意一点,均存在支撑超平面。 反之,若一个闭的非中空(内部点不为空)集合,在边界上的任意一点存在支撑超平面,则该集合为凸集。
以上就是凸优化相关知识的一些定义啦。 下面给大家介绍一下Jensen不等式。 Jensen不等式(Jensen's inequality)是以丹麦数学家Johan Jensen命名的,它在概率论、机器学习、测度论、统计物理等领域都有相关应用。 不等式相当于把凸函数的概念反过来说,即是如果 是一个凸函数,任意取一个在 定义域上的 点,
若 是凸函数,有 :
有
若
若
1、利用 是凸函数,证明: 。
提示: 任取 代入基本 不等式。
2、利用 ( 是凸函数),证明下式 。 其中,
证明:
注意到 在定义域上是凸函数,则:
=0
好了,以上就是本期的分享啦,凸优化,我们下期再会,未完待续。
。
。
。
如果你觉得内容还不错~
可以点一下“在看”
或上github帮我们“star”一下~
最后如果你觉得内容还不错,欢迎安利给你的各个小伙伴~