• SVM
  • 函数间隔和几何间隔 (Functional and geometric margin)
  • 最优间隔分类器 (Optimal margin classifier)
  • 拉格朗日对偶问题
    • 原始问题
    • 对偶问题
    • KKT 条件
  • 回到最优间隔分类器问题
  • 核 (Kernels)
  • 正则化
  • SMO 算法
    • 坐标上升算法 (Coordinate ascent)
    • SMO

SVM

CS229 对于 SVM 的理论解释是我学习到的最详细也是最好的一份资料了，对比对象有周志华《机器学习》、《机器学习实战》、Coursera 上的 Machine Learning 等。相当推荐学习 CS229。

分类间隔 (Margin) 和 SVM 的优化目标『最大化分类间隔』这里就不多说了，很好理解，主要还是记录 CS229 中学到的新内容。一个数据点离分类边界 (decision boundary) 越远，则确信度越高。我们的优化目标也相当于寻找一个远离所有数据点的分类边界，当然，前提是这个分类边界得到的分类都正确。

SVM 的一些特殊定义也提及一下，

• \(y\) 的取值不是 \(\{0,1\}\) 而是 \(\{-1,1\}\)。
• 假设函数 \(h_{w,b}(x) = g(w^Tx+b)\) 中，我们把截距项单独写出来，便与后续的计算。
• 我们的分类器输出结果会直接是 1 或 -1，不像 Logistic 回归那样先输出 \(y\) 是某一类的概率。

• 判别式和生成式
  • 判别式
  • 生成式
• Gaussian discriminant analysis
• 讨论：GDA 和 Logistic 回归
• 朴素贝叶斯
  • 拉普拉斯平滑
  • 用于文本分类的事件模型

判别式和生成式

对于一个分类任务，判别式和生成式分别代表了两种不同的思路：

判别式

通过直接从输入数据中学习，得到一个『特定输入对应的实际类别』的概率模型，模型的参数为 \(\theta\) 。即学习建模 \(p(y\mid x)\)

生成式

通过对每一个类进行建模，然后就可以通过条件概率算出输入的数据更可能由哪一类生成。即学习建模 \(p(x\mid y)\) 和 \(p(y)\) ，然后计算 \[\arg\max\limits_y\frac{p(x \mid y)p(y)}{p(x)}\]

并且实际计算中，分母 \(p(x)\) 并不会影响各个类别概率的排序，所以最终简化成 \[\arg\max\limits_y p(x \mid y)p(y)\]

• 广义线性模型 GLM (Generalized Linear Models)
  • 具体步骤
• 优化方法
  • 梯度下降法
  • 牛顿法
• Linear Regression
  • Locally weighted linear regression

广义线性模型 GLM (Generalized Linear Models)

广义线性模型是所学到的 Linear Regression 以及 Logistic Regression 的推广形式（更准确的说，这两种模型都属于 GLM 的特殊情况）。它有三个关键假设(Assumptions)构成:

1. \(y \mid x;\theta\sim ExponentialFamily(\eta)\) ：对于固定的参数 \(\theta\) 以及给定 \(x\)， \(y\) 的分布服从某一指数分布族（如高斯分布、伯努利分布、Softmax分布）
2. 对于给定的 \(x\) ，目标是预测 \(T(y)\) 的值。换一种说法就是，我们定义假设函数 \(h(x) = E[y\mid x]\)
3. natural parameter \(\eta\) 和 输入 \(x\) 是线性相关的， \(\eta = \theta^ \mathrm{ T } x\) （其中，当输入 \(x\) 和 \(\eta\) 是向量的时候， \(\eta_i = \theta_i^ \mathrm{T}x\)）