CS229 Machine Learning - Logistic Regression

From regression to classification: logistic regression model, sigmoid function, and multi-class classification.

我们接下来将视角转向分类问题，分类问题与回归问题类似，区别在于需要预测的目标变量只能取有限的离散值。

通常， $0$ 被称为负类， $1$ 被称为正类，有时也用符号”-“和”+“表示。

逻辑回归#

首先，由于 $y$ 只能取 $\{0, 1\}$ 中的值，模型的输出 $h_{\theta}(x)$ 取大于 $1$ 或小于 $0$ 的值是没有意义的。

我们将选择

h_{\theta}(x) = g(\theta^T x) = \frac{1}{1 + e^{-\theta^T x}}

其中

g(z) = \frac{1}{1 + e^{-z}}

称为逻辑函数或 S 形函数。

对于 $K$ 个类别，可以训练 $K$ 个 one-vs-all 分类器，分别判断样本是否属于某一类；也可以直接使用 softmax：

p(y=k\mid x)=\frac{\exp(\theta_k^Tx)}{\sum_{j=1}^{K}\exp(\theta_j^Tx)}.

对应的交叉熵损失为

J(\Theta)=-\frac{1}{m}\sum_{i=1}^{m}\sum_{k=1}^{K}1\{y^{(i)}=k\}\log p(y=k\mid x^{(i)}).

预测时选择概率最大的类别即可。softmax 的优点是所有类别共享同一个归一化分布，输出可以直接解释为各类别的相对概率。

CS229 Machine Learning - Logistic Regression

https://muxincg2004.github.io/blog/cs229-lecture2

Author Ziheng Zhang

Published at March 2, 2026

CS229 Machine Learning - Linear Regression

CS229 Machine Learning - Generalized Linear Models