分类模型(Classification Models) 是监督学习中的另一大核心分支,目标是将输入样本正确地划分到预定义的类别中。与回归模型预测连续值不同,分类模型的输出是 离散的类别标签。
典型的分类任务包括垃圾邮件识别(邮件 → 正常/垃圾)、疾病诊断(患者症状 → 是否患病)、图像识别(图片 → 猫/狗/人)等。
在分类方法中,有的模型通过 概率推断 来进行分类(如逻辑回归、朴素贝叶斯),有的依赖 相似性度量(如 k 最近邻),还有的借助 决策边界与超平面 来完成划分(如支持向量机)。除此之外,树模型和集成方法也在分类问题中表现突出。
1. 逻辑回归
在分类任务中,我们常常希望回答这样的问题:
- 一封邮件是垃圾邮件还是正常邮件?
- 一位患者是否患有某种疾病?
- 一张图片是猫还是狗? 这些问题的本质就是 二分类问题。逻辑回归(Logistic Regression)是解决二分类问题最经典、最常用的方法之一,因其简单高效,被广泛应用于金融风控、医学诊断、自然语言处理等领域。
1.1 逻辑回归的基本思想
与线性回归类似,逻辑回归也尝试通过输入特征的线性组合来预测结果。但不同的是:
- 线性回归直接输出一个连续值;
- 逻辑回归需要输出一个概率(范围在 0 到 1 之间)。 因此,逻辑回归引入了一个 Sigmoid 函数,将线性模型的输出“压缩”到概率空间。
1.2 数学原理
1.Sigmoid 函数
Sigmoid 函数将任意输入映射到 (0,1) 区间,非常适合用于二分类问题。
其中:
- σ(z) 的输出范围在 (0,1)
例如:
- 如果 σ(z)≈0.9,说明样本属于正类的概率高;
- 如果 σ(z)≈0.1,说明样本更可能属于负类。
2.假设函数
逻辑回归的预测函数为:
这里 表示样本 x 属于正类(记为 y=1)的概率。
3.决策规则
最终分类时,逻辑回归采用 阈值法:
4.损失函数
逻辑回归使用 对数似然损失函数(Log Loss):
这个损失函数在概率接近真实标签时惩罚小,偏离时惩罚大,保证模型能更好地拟合概率分布。
直观点理解的话可以把逻辑回归想象成线性回归 + Sigmoid 激活函数,输出的是一个 事件发生的概率,最后通过阈值把概率转化为类别。
如果还不知道什么是激活函数,我在后面的深度学习内容中有讲。
下面依然是实践环节:
import numpy as npimport matplotlib.pyplot as pltfrom sklearn.datasets import make_classificationfrom sklearn.linear_model import LogisticRegressionfrom sklearn.metrics import accuracy_score# 生成二分类数据X, y = make_classification(n_samples=200, n_features=2, n_redundant=0, n_informative=2, random_state=42)# 拟合逻辑回归模型model = LogisticRegression()model.fit(X, y)# 预测y_pred = model.predict(X)print("准确率:", accuracy_score(y, y_pred))# 可视化分类边界x_min, x_max = X[:, 0].min()-1, X[:, 0].max()+1y_min, y_max = X[:, 1].min()-1, X[:, 1].max()+1xx, yy = np.meshgrid(np.linspace(x_min, x_max, 100), np.linspace(y_min, y_max, 100))Z = model.predict(np.c_[xx.ravel(), yy.ravel()])Z = Z.reshape(xx.shape)plt.contourf(xx, yy, Z, alpha=0.3)plt.scatter(X[:, 0], X[:, 1], c=y, edgecolors='k')plt.title("逻辑回归分类结果")plt.show()
运行结果如下,图中不同颜色的区域是逻辑回归划分的类别,数据点根据真实类别着色,可以看到逻辑回归学习到了一条线性决策边界。
简单总结,逻辑回归是一种 线性分类模型,通过 Sigmoid 函数输出概率,使用 对数似然损失 进行优化,简单高效,适合处理二分类问题,同时在高维稀疏数据(如文本分类)中也表现出色。
逻辑回归在金融:信用评分、违约预测,医疗:疾病诊断(如是否患癌症),市场营销:客户是否购买产品,NLP:文本情感分类(积极 / 消极)等方面已经成功实践。但是方法太简单,现在已经没人用了,不过依然是很重要的机器学习知识,所以学学还是有必要的!
2. 朴素贝叶斯
朴素贝叶斯是一类基于贝叶斯定理(Bayes’ Theorem)的概率分类方法。它以“特征条件独立”的假设为基础,因此被称为“朴素”。尽管这个假设在现实中往往过于简化,但在许多实际应用(如文本分类、垃圾邮件过滤、情感分析等)中,朴素贝叶斯依然能够取得令人满意的效果。
其核心思想是:通过训练数据估计每个类别的 先验概率 和 条件概率,在预测时利用贝叶斯公式计算样本属于不同类别的后验概率,并将其分配给概率最大的类别。
2.1 贝叶斯定理回顾
贝叶斯定理的数学形式为:
其中:
- :类别(class)
- :特征向量(feature vector)
- :后验概率(样本属于类别 C 的概率)
- :类条件概率(在类别 C 下观测到 X 的概率)
- :先验概率(类别 C 出现的概率)
- :证据概率(样本 X 出现的概率)
在分类任务中, 对所有类别相同,因此只需比较分子部分:
2.2 朴素独立性假设
朴素贝叶斯的关键假设是:特征之间条件独立。即在给定类别 的条件下,特征 相互独立: 这种简化极大地降低了参数估计的复杂度,否则条件概率的计算会变得不可行。
2.3 朴素贝叶斯分类器的步骤
1. 训练阶段:
- 计算每个类别的先验概率 ;
- 计算在不同类别下每个特征的条件概率 。
2. 预测阶段:
- 对新样本 ,计算每个类别的后验概率:
- 选择概率最大的类别作为预测结果。
2.4 常见的朴素贝叶斯模型
1. 高斯朴素贝叶斯(Gaussian NB)
- 假设特征服从高斯(正态)分布,常用于连续值特征。
- 条件概率形式:
2. 多项式朴素贝叶斯(Multinomial NB)
- 适合特征为计数型的数据,如文本词频。
- 在文本分类(垃圾邮件识别、情感分类)中应用广泛。
3. 伯努利朴素贝叶斯(Bernoulli NB)
- 特征取值为二元(0/1),例如词语是否在文档中出现。
import numpy as npimport matplotlib.pyplot as pltfrom sklearn.datasets import make_classificationfrom sklearn.naive_bayes import GaussianNBfrom sklearn.metrics import accuracy_scoredef naive_bayes_demo(): """ 朴素贝叶斯分类示例函数 """ # 1. 构造二维分类数据 X, y = make_classification( n_samples=200, n_features=2, n_classes=2, n_informative=2, n_redundant=0, random_state=42 ) # 2. 拆分训练集和测试集 train_size = 150 X_train, X_test = X[:train_size], X[train_size:] y_train, y_test = y[:train_size], y[train_size:] # 3. 训练 Gaussian Naive Bayes 模型 model = GaussianNB() model.fit(X_train, y_train) # 4. 测试集预测 y_pred = model.predict(X_test) acc = accuracy_score(y_test, y_pred) print(f"Accuracy: {acc:.2f}") # 5. 可视化分类边界 x_min, x_max = X[:, 0].min() - 1, X[:, 0].max() + 1 y_min, y_max = X[:, 1].min() - 1, X[:, 1].max() + 1 xx, yy = np.meshgrid(np.linspace(x_min, x_max, 200), np.linspace(y_min, y_max, 200)) Z = model.predict(np.c_[xx.ravel(), yy.ravel()]) Z = Z.reshape(xx.shape) plt.figure(figsize=(8, 6)) plt.contourf(xx, yy, Z, alpha=0.4, cmap=plt.cm.coolwarm) plt.scatter(X_train[:, 0], X_train[:, 1], c=y_train, marker='o', label="Train") plt.scatter(X_test[:, 0], X_test[:, 1], c=y_test, marker='s', edgecolor="k", label="Test") plt.xlabel("Feature 1") plt.ylabel("Feature 2") plt.title("Naive Bayes Classification (GaussianNB)") plt.legend() plt.show()# 调用示例naive_bayes_demo()
结果如下,图中不同颜色的区域是朴素贝叶斯划分的类别,数据点根据真实类别着色,可以看到朴素贝叶斯学习到了一条线性决策边界。
朴素贝叶斯的优点是简单高效,训练和预测速度快;对小规模数据表现良好,抗噪声能力较强;在文本分类、情感分析等任务中效果突出;并且参数少,解释性强。但是缺点包括特征独立性假设往往不成立,可能降低分类精度;…