新手教学、科普与入门 · AI与编程基础 · 2025-12-28

一文搞懂监督学习中的分类模型!

想快速掌握分类模型的核心原理和应用场景?这篇文章为你梳理逻辑回归等经典算法的数学本质与实战技巧。

核心内容:

  1. 分类模型的类型与典型应用场景解析
  2. 逻辑回归的数学原理与Sigmoid函数详解
  3. 不同分类方法的比较与选择建议

分类模型(Classification Models) 是监督学习中的另一大核心分支,目标是将输入样本正确地划分到预定义的类别中。与回归模型预测连续值不同,分类模型的输出是 离散的类别标签。

典型的分类任务包括垃圾邮件识别(邮件 → 正常/垃圾)、疾病诊断(患者症状 → 是否患病)、图像识别(图片 → 猫/狗/人)等。

在分类方法中,有的模型通过 概率推断 来进行分类(如逻辑回归、朴素贝叶斯),有的依赖 相似性度量(如 k 最近邻),还有的借助 决策边界与超平面 来完成划分(如支持向量机)。除此之外,树模型和集成方法也在分类问题中表现突出。

1. 逻辑回归

在分类任务中,我们常常希望回答这样的问题:

1.1 逻辑回归的基本思想

与线性回归类似,逻辑回归也尝试通过输入特征的线性组合来预测结果。但不同的是:

1.2 数学原理

1.Sigmoid 函数

Sigmoid 函数将任意输入映射到 (0,1) 区间,非常适合用于二分类问题。

其中:

例如:

2.假设函数

逻辑回归的预测函数为:

这里 表示样本 x 属于正类(记为 y=1)的概率。

3.决策规则

最终分类时,逻辑回归采用 阈值法:

4.损失函数

逻辑回归使用 对数似然损失函数(Log Loss):

这个损失函数在概率接近真实标签时惩罚小,偏离时惩罚大,保证模型能更好地拟合概率分布。

直观点理解的话可以把逻辑回归想象成线性回归 + Sigmoid 激活函数,输出的是一个 事件发生的概率,最后通过阈值把概率转化为类别。

如果还不知道什么是激活函数,我在后面的深度学习内容中有讲。

下面依然是实践环节:

import numpy as npimport matplotlib.pyplot as pltfrom sklearn.datasets import make_classificationfrom sklearn.linear_model import LogisticRegressionfrom sklearn.metrics import accuracy_score# 生成二分类数据X, y = make_classification(n_samples=200, n_features=2, n_redundant=0, n_informative=2, random_state=42)# 拟合逻辑回归模型model = LogisticRegression()model.fit(X, y)# 预测y_pred = model.predict(X)print("准确率:", accuracy_score(y, y_pred))# 可视化分类边界x_min, x_max = X[:, 0].min()-1, X[:, 0].max()+1y_min, y_max = X[:, 1].min()-1, X[:, 1].max()+1xx, yy = np.meshgrid(np.linspace(x_min, x_max, 100), np.linspace(y_min, y_max, 100))Z = model.predict(np.c_[xx.ravel(), yy.ravel()])Z = Z.reshape(xx.shape)plt.contourf(xx, yy, Z, alpha=0.3)plt.scatter(X[:, 0], X[:, 1], c=y, edgecolors='k')plt.title("逻辑回归分类结果")plt.show()

运行结果如下,图中不同颜色的区域是逻辑回归划分的类别,数据点根据真实类别着色,可以看到逻辑回归学习到了一条线性决策边界。

简单总结,逻辑回归是一种 线性分类模型,通过 Sigmoid 函数输出概率,使用 对数似然损失 进行优化,简单高效,适合处理二分类问题,同时在高维稀疏数据(如文本分类)中也表现出色。

逻辑回归在金融:信用评分、违约预测,医疗:疾病诊断(如是否患癌症),市场营销:客户是否购买产品,NLP:文本情感分类(积极 / 消极)等方面已经成功实践。但是方法太简单,现在已经没人用了,不过依然是很重要的机器学习知识,所以学学还是有必要的!

2. 朴素贝叶斯

朴素贝叶斯是一类基于贝叶斯定理(Bayes’ Theorem)的概率分类方法。它以“特征条件独立”的假设为基础,因此被称为“朴素”。尽管这个假设在现实中往往过于简化,但在许多实际应用(如文本分类、垃圾邮件过滤、情感分析等)中,朴素贝叶斯依然能够取得令人满意的效果。

其核心思想是:通过训练数据估计每个类别的 先验概率 和 条件概率,在预测时利用贝叶斯公式计算样本属于不同类别的后验概率,并将其分配给概率最大的类别。

2.1 贝叶斯定理回顾

贝叶斯定理的数学形式为:

其中:

在分类任务中, 对所有类别相同,因此只需比较分子部分:

2.2 朴素独立性假设

朴素贝叶斯的关键假设是:特征之间条件独立。即在给定类别 的条件下,特征 相互独立: 这种简化极大地降低了参数估计的复杂度,否则条件概率的计算会变得不可行。

2.3 朴素贝叶斯分类器的步骤

1. 训练阶段:

2. 预测阶段:

2.4 常见的朴素贝叶斯模型

1. 高斯朴素贝叶斯(Gaussian NB)

2. 多项式朴素贝叶斯(Multinomial NB)

3. 伯努利朴素贝叶斯(Bernoulli NB)

import numpy as npimport matplotlib.pyplot as pltfrom sklearn.datasets import make_classificationfrom sklearn.naive_bayes import GaussianNBfrom sklearn.metrics import accuracy_scoredef naive_bayes_demo(): """ 朴素贝叶斯分类示例函数 """ # 1. 构造二维分类数据 X, y = make_classification( n_samples=200, n_features=2, n_classes=2, n_informative=2, n_redundant=0, random_state=42 ) # 2. 拆分训练集和测试集 train_size = 150 X_train, X_test = X[:train_size], X[train_size:] y_train, y_test = y[:train_size], y[train_size:] # 3. 训练 Gaussian Naive Bayes 模型 model = GaussianNB() model.fit(X_train, y_train) # 4. 测试集预测 y_pred = model.predict(X_test) acc = accuracy_score(y_test, y_pred) print(f"Accuracy: {acc:.2f}") # 5. 可视化分类边界 x_min, x_max = X[:, 0].min() - 1, X[:, 0].max() + 1 y_min, y_max = X[:, 1].min() - 1, X[:, 1].max() + 1 xx, yy = np.meshgrid(np.linspace(x_min, x_max, 200), np.linspace(y_min, y_max, 200)) Z = model.predict(np.c_[xx.ravel(), yy.ravel()]) Z = Z.reshape(xx.shape) plt.figure(figsize=(8, 6)) plt.contourf(xx, yy, Z, alpha=0.4, cmap=plt.cm.coolwarm) plt.scatter(X_train[:, 0], X_train[:, 1], c=y_train, marker='o', label="Train") plt.scatter(X_test[:, 0], X_test[:, 1], c=y_test, marker='s', edgecolor="k", label="Test") plt.xlabel("Feature 1") plt.ylabel("Feature 2") plt.title("Naive Bayes Classification (GaussianNB)") plt.legend() plt.show()# 调用示例naive_bayes_demo()

结果如下,图中不同颜色的区域是朴素贝叶斯划分的类别,数据点根据真实类别着色,可以看到朴素贝叶斯学习到了一条线性决策边界。

朴素贝叶斯的优点是简单高效,训练和预测速度快;对小规模数据表现良好,抗噪声能力较强;在文本分类、情感分析等任务中效果突出;并且参数少,解释性强。但是缺点包括特征独立性假设往往不成立,可能降低分类精度;…

— 以上为试看内容(约 40%),开通会员后阅读全文 —

原文出处:https://www.53ai.com/news/neirongchuangzuo/2025122895248.html