沿着 AI 的发展脉络,本系列文章从Seq2Seq到RNN,再到Transformer,直至今日强大的GPT模型,我们将带你一步步深入了解这些关键技术背后的原理与实现细节。无论你是初学者还是有经验的开发者,相信读完这个系列文章后,不仅能掌握Transformer的核心概念,还能对其在整个NLP领域中的位置有一个全面而深刻的认识。那就让我们一起开始这段学习之旅吧!
Embedding、向量、无监督学习、卷积、RNN、Transformer、PyTorch……当你意识到 AI 时代已经到来,决定迈出学习的第一步时,是否也和我一样被这些繁多的术语弄得无所适从、不知从何开始?
本文旨在以简明易懂的方式,梳理 AI 的基础概念,帮助读者零帧起手,顺利开启 AI 学习之旅。
之所以是 -1 开始是因为里面有部分我们高中学过的但已经被遗忘的知识。
人工智能、机器学习、深度学习与大模型
人工智能(AI):人工智能指的是计算机执行各种决策任务的能力合集,这些任务通常模拟人类智能,例如理解自然语言、识别图像、解决问题和进行推理。AI 的目标是开发能够自主学习和适应的系统,以提升效率和准确性。
机器学习(ML):机器学习是人工智能的一个子集,专注于如何让计算机基于数据做出决策。机器学习的主要目标是从现有的数据中发现模式和规律,并利用这些模式对未来的数据进行预测。
深度学习(DL):深度学习是机器学习的一个领域,利用称为“神经网络”的多层结构来处理复杂数据模式识别,相对于普通机器学习,尤其擅长图像识别、自然语言处理等任务。
模型就是机器学习、深度学习中从数据中学习到的、用于做预测或决策的规则集合,这个学习过程称之为训练,这些规则通过训练过程从历史数据中提取模式和关系,使模型能够在面对新的、未见过的数据时做出靠谱的预测或决策。
而大模型是指在深度学习中拥有大量参数(后面再解释何为参数)和复杂结构的模型,这些模型通常需要大量的数据和强大的计算资源来训练,能够处理更复杂的任务并理解更深层次的数据模式。
DeepSeek 的母公司幻方量化是中国头部量化对冲基金,其核心业务是通过算法模型进行证券投资,通俗讲就是根据过往公司的增长、营收、外部环境、政策变化等数据预测未来的股价,让计算机预测该投资谁,而 DeepSeek 是其开源的通用模型,人家不是玩票的,是用来赚真金白银的,这也是大模型的一个现实意义。
机器学习基础概念
机器学习的核心流程可以概括为三个阶段:
1.记忆:收集和准备数据
2.制定:构建和训练模型
3.预测:使用训练好的模型进行预测和决策
我们用一个例子来理解数据相关的几个核心概念,假设我们希望建立一个机器学习模型,根据房屋的各种属性(如面积、位置、卧室数量等)来预测房价。
数据、特征与标签
数据是用于训练和测试机器学习模型的原始信息。在预测房价的例子中,数据包含了关于不同房屋的信息以及它们对应的价格。
- 结构化数据:以表格形式存储的数据,如电子表格或数据库表。每一行代表一个房屋,每一列代表一个属性。
- 非结构化数据:如图片、文本等,不宜以表格形式表示。在预测房价时,非结构化数据可能包括房屋的照片或地段描述,但通常我们使用结构化数据作为主要输入。
特征表示数据的属性或性质,也是另外一个经常会提到的概念,如果数据在表格中,那么特征就是表格的列。在房价预测数据集中,每个房屋有 5 个特征(面积、卧室数量、浴室数量、地段评分、房龄),我们成这个数据集得维度是 5,其实房价也是房子的一个特征,但我们把房价这个希望模型预测的目标变量称为标签。
另外还有个常用的概念——数据点,也称为样本(Sample)或实例(Instance),是在数据集中代表一个具体实体或观测的单个记录,简单来讲每一行代表一个数据点,每一列代表一个特征或标签。
线性回归
线性函数是指其图像在平面直角坐标系中呈现为一条直线的函数。其基本数学表达式为:f(x)=ax+b,其中 a 表示斜率,b 表示截距。
机器学习中的线性回归正是基于线性函数构建的模型,其核心是通过线性函数对输入特征和输出目标之间的关系进行建模,假设目标变量(标签,房价)与一个或多个特征之间存在线性关系:
-
:目标变量或者叫因变量,也就是预测值,在预测房价的例子中,目标变量是房价;
-
:自变量,也就是输入特征,房屋的各项属性,如面积、卧室数量、浴室数量等;
-
线性函数的斜率(slope),用于描述输入特征对预测值的贡献程度,因此被称为权重(weight);
- b:线性函数的截距,在模型中称为偏置量(bias),在房价预测模型中代表当所有特征值为零时的预测房价。
大名鼎鼎的参数即权重与偏置,是模型学习和预测的关键要素。而DeepSeek 671B 满血版则指其模型拥有高达 6710 亿个权重与偏置,这一庞大的参数数量使模型能够捕捉更复杂的数据模式和关系,显著提升了模型的表达能力和预测精度。
线性回归根据现有的特征数据集,通过不断调整模型中的参数,拟合出一条最贴近数据分布趋势的直线,从而用于预测目标变量(标签)的数值。
也许经过复杂学习与训练后房价预测模型可以写成:
模型是否可靠很大程度上取决于关联特征数量与对应的权重调整,因此我们经常会听到算法同学戏称自己是调参工程师。
数据分类
在机器学习中,理解数据的类型和结构是至关重要的,根关注点不同数据有不同的分类方式
如果我们关注数据表中列的维度,根据特征中值的类型可以把数据分为
- 数值数据(Numerical Data):由数值表示的数据,可以进行数学运算,用于度量和预测具体的数值结果,比如房屋面积(平方米)、价格(万元)、房龄(年)
- 分类数据(Categorical Data):表示类别或状态的数据,用于分类和分组任务,比如房屋所在地区(中心区、郊区)、房屋类型(独栋、联排)、销售状态(已售出、待售)
还记得标签和数据点的概念吗?表格中的一行数据记录称之为一个数据点,标签是指模型试图预测或分类的值,也就是说每个标签对应一个数据点的结果或类别。
如果我们关注数据表中行的维度,根据数据点是否包含标签可以把数据分为
- 标签数据(Lebeled Data):每个数据点都附带有标签的数据。
- 无标签数据(Unlabeled Data):数据点没有标签的数据。
很多初学者可能会有疑惑,怎么会存在没有标签的数据?其实这种数据才是常态,举个最简单的例子,我们需要细分网站客户群体。
我们有这些客户的特征数据,但并没有对应的标签——群体分类,需要通过算法自行发现。
监督学习与无监督学习
监督学习(Supervised Learning)是一种处理标签数据的机器学习分支,其目标是学习特征与标签之间的映射关系,以便在新数据上进行准确的预测。监督学习主要分为两类:
-
回归模型(Regression Models):用于预测连续数值型目标变量的模型,比如前面一直在用的预测房价模型正是回归模型
-
分类模型(Classification Models):将数据分类到预定义的类别中的模型,比如判断邮件是否为垃圾邮件、图像识别中的物体分类
监督学习之所以被称为“监督”,主要因为模型在训练过程中有明确的标签作为指导,就像教师指导学生一样。标签为模型提供了学习的目标,使其能够理解和掌握输入特征与输出目标之间的关系,从而在新数据上实现准确的预测或分类。监督学习有几个优势:
- 准确性高:由于有明确的标签指导,模型通常在预测和分类任务中表现出较高的准确性。
- 可解…