sklearn 的几种监督学习算法、关键点介绍 2024年5月29日
生活
0 条评论

非原创，ChatGPT 问答生成

Scikit-learn 提供了多种监督学习算法，每种算法都有其独特的理念和关键点。以下是几种常用的监督学习算法及其理念和关键点的简要介绍：

1. 线性回归（Linear Regression）

  • 理念：线性回归试图找到输入特征和目标变量之间的线性关系，即目标变量可以表示为输入特征的线性组合。
  • 关键点：
  • 假设线性关系：假定目标变量与输入特征之间的关系是线性的。
  • 最小化残差平方和：通过最小化预测值和真实值之间的残差平方和来找到最佳拟合线。
  • 适用性：适用于数值型目标变量。
from sklearn.linear_model import LinearRegression

model = LinearRegression()
model.fit(X_train, y_train)
y_pred = model.predict(X_test)

2. 逻辑回归（Logistic Regression）

  • 理念：逻辑回归用于二分类问题，通过估计数据点属于某一类别的概率，输出值被限制在0到1之间。
  • 关键点：
  • Sigmoid函数：使用Sigmoid函数将线性组合的结果映射到0到1之间。
  • 对数几率：输出的是属于某一类别的对数几率（log odds）。
  • 适用性：适用于二分类问题，扩展到多分类（softmax回归）。
from sklearn.linear_model import LogisticRegression

model = LogisticRegression()
model.fit(X_train, y_train)
y_pred = model.predict(X_test)

3. 支持向量机（SVM, Support Vector Machine）

  • 理念：SVM通过在高维空间中找到一个最优的超平面来最大化类别之间的边界。
  • 关键点：
  • 最大化边界：选择一个使得分类间隔（margin）最大的超平面。
  • 支持向量：仅依赖于最接近超平面的那些点（支持向量）来决定分类边界。
  • 核方法：通过核函数将低维数据映射到高维空间，使得非线性可分的数据线性可分。
from sklearn.svm import SVC

model = SVC(kernel='linear')
model.fit(X_train, y_train)
y_pred = model.predict(X_test)

4. K近邻（K-Nearest Neighbors, KNN）

  • 理念：KNN通过考虑数据集中与目标数据点最接近的K个邻居的类别来进行分类或回归。
  • 关键点：
  • 距离度量：常用欧氏距离来计算数据点之间的距离。
  • 多数表决：分类任务中，目标点的类别由K个邻居中多数类别决定；回归任务中，目标点的值由K个邻居的平均值决定。
  • 计算成本：需要计算目标点与所有训练点的距离，计算成本较高。
from sklearn.neighbors import KNeighborsClassifier

model = KNeighborsClassifier(n_neighbors=5)
model.fit(X_train, y_train)
y_pred = model.predict(X_test)

5. 决策树（Decision Tree）

  • 理念：决策树通过一系列的决策规则将数据集划分为多个子集，形成一个树状结构，用于分类或回归。
  • 关键点：
  • 递归划分：递归地将数据集划分为更小的子集，直到满足某个停止条件。
  • 信息增益：选择能够最大化信息增益或最小化不纯度的特征进行划分。
  • 可解释性：决策树结构直观易懂，可以解释决策过程。
from sklearn.tree import DecisionTreeClassifier

model = DecisionTreeClassifier()
model.fit(X_train, y_train)
y_pred = model.predict(X_test)

6. 随机森林（Random Forest）

  • 理念：随机森林通过构建多个决策树并结合它们的预测结果来提高模型的准确性和鲁棒性。
  • 关键点：
  • 集成方法：结合多个决策树的预测结果进行分类或回归，通常采用多数投票（分类）或平均值（回归）。
  • 随机性：通过随机选择特征和数据子集来构建每个决策树，增加模型的多样性。
  • 减少过拟合：通过集成多个决策树减少单个树的过拟合风险。
from sklearn.ensemble import RandomForestClassifier

model = RandomForestClassifier(n_estimators=100)
model.fit(X_train, y_train)
y_pred = model.predict(X_test)

7. 梯度提升树（Gradient Boosting Trees）

  • 理念：梯度提升树通过逐步构建决策树，每个新树都在前一个树的基础上进行改进，逐步减少预测误差。
  • 关键点：
  • 顺序训练：每棵树依次训练，每次训练时尝试纠正前一棵树的误差。
  • 加权求和：最终模型是所有树的加权求和。
  • 学习率：控制每棵树对最终预测的影响，防止过拟合。
from sklearn.ensemble import GradientBoostingClassifier

model = GradientBoostingClassifier(n_estimators=100, learning_rate=0.1)
model.fit(X_train, y_train)
y_pred = model.predict(X_test)

这些算法在实际应用中有着不同的优势和适用场景，选择合适的算法需要根据具体的数据和任务需求进行权衡。通过理解每种算法的理念和关键点，可以更好地选择和调整模型，以获得最佳的预测效果。