Python语言实现朴素贝叶斯算法

朴素贝叶斯（Naive Bayes）是一种基于贝叶斯定理的简单但有效的分类算法。朴素贝叶斯算法假设特征之间是独立的，这就是“朴素”的来源。下面是使用Python实现朴素贝叶斯分类器的代码示例。

import numpy as np

class NaiveBayes:
    def __init__(self):
        self.classes = None
        self.mean = None
        self.var = None
        self.priors = None

    def fit(self, X, y):
        n_samples, n_features = X.shape
        self.classes = np.unique(y)
        n_classes = len(self.classes)

        self.mean = np.zeros((n_classes, n_features), dtype=np.float64)
        self.var = np.zeros((n_classes, n_features), dtype=np.float64)
        self.priors = np.zeros(n_classes, dtype=np.float64)

        for idx, c in enumerate(self.classes):
            X_c = X[y == c]
            self.mean[idx, :] = X_c.mean(axis=0)
            self.var[idx, :] = X_c.var(axis=0)
            self.priors[idx] = X_c.shape[0] / float(n_samples)

    def _calculate_probability(self, class_idx, x):
        mean = self.mean[class_idx]
        var = self.var[class_idx]
        numerator = np.exp(- (x - mean) ** 2 / (2 * var))
        denominator = np.sqrt(2 * np.pi * var)
        return numerator / denominator

    def _calculate_class_probabilities(self, x):
        posteriors = []

        for idx, c in enumerate(self.classes):
            prior = np.log(self.priors[idx])
            class_conditional = np.sum(np.log(self._calculate_probability(idx, x)))
            posterior = prior + class_conditional
            posteriors.append(posterior)

        return self.classes[np.argmax(posteriors)]

    def predict(self, X):
        y_pred = [self._calculate_class_probabilities(x) for x in X]
        return np.array(y_pred)

# 测试朴素贝叶斯分类器
from sklearn.model_selection import train_test_split
from sklearn.datasets import load_iris
from sklearn.metrics import accuracy_score

# 加载数据集
data = load_iris()
X, y = data.data, data.target

# 分割数据集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 训练模型
nb = NaiveBayes()
nb.fit(X_train, y_train)

# 预测
y_pred = nb.predict(X_test)

# 输出准确率
print(f"Accuracy: {accuracy_score(y_test, y_pred):.4f}")

代码说明：

1. 类初始化 (__init__):

   • self.classes：存储所有唯一的类标签。
   • self.mean 和 self.var：存储每个类对应的均值和方差。
   • self.priors：存储每个类的先验概率。

2. 模型训练 (fit):

   • 计算每个类的均值、方差以及先验概率。

3. 计算概率 (_calculate_probability):

   • 使用高斯分布计算特定类下特征值的条件概率。

4. 计算类的后验概率 (_calculate_class_probabilities):

   • 对每个类计算其后验概率，选择概率最大的类作为预测结果。

5. 预测 (predict):

   • 对于测试数据中的每个样本，计算其属于每个类的概率，最终返回预测结果。

6. 测试模型:

   • 使用Iris数据集测试模型，计算其在测试集上的准确率。

运行结果：

上述代码将输出模型在测试集上的准确率。你可以运行此代码并根据需要调整数据集或参数。