亚洲精品久久久中文字幕-亚洲精品久久片久久-亚洲精品久久青草-亚洲精品久久婷婷爱久久婷婷-亚洲精品久久午夜香蕉

您的位置:首頁技術(shù)文章
文章詳情頁

python 實(shí)現(xiàn)邏輯回歸

瀏覽:2日期:2022-06-30 18:15:37
邏輯回歸

適用類型:解決二分類問題

邏輯回歸的出現(xiàn):線性回歸可以預(yù)測連續(xù)值,但是不能解決分類問題,我們需要根據(jù)預(yù)測的結(jié)果判定其屬于正類還是負(fù)類。所以邏輯回歸就是將線性回歸的結(jié)果,通過Sigmoid函數(shù)映射到(0,1)之間

線性回歸的決策函數(shù):數(shù)據(jù)與θ的乘法,數(shù)據(jù)的矩陣格式(樣本數(shù)×列數(shù)),θ的矩陣格式(列數(shù)×1)

python 實(shí)現(xiàn)邏輯回歸

將其通過Sigmoid函數(shù),獲得邏輯回歸的決策函數(shù)

python 實(shí)現(xiàn)邏輯回歸

使用Sigmoid函數(shù)的原因:

可以對(-∞, +∞)的結(jié)果,映射到(0, 1)之間作為概率

可以將1/2作為決策邊界

python 實(shí)現(xiàn)邏輯回歸

數(shù)學(xué)特性好,求導(dǎo)容易

python 實(shí)現(xiàn)邏輯回歸

邏輯回歸的損失函數(shù)

線性回歸的損失函數(shù)維平方損失函數(shù),如果將其用于邏輯回歸的損失函數(shù),則其數(shù)學(xué)特性不好,有很多局部極小值,難以用梯度下降法求解最優(yōu)

這里使用對數(shù)損失函數(shù)

python 實(shí)現(xiàn)邏輯回歸

解釋:如果一個(gè)樣本為正樣本,那么我們希望將其預(yù)測為正樣本的概率p越大越好,也就是決策函數(shù)的值越大越好,則logp越大越好,邏輯回歸的決策函數(shù)值就是樣本為正的概率;如果一個(gè)樣本為負(fù)樣本,那么我們希望將其預(yù)測為負(fù)樣本的概率越大越好,也就是(1-p)越大越好,即log(1-p)越大越好

為什么使用對數(shù)函數(shù):樣本集中有很多樣本,要求其概率連乘,概率為0-1之間的數(shù),連乘越來越小,利用log變換將其變?yōu)檫B加,不會(huì)溢出,不會(huì)超出計(jì)算精度

損失函數(shù):: y(1->m)表示Sigmoid值(樣本數(shù)×1),hθx(1->m)表示決策函數(shù)值(樣本數(shù)×1),所以中括號的值(1×1)

python 實(shí)現(xiàn)邏輯回歸

二分類邏輯回歸直線編碼實(shí)現(xiàn)

import numpy as npfrom matplotlib import pyplot as plt​from scipy.optimize import minimizefrom sklearn.preprocessing import PolynomialFeatures​​class MyLogisticRegression: def __init__(self): plt.rcParams['font.sans-serif'] = ['SimHei'] # 包含數(shù)據(jù)和標(biāo)簽的數(shù)據(jù)集 self.data = np.loadtxt('./data2.txt', delimiter=',') self.data_mat = self.data[:, 0:2] self.label_mat = self.data[:, 2] self.thetas = np.zeros((self.data_mat.shape[1]))​ # 生成多項(xiàng)式特征,最高6次項(xiàng) self.poly = PolynomialFeatures(6) self.p_data_mat = self.poly.fit_transform(self.data_mat)​ def cost_func_reg(self, theta, reg): ''' 損失函數(shù)具體實(shí)現(xiàn) :param theta: 邏輯回歸系數(shù) :param data_mat: 帶有截距項(xiàng)的數(shù)據(jù)集 :param label_mat: 標(biāo)簽數(shù)據(jù)集 :param reg: :return: ''' m = self.label_mat.size label_mat = self.label_mat.reshape(-1, 1) h = self.sigmoid(self.p_data_mat.dot(theta))​ J = -1 * (1/m)*(np.log(h).T.dot(label_mat) + np.log(1-h).T.dot(1-label_mat)) + (reg / (2*m)) * np.sum(np.square(theta[1:])) if np.isnan(J[0]): return np.inf return J[0]​ def gradient_reg(self, theta, reg): m = self.label_mat.size h = self.sigmoid(self.p_data_mat.dot(theta.reshape(-1, 1))) label_mat = self.label_mat.reshape(-1, 1)​ grad = (1 / m)*self.p_data_mat.T.dot(h-label_mat) + (reg/m)*np.r_[[[0]], theta[1:].reshape(-1, 1)] return grad​ def gradient_descent_reg(self, alpha=0.01, reg=0, iterations=200): ''' 邏輯回歸梯度下降收斂函數(shù) :param alpha: 學(xué)習(xí)率 :param reg: :param iterations: 最大迭代次數(shù) :return: 邏輯回歸系數(shù)組 ''' m, n = self.p_data_mat.shape theta = np.zeros((n, 1)) theta_set = []​ for i in range(iterations): grad = self.gradient_reg(theta, reg) theta = theta - alpha*grad.reshape(-1, 1) theta_set.append(theta) return theta, theta_set​ def plot_data_reg(self, x_label=None, y_label=None, neg_text='negative', pos_text='positive', thetas=None): neg = self.label_mat == 0 pos = self.label_mat == 1 fig1 = plt.figure(figsize=(12, 8)) ax1 = fig1.add_subplot(111) ax1.scatter(self.p_data_mat[neg][:, 1], self.p_data_mat[neg][:, 2], marker='o', s=100, label=neg_text) ax1.scatter(self.p_data_mat[pos][:, 1], self.p_data_mat[pos][:, 2], marker='+', s=100, label=pos_text) ax1.set_xlabel(x_label, fontsize=14)​ # 描繪邏輯回歸直線(曲線) if isinstance(thetas, type(np.array([]))): x1_min, x1_max = self.p_data_mat[:, 1].min(), self.p_data_mat[:, 1].max() x2_min, x2_max = self.p_data_mat[:, 2].min(), self.p_data_mat[:, 2].max() xx1, xx2 = np.meshgrid(np.linspace(x1_min, x1_max), np.linspace(x2_min, x2_max)) h = self.sigmoid(self.poly.fit_transform(np.c_[xx1.ravel(), xx2.ravel()]).dot(thetas)) h = h.reshape(xx1.shape) ax1.contour(xx1, xx2, h, [0.5], linewidths=3) ax1.legend(fontsize=14) plt.show()​ @staticmethod def sigmoid(z): return 1.0 / (1 + np.exp(-z))​​if __name__ == ’__main__’: my_logistic_regression = MyLogisticRegression() # my_logistic_regression.plot_data(x_label='線性不可分?jǐn)?shù)據(jù)集')​ thetas, theta_set = my_logistic_regression.gradient_descent_reg(alpha=0.5, reg=0, iterations=500) my_logistic_regression.plot_data_reg(thetas=thetas, x_label='$lambda$ = {}'.format(0))​ thetas = np.zeros((my_logistic_regression.p_data_mat.shape[1], 1)) # 未知錯(cuò)誤,有大佬解決可留言 result = minimize(my_logistic_regression.cost_func_reg, thetas, args=(0, ), method=None, jac=my_logistic_regression.gradient_reg) my_logistic_regression.plot_data_reg(thetas=result.x, x_label='$lambda$ = {}'.format(0))二分類問題邏輯回歸曲線編碼實(shí)現(xiàn)

import numpy as npfrom matplotlib import pyplot as plt​from scipy.optimize import minimizefrom sklearn.preprocessing import PolynomialFeatures​​class MyLogisticRegression: def __init__(self): plt.rcParams['font.sans-serif'] = ['SimHei'] # 包含數(shù)據(jù)和標(biāo)簽的數(shù)據(jù)集 self.data = np.loadtxt('./data2.txt', delimiter=',') self.data_mat = self.data[:, 0:2] self.label_mat = self.data[:, 2] self.thetas = np.zeros((self.data_mat.shape[1]))​ # 生成多項(xiàng)式特征,最高6次項(xiàng) self.poly = PolynomialFeatures(6) self.p_data_mat = self.poly.fit_transform(self.data_mat)​ def cost_func_reg(self, theta, reg): ''' 損失函數(shù)具體實(shí)現(xiàn) :param theta: 邏輯回歸系數(shù) :param data_mat: 帶有截距項(xiàng)的數(shù)據(jù)集 :param label_mat: 標(biāo)簽數(shù)據(jù)集 :param reg: :return: ''' m = self.label_mat.size label_mat = self.label_mat.reshape(-1, 1) h = self.sigmoid(self.p_data_mat.dot(theta))​ J = -1 * (1/m)*(np.log(h).T.dot(label_mat) + np.log(1-h).T.dot(1-label_mat)) + (reg / (2*m)) * np.sum(np.square(theta[1:])) if np.isnan(J[0]): return np.inf return J[0]​ def gradient_reg(self, theta, reg): m = self.label_mat.size h = self.sigmoid(self.p_data_mat.dot(theta.reshape(-1, 1))) label_mat = self.label_mat.reshape(-1, 1)​ grad = (1 / m)*self.p_data_mat.T.dot(h-label_mat) + (reg/m)*np.r_[[[0]], theta[1:].reshape(-1, 1)] return grad​ def gradient_descent_reg(self, alpha=0.01, reg=0, iterations=200): ''' 邏輯回歸梯度下降收斂函數(shù) :param alpha: 學(xué)習(xí)率 :param reg: :param iterations: 最大迭代次數(shù) :return: 邏輯回歸系數(shù)組 ''' m, n = self.p_data_mat.shape theta = np.zeros((n, 1)) theta_set = []​ for i in range(iterations): grad = self.gradient_reg(theta, reg) theta = theta - alpha*grad.reshape(-1, 1) theta_set.append(theta) return theta, theta_set​ def plot_data_reg(self, x_label=None, y_label=None, neg_text='negative', pos_text='positive', thetas=None): neg = self.label_mat == 0 pos = self.label_mat == 1 fig1 = plt.figure(figsize=(12, 8)) ax1 = fig1.add_subplot(111) ax1.scatter(self.p_data_mat[neg][:, 1], self.p_data_mat[neg][:, 2], marker='o', s=100, label=neg_text) ax1.scatter(self.p_data_mat[pos][:, 1], self.p_data_mat[pos][:, 2], marker='+', s=100, label=pos_text) ax1.set_xlabel(x_label, fontsize=14)​ # 描繪邏輯回歸直線(曲線) if isinstance(thetas, type(np.array([]))): x1_min, x1_max = self.p_data_mat[:, 1].min(), self.p_data_mat[:, 1].max() x2_min, x2_max = self.p_data_mat[:, 2].min(), self.p_data_mat[:, 2].max() xx1, xx2 = np.meshgrid(np.linspace(x1_min, x1_max), np.linspace(x2_min, x2_max)) h = self.sigmoid(self.poly.fit_transform(np.c_[xx1.ravel(), xx2.ravel()]).dot(thetas)) h = h.reshape(xx1.shape) ax1.contour(xx1, xx2, h, [0.5], linewidths=3) ax1.legend(fontsize=14) plt.show()​ @staticmethod def sigmoid(z): return 1.0 / (1 + np.exp(-z))​​if __name__ == ’__main__’: my_logistic_regression = MyLogisticRegression() # my_logistic_regression.plot_data(x_label='線性不可分?jǐn)?shù)據(jù)集')​ thetas, theta_set = my_logistic_regression.gradient_descent_reg(alpha=0.5, reg=0, iterations=500) my_logistic_regression.plot_data_reg(thetas=thetas, x_label='$lambda$ = {}'.format(0))​ thetas = np.zeros((my_logistic_regression.p_data_mat.shape[1], 1)) # 未知錯(cuò)誤,有大佬解決可留言 result = minimize(my_logistic_regression.cost_func_reg, thetas, args=(0, ), method=None, jac=my_logistic_regression.gradient_reg) my_logistic_regression.plot_data_reg(thetas=result.x, x_label='$lambda$ = {}'.format(0))

以上就是python 實(shí)現(xiàn)邏輯回歸的詳細(xì)內(nèi)容,更多關(guān)于python 實(shí)現(xiàn)邏輯回歸的資料請關(guān)注好吧啦網(wǎng)其它相關(guān)文章!

標(biāo)簽: Python 編程
相關(guān)文章:
主站蜘蛛池模板: 久在线 | 国产麻豆传媒视频 | 日本三级无码中文字幕 | 在线欧美一级毛片免费观看 | 亚洲精品国产成人一区二区 | 三级视频在线播放 | 日本一级黄色 | 在线免费观看黄色 | 特级毛片www欧美 | 黄录像欧美片在线观看 | 日本成熟老妇乱 | 国产精品第一区在线观看 | 亚洲精品视频在线看 | 国产高清在线精品一区αpp | 婷婷国产 | 精品国产3p一区二区三区 | 亚洲色图图片区 | 善良的翁熄日本中文字幕1 上海麻豆文化传媒网站入口 | 久久久久国产精品免费网站 | 欧美视频在线观看免费精品欧美视频 | 污污的视频在线播放 | 久久久国产在线 | 久久精品a一国产成人免费网站 | 色婷婷婷丁香亚洲综合不卡 | 午夜淫片 | 538prom国产在线视频一区 | 欧美一区二区三区黄色 | 大ji吧快给我别停受不了视频 | 国产精品jizz在线观看免费 | 亚洲欧洲一区二区三区 | 香蕉视频入口 | 亚洲综合色丁香麻豆 | 毛片软件| 国产精品自在线拍 | 国产麻豆媒一区一区二区三区 | 欧美亚洲欧美日韩中文二区 | 日本三级黄色网址 | 久青草国产手机在线观 | 国产精品亚洲一区二区三区久久 | 美美女高清毛片视频黄的一免费 | 成人在线黄色 |