人工智能和机器学习--PPT07-逻辑回归.pdf

逻辑回归王秋月中国人民大学信息学院SurvivedNumber of PositiveNodesLost癌症病人治疗5年之后的状况逻辑回归=0+1+SurvivedNumber of PositiveNodesLost线性回归做分类？癌症病人治疗5年之后的状况=0+1+Survived:0.0Number of PositiveNodesLost:1.00.5癌症病人治疗5年之后的状况线性回归做分类？如果模型输出结果 0.5：预测lost如果模型输出结果 0.5：预测lost如果模型输出结果 0.5：预测 survivedSurvived:0.0Number of PositiveNodesLost:1.00.5000000预测1 1 1 11 11癌症病人治疗5年之后的状况线性回归做分类？1.00.80.60.40.20.00-5-10510=11+Logistic函数一种Sigmod函数Survived:0.0Number of PositiveNodesLost:1.00.5癌症病人治疗5年之后的状况逻辑回归=11+(0+1+)Survived:0.0Number of PositiveNodesLost:1.00.5癌症病人治疗5年之后的状况=11+(0+1+)判定边界 =11+(0+1+)Logistic 函数函数逻辑回归和线性回归的关系 =11+(0+1+)Logistic 函数函数逻辑回归和线性回归的关系=(0+1)1+(0+1)Logistic 函数函数逻辑回归和线性回归的关系=(0+1)1+(0+1)Logistic 函数函数逻辑回归和线性回归的关系Odds Ratio 1=0+1=(0+1)1+(0+1)Logistic 函数函数逻辑回归和线性回归的关系LogOdds 1=0+1=(0+1)1+(0+1)Logistic 函数函数逻辑回归和线性回归的关系LogOdds 1=0+1=(0+1)1+(0+1)逻辑回归的优点 直接对分类可能性建模，无需事先假设数据分布 不是仅预测出“类别”，还可得到对近似概率的预测 对数几率（logistic）函数是任意阶可导的凸函数，有很好的数学性质一个特征一个特征(nodes)两个类标签两个类标签(survived,lost)Survived:0.0Number of PositiveNodesLost:1.00.5逻辑回归做分类癌症病人治疗5年之后的状况两个特征两个特征(nodes,age)两个类标签两个类标签(survived,lost)6040Age2001020Number of MalignantNodes逻辑回归做分类两个特征两个特征(nodes,age)两个类标签两个类标签(survived,lost)6040Age2001020Number of MalignantNodes逻辑回归做分类判定边界判定边界两个特征两个特征(nodes,age)两个类标签两个类标签(survived,lost)6040Age2001020Number of MalignantNodes逻辑回归做分类判定边界判定边界新样例(待预测)两个特征两个特征(nodes,age)三个类标签三个类标签(survived,complications,lost)6040Age2001020Number of MalignantNodes逻辑回归做多分类6040Age2001020Number of MalignantNodesOne vs All:Survived vs All6040Age2001020Number of MalignantNodesOne vs All:Complications vs All6040Age2001020Number of MalignantNodesOne vs All:Lost vs All6040Age2001020Number of MalignantNodes多分类判定边界每个区域属于其概率最大的类导入包含分类方法的类：导入包含分类方法的类：from sklearn.linear_model import LogisticRegression创建该类的一个实例：创建该类的一个实例：LR=LogisticRegression(penalty=l2,C=10.0)逻辑回归的语法导入包含分类方法的类：导入包含分类方法的类：from sklearn.linear_model import LogisticRegression创建该类的一个实例：创建该类的一个实例：LR=LogisticRegression(penalty=l2,C=10.0)逻辑回归的语法正则化参数https:/scikit-learn.org/stable/modules/generated/sklearn.linear_model.LogisticRegression.html导入包含分类方法的类：导入包含分类方法的类：from sklearn.linear_model import LogisticRegression创建该类的一个实例：创建该类的一个实例：LR=LogisticRegression(penalty=l2,C=10.0)拟合训练数据并预测：拟合训练数据并预测：LR=LR.fit(X_train,y_train)y_predict=LR.predict(X_test)逻辑回归的语法导入包含分类方法的类：导入包含分类方法的类：from sklearn.linear_model import LogisticRegression创建该类的一个实例：创建该类的一个实例：LR=LogisticRegression(penalty=l2,C=10.0)拟合训练数据并预测：拟合训练数据并预测：LR=LR.fit(X_train,y_train)y_predict=LR.predict(X_test)逻辑回归的语法使用交叉验证自动确定正则化参数使用交叉验证自动确定正则化参数：LogisticRegressionCVJupyter演示第7章-逻辑回归.ipynb