01.由数据集testSet.txt,求出回归方程????=????^????????,画出决策边界。
02.由上述训练集确定回归方程参数，预测新的样本点；
现在给定一个新的样本点，特征为(0.516704,5.920334),根据Logistic回归分类预测该样本点的
类别;
附：如果想要核对分类结果的同学可以在画出决策边界的图里画出这个点，看看这个点是在决策边界的上面（类别1）
还是下面（类别0）。

import numpy as np
import matplotlib.pyplot as plt
np.set_printoptions(suppress=True)#让显示的数字不是以科学计数法显示
data=np.genfromtxt('testSet.txt')
x_data=data[:,:-1]#列的切片，所有的列但但是不包括最后一列(和列表的切片用法一样)
print(len(x_data))
y_data=data[:,-1]
print(x_data,y_data)#x_data代表所有特征的数据，y_data代表标签
def plot():
    x0=[]#存放0类别所有样本点的横坐标
    x1=[]#存放1类别所有样本点的横坐标
    y0=[]#存放0类别所有样本点的纵坐标
    y1=[]#存放1类别所有样本点的纵坐标
    for i in range(len(x_data)):#遍历所有样本点
        if y_data[i]==0:
            x0.append(x_data[i,0])#该点第一个特征数据对应的数据添加到x0
            y0.append(x_data[i,1])#该点第二个特征数据对应的数据添加到y0
        else:
            x1.append(x_data[i,0])
            y1.append(x_data[i,1])
    #画图
    plt.scatter(x0,y0,marker="o",color="b",label="label0",s=40)
    plt.scatter(x1,y1,marker="*",color="r",label="label1",s=60)
    plt.legend()
plot()
plt.show()

#求解最佳的theta
import numpy as np
np.set_printoptions(suppress=True)
data=np.genfromtxt('testSet.txt')
x_data=data[:,:-1]#特征数据
y_data=data[:,-1]#标签
print(y_data)
m=len(x_data)
print(m)

#(1)求解最佳的theta，对特征数据进行预处理，添加偏执项
X_data=np.concatenate((np.ones((m,1)),x_data),axis=1)
print('添加偏执项后的数据\n',X_data)

def sigmoid(x):
    return 1/(1+np.exp(-x))


#(2)利用梯度下降法求解最佳theta

def gradAscent(xArr,yArr):
    #1、定义迭代次数
    epochs=30000
    
    #2、给定学习率
    lr=0.001
    
    #3、将数组转换成矩阵
    xMat=np.mat(xArr)
    yMat=np.mat(yArr)
    m,n=xMat.shape
    print(m)
    
    #4、给定theta的初始值，开始迭代
    theta=np.mat(np.ones((n,1)))
    
    #根据公式theta(k)=theta(k-1)-lr*X^T(h_????(X)-Y)/m
    for i in range(epochs):
        #预测值
        h=sigmoid(xMat*theta)
       # print("xMat",xMat*theta)
       # print(xMat.T*(h-yMat.T))
        theta_grad=xMat.T*(h-yMat.T)/m
        theta=theta-lr*theta_grad
    return theta
theta=gradAscent(X_data,y_data)

#画出决策边界
plot()
x_test=[[-4],[3]]
y_test=(-theta[0]-x_test*theta[1])/theta[2]
print(y_test)
plt.plot(x_test,y_test,'r')