Review of classification

Step 1 function set

Step 2:Goodeness of function

假定从一组后验概率中产生training data，某一组w和b产生一组N个training data的概率


则最有可能的w和b，就是最大的L，即

将确定最大转换为求最小，即

取Ln可以简化计算，在数学求极值中经常见到，此时会将乘法变为加法

y hat表示正确分类的结论，1对应class 1 0对应class 2

代入上式



交叉熵代表两个分布有多接近
比较两种regression，如下

Find the best function

用loss function对w和对b的偏微分

同理处理第二项

对w的偏微分为

在更新该参数的时候：

和三个参数有关，xi是样本，绿色下划线表示目标和现在的model的output的差距，学习率
larger difference, large update

Limitation of Logistic Regression

诸如这样的样本，通过logistic得到的boundary是一条直线，所以很难分出两个类别。
解决问题的方法：Feature Transformation，借助于机器去进行变换的方法是 cascading logistic regression models

将原来的特征平面映射到另一个特征平面，这里的调整w和b，方便用一个boundary区分不同类