秦曾昌人工智能课程---6、Decision Tree Learning

秦曾昌人工智能课程---6、Decision Tree Learning

一、总结

一句话总结:

怎样去构建决策树:比如一维:***|00|***|000|***,|为分割线,每个分割点都是一种情况,选一个分割点,然后再选下一个分割点,即可构成二叉树
决策树是机器学习中最简单的算法

1、机器学习的决策树算法中怎么构建决策树?

熵越小信息越有序:把不相干的点划分开,比如***00|***000***,|为分割线
一维表现:***|00|***|000|***,|为分割线,每个分割点都是一种情况,选一个分割点,然后再选下一个分割点,即可构成二叉树

2、多维向量如何化为决策树(比如outlook几种,temperature几种,humidity几种,wind几种)?

条件做分支:如果以outlook为根,如果outlook是sunny怎样,比如判断湿度,如果outlook是rain怎么样,比如判断温度
叶子节点做结果:以叶子节点来做结果,比如yes啊,no啊,表示是否会去做某事

3、如何比较两个信息量的大小,比如(H(x1)=你妈妈打电话让你穿秋裤;H(x2)=你辅导员打电话告诉你得了什么奖学金) ?

概率相关:H(x)=1/P(x):可能和事情发生的概率相关:H(x2)的概率要低

4、信息量的特点是什么,比如(H(x1)=你妈妈打电话让你穿秋裤;H(x2)=你辅导员打电话告诉你得了什么奖学金) ?

1、概率相关:H(x)=1/P(x):可能和事情发生的概率相关:H(x2)的概率要低
2、大于等于0:H(x1)>=0:比如你妈妈给你打了一个电话,你最多觉得这件事没有信息,但是你的信息没有反馈回去给你妈妈
3、相加性:H(x1,x2)=H(x1)+H(x2)

5、两件事情的信息量和每件事情信息量之间的关系是什么(H(x1)=你妈妈打电话让你穿秋裤;H(x2)=你辅导员打电话告诉你得了什么奖学金)?

相加性:H(x1,x2)=H(x1)+H(x2)

6、满足信息量三个条件的函数可以是什么?

|||-begin

1、概率相关:H(x)=1/P(x):可能和事情发生的概率相关:H(x2)的概率要低
2、大于等于0:H(x1)>=0:比如你妈妈给你打了一个电话,你最多觉得这件事没有信息,但是你的信息没有反馈回去给你妈妈
3、相加性:H(x1,x2)=H(x1)+H(x2)

|||-end

log(1/p(x)):H(x)=log(1/p(x))=-log(p(x)),log以2为底

7、信息熵是什么,怎么表示?

信息量的数学期望:Entrapy(x)=Ex[H(x)]=Ex[-log(p(x))],Ex表示数学期望,H(x)表示信息量函数
作用:描述物体的混合程度:信息熵为0表示只有一种物体,比如叉叉和圈圈的混合中

8、二维空间中,比如两种点(两种信息)怎么分割开?

横纵都可分:不仅可以横向分割,还可以纵向分割

9、低熵体是什么状态?

高度有序的状态

10、为什么数学中我们常用2做log的底数?

方便计算机存储和表示:因为我们想知道在计算机中用多少个01可以把这个结果表示出来

11、“分子运动的期望就是温度”,这句话怎么理解?

热就是分子的运动,热就是温度:热就是分子的运动,分子有的运动的快,有的运动的慢,所以分子运动的期望就是温度

12、信息熵和信息量的关系是什么?

信息熵小表示信息量大:熵越小,越有序,信息量越大
信息熵是信息量的期望:信息量越大,熵越多,但是熵就越无序(熵越多越无序)

13、信息熵和信息量在机器学习中的应用?

希望熵小,希望信息有序:我们希望熵小,这样信息量有序,我们在机器学习中越方便建立模型

14、决策树的本质是什么?

把不相关的因素给它分割开
决策树的每个叶子(每种情况)相当于你划分的一小块块

15、划分决策树的三种方式?

Entropy
Gini
Misclassification error

16、决策树越来越大,我们什么时候该停止?

停早-学不到数据的性能:如果停的比较早,代表决策树没有很好的学到这些数据的性能
停晚-过度拟合:如果停的特别往后,又会出现树比较大,过度拟合的问题

17、决策树算法使用的数据特征有哪些?

离散数据:比如没有顺序yes,no,比如有顺序的young,old
连续数据:比如一个人的年龄

18、信息增益是什么?

信息熵的变化:信息熵越小,信息增益越大

19、Gini系数与信息熵在对于不同的分叉的判断是怎样?

Gini系数越小表示信息越有序,统一
信息熵越小(信息增益越大)表示信息越有序,统一

20、决策树算法相当于在特征空间中进行什么样的操作?

垂直线性分割

二、内容在总结中

 
上一篇:WAF——针对Web应用发起的攻击,包括但不限于以下攻击类型:SQL注入、XSS跨站、Webshell上传、命令注入、非法HTTP协议请求、非授权文件访问等


下一篇:LoadRunner11.00入门教程