【Machine Learning·机器学习】决策树之ID3算法(Iterative Dichotomiser 3)

• 2019 年 10 月 3 日
• 笔记

@

1???????

?????????????????????????????????????
??????????????????????????????????

2???????????

2.1?????

???????????????????????????????????????????????????>??>???????????????????????????????????????????????????????

?????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????

2.2????????/??????????????

??????????????????????????????????????ID3????????????? ????(Information Gain) ??????????????C4.5?????????????????(Information Gain Ration?Gain Ratio)???????????????CART?????? ????(Gini Index) ???????????????????????????????????????????????????

??????????????????????????????????????/entropy?????????????????????????????????????????S???????????????????

???????????????1948?????????????????????????????????????????????? ???????????????????????????????????? ??????????????????????????????????????????

??????????????????????????????????????????????????????????????????????(???????)??????????????????????????????A?B?C?D?????????????????????????????????????????????????????????????????????????????????????????????????????????? ???????????????????????????????????????????????????????/?????????????????????????????????????????????????????

?????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????? ?????????????????????????????????????????????????????????????????????????????

???????????????????????????????????????????????????????????????????????????????????????????????????????????????????????

2.3????????????

?????????????????

???????????????????????????????????????S??????????????????????????????????????????(Si X Pi)????????????????? InfoGain = S-?(SixPi)?

?????????????????????(???????????????????????)???????????????????????????????????

???????????????14????????9????5??????????????

?????????????????????????????????????????????????????????????????????????????????(????)????????????Outlook?????

????????????????????????????????????:

????????????????????????????????????????????????????????

????????????????????????????????

2.4????????

?????????????????????????????????????????????????????????/??/?????
??????????? ???? ????????????????????????????????????????????????????????????

2.4????????/?????????

1?????????????????????????YES??????????????????????(??????????????)????????????????YES?

2?????????????????????????????????????????????(????????????????)?????????????????????????????????????????????????????????

3?????

1????????????????????????????
?????????????????????????
????????????
?1????????
??1.1???????????
??1.2????????????????
??1.3??????????????????????????????
??1.4???3?????????????1?