【Machine Learning·机器学习】决策树之ID3算法(Iterative Dichotomiser 3)
- 2019 年 10 月 3 日
- 筆記
@
1???????
?????????????????????????????????????
??????????????????????????????????
2???????????
2.1?????
???????????????????????????????????????????????????>??>???????????????????????????????????????????????????????
?????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????
2.2????????/??????????????
??????????????????????????????????????ID3????????????? ????(Information Gain) ??????????????C4.5?????????????????(Information Gain Ration?Gain Ratio)???????????????CART?????? ????(Gini Index) ???????????????????????????????????????????????????
??????????????????????????????????????/entropy?????????????????????????????????????????S???????????????????
???????????????1948?????????????????????????????????????????????? ???????????????????????????????????? ??????????????????????????????????????????
??????????????????????????????????????????????????????????????????????(???????)??????????????????????????????A?B?C?D?????????????????????????????????????????????????????????????????????????????????????????????????????????? ???????????????????????????????????????????????????????/?????????????????????????????????????????????????????
?????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????? ?????????????????????????????????????????????????????????????????????????????
???????????????????????????????????????????????????????????????????????????????????????????????????????????????????????
2.3????????????
?????????????????
???????????????????????????????????????S??????????????????????????????????????????(Si X Pi)????????????????? InfoGain = S-?(SixPi)?
?????????????????????(???????????????????????)???????????????????????????????????
???????????????14????????9????5??????????????
?????????????????????????????????????????????????????????????????????????????????(????)????????????Outlook?????
????????????????????????????????????:
????????????????????????????????????????????????????????
????????????????????????????????
2.4????????
?????????????????????????????????????????????????????????/??/?????
??????????? ???? ????????????????????????????????????????????????????????????
2.4????????/?????????
1?????????????????????????YES??????????????????????(??????????????)????????????????YES?
2?????????????????????????????????????????????(????????????????)?????????????????????????????????????????????????????????
3?????
1????????????????????????????
?????????????????????????
????????????
?1????????
??1.1???????????
??1.2????????????????
??1.3??????????????????????????????
??1.4???3?????????????1?
