基于R语言的分类算法之决策树
创新互联坚持“要么做到，要么别承诺”的工作理念，服务领域包括：成都网站建设、网站设计、企业官网、英文网站、手机端网站、网站推广等服务，满足客户于互联网时代的东洲网站设计、移动媒体设计的需求，帮助企业找到有效的互联网解决方案。努力成为您成熟可靠的网络建设合作伙伴！
ID3 《= 最大信息熵增益，只能处理离散型数据
C4.5 《= 信息增益率，可处理连续性和离散型数据，相比ID3，减少了因变量过多导致的过拟合
C5.0 《= 信息增益率，运算性能比C4.5更强大
CART 《= 基尼指数最小原则，连续性和离散型数据均可
信息熵体现的是数据的杂乱程度，信息越杂乱，信息熵越大，反之越小。 例如：拥有四种连续型变量的特征变量的信息熵一定比拥有三种的要大。
特征变量的N种可能性，每种可能性的概率相同，N越大，信息熵越大。
每种可能性的概率不同，越偏态，信息熵越小。
所有特征变量中，信息增益率的，就是根节点（root leaf），根节点一般是选择N越大的特征变量，因为N越大，信息熵越大。
信息增益率是在信息熵的基础上作惩罚计灶亩悉算，避免特征变量可能性多导致的高信息增益。
代码相关
library（C50）
C5.0(x,y, trials = 1, rules=FALSE,weights=NULL,control=C5.0Control(),costs=NULL)
x为特征变量，y为应变量
trials 为迭代次数（这个值根据不同数据而不同，并耐竖非越大越好，一般介于5-15之间，可以用遍历来寻找最高准确率的模型，对模型准确率的提升效果中等）
cost 为损失矩阵，R中应该传入一个矩阵（据说是对准确率矩阵约束猜测错误的项，但是并没特别明显的规律，可以使用遍历来寻找最好的cost，准确率提升效果小）
costs - matrix(c(1,2,1,2),
ncol = 2, byrow = TRUE,
dimnames = list(c("yes","no"), c("yes","no")))
control 设置C5.0模型的其他参数，比如置信水平和节点最小样本等（水很深，参数很多，可以自行查阅R的帮助文档，我隐乎只设置了一个CF，准确率提升效果小）
control = C5.0Control(CF = 0.25)
library(C50)
#对iris随机划分训练集和测试集
set.seed(1234)
index - sample(1:nrow(iris), size = 0.75*nrow(iris))
train - iris[index,]
test - iris[-index,]
#查看训练集和测试集分布是否合理
prop.table(table(train$Species))
prop.table(table(test$Species))
#不设置任何参数
fit1 - C5.0(x = train[,1:4], y = train[,5])
pred1 - predict(fit1, newdata = test[,-5])
freq1 - table(pred1, test[,5])
accuracy - sum(diag(freq1))/sum(freq1)
pred1 setosa versicolor virginica
setosa 16 0 0
versicolor 0 13 1
virginica 0 0 8
准确率为0.9736842，只有一个错误。。。显然150个iris太少了，优化都省了。
如何用R语言实现决策树C5.0模型
在决尺橘策树生成模乎困宏型后，将预测数据作为岁册输入，并与生成的模型连接进行求解即可。
vector：向量 numeric：数值型向量 logical：逻辑型向量 character；字符型向量 list：列表 data.frame：数据框
c：连接为向量或列表 sequence：等差序列 rep：重复
length：求长度 subset：求子集 seq，from:to， NA：缺失值 NULL：空对象 sort，order，unique，rev：排序 unlist：展平列表 attr，attributes：对象属性
mode，typeof：对象存储模式与类型 names：对象的名字属性
character：字符型向量 nchar：字符数 substr：取子串 format，formatC：把对象用格式转换为字符串 paste，strsplit：连接或拆分
charmatch，pmatch：字符串匹配 grep，sub，gsub：模式匹配与替换
complex，Re，Im，Mod，Arg，Conj：复数函数
factor：因子 codes：因子的编码 levels：因子的各水平的名字 nlevels：因子的水平个数 cut：把数值型对象分区间转换为因子
table：交叉频数表 split：按因子分组 aggregate：计算各数据子集的概括统计量 tapply：对“不规则”数组应用函数
+, -, *, /, ^, %%, %/%：四则运算 ceiling，floor，round，signif，trunc，zapsmall：舍入 max，min，pmax，pmin：最大最小值
range：最大值和最小值 sum，prod：向量元素和，积 cumsum，cumprod，cummax，cummin：累加洞败、累乘 sort：排序 approx和approx fun：插值 diff：差分 sign：符号函数
abs，sqrt：绝对值，平方根 log, exp, log10, log2：对数与指数函数 sin，cos，tan，asin，acos，atan，atan2：三角函数
sinh，cosh，tanh，asinh，acosh，atanh：双曲函数
beta，lbeta，gamma，lgamma，digamma，trigamma，tetragamma，pentagamma，choose ，lchoose：与贝塔函数、伽玛函数、组合数有关的特殊函数
fft，mvfft，convolve：富利叶变换困盯及卷积 polyroot：多项式求根 poly：正交多项式 spline，splinefun：样条差值
besselI，besselK，besselJ，besselY，gammaCody：Bessel函数 deriv：简单表达式的符号微分或算法微分
array：建立数组 matrix：生成矩阵 data.matrix：把数据框转换为数值型矩阵 lower.tri：矩阵的下三角部分 mat.or.vec：生成矩阵或向量 t：矩阵转置
cbind：把列合并为矩阵 rbind：把行合并为矩阵 diag：矩阵对角元素向量或生成对角矩阵 aperm：数组转置 nrow, ncol：计算数组的行数和列数 dim：对象的维向量
dimnames：对象的维名 row/colnames：行名或列名 %*%：矩阵乘法 crossprod：矩阵交叉乘积（内积） outer：数组外积 kronecker：数组的Kronecker积
apply：对数组的某些维应用函数 tapply：对“不规则”数组应用函数 sweep：计算数组的概括统计量 aggregate：计算数据子集的概括统计量 scale：矩阵标准化
matplot：对矩阵各列绘图 cor：相关阵或协差阵 Contrast：对照矩阵 row：矩阵的行下标集 col：求列下标集
solve：解线性方程组或求逆 eigen：矩阵纳尺颤的特征值分解 svd：矩阵的奇异值分解 backsolve：解上三角或下三角方程组 chol：Choleski分解
qr：矩阵的QR分解 chol2inv：由Choleski分解求逆
，，=，=，==，!=：比较运算符 !，，，|，||，xor()：逻辑运算符 logical：生成逻辑向量 all，any：逻辑向量都为真或存在真
ifelse()：二者择一 match，%in%：查找 unique：找出互不相同的元素 which：找到真值下标集合 duplicated：找到重复元素
optimize，uniroot，polyroot：一维优化与求根
if，else，ifelse，switch：分支 for，while，repeat，break，next：循环 apply，lapply，sapply，tapply，sweep：替代循环的函数。
function：函数定义 source：调用文件 call：函数调用 .C，.Fortran：调用C或者Fortran子程序的动态链接库。 Recall：递归调用
browser，debug，trace，traceback：程序调试 options：指定系统参数 missing：判断虚参是否有对应实参 nargs：参数个数 stop：终止函数执行
on.exit：指定退出时执行 eval，expression：表达式计算 system.time：表达式计算计时 invisible：使变量不显示 menu：选择菜单（字符列表菜单）
其它与函数有关的还有：delay，delete.response，deparse，do.call，dput，environment ，，formals，format.info，interactive，
is.finite，is.function，is.language，is.recursive ，match.arg，match.call，match.fun，model.extract，name，parse，substitute，sys.parent ，warning，machine
cat，print：显示对象 sink：输出转向到指定文件 dump，save，dput，write：输出对象 scan，read.table，load，dget：读入
ls，objects：显示对象列表 rm, remove：删除对象 q，quit：退出系统 .First，.Last：初始运行函数与退出运行函数。
options：系统选项 ?，help，help.start，apropos：帮助功能 data：列出数据集分析
每一种分布有四个函数：d――density（密度函数），p――分布函数，q――分位数函数，r――随机数函数。
比如，正态分布的这四个函数为dnorm，pnorm，qnorm，rnorm。下面我们列出各分布后缀，前面加前缀d、p、q或r就构成函数名：
norm：正态，t：t分布，f：F分布，chisq：卡方（包括非中心） unif：均匀，exp：指数，weibull：威布尔，gamma：伽玛，beta：贝塔
lnorm：对数正态，logis：逻辑分布，cauchy：柯西， binom：二项分布，geom：几何分布，hyper：超几何，nbinom：负二项，pois：泊松 signrank：符号秩，
wilcox：秩和，tukey：学生化极差
sum, mean, var, sd, min, max, range, median, IQR（四分位间距）等为统计量，sort，order，rank与排序有关，其它还有ave，fivenum，mad，quantile，stem等。
R中已实现的有chisq.test，prop.test，t.test。
cor，cov.wt，var：协方差阵及相关阵计算 biplot，biplot.princomp：多元数据biplot图 cancor：典则相关 princomp：主成分分析 hclust：谱系聚类
kmeans：k-均值聚类 cmdscale：经典多维标度 其它有dist，mahalanobis，cov.rob。
ts：时间序列对象 diff：计算差分 time：时间序列的采样时间 window：时间窗
lm，glm，aov：线性模型、广义线性模型、方差
R语言常用函数整理本篇是基础篇，即R语言自带的函数。
vector：向量
numeric：数值型向量
logical：逻辑型向量
character；字符型向量
list：列表
data.frame：数据框
c：连接为向量或列表
length：求长度
subset：求子集
seq，from:to，sequence：等差序列
rep：重复
NA：缺失值
NULL：空对象
sort，order，unique，rev：排序
unlist：展平列表
attr，attributes：对象属性
mode，class，typeof：对象存储模式与类型
names：对象的名字属性
字符型向量 nchar：字符数
substr：取子串 format，formatC：把对象用格式转换为字符串
paste()、paste0()不仅可以连接多个字符串，还可以将对象自动转换为字符串再相连，另外还能处理向量。
strsplit：连接或拆分
charmatch，pmatch：字符串匹配
grep，sub，gsub：模式匹配与替换
complex，Re，Im，Mod，Arg，Conj：复数函埋败胡数
factor：因子 codes：因子的编码 levels：因子的各水平的名字 nlevels：因子的水平个数 cut：把数值型对象分区间转换为因子
table：交叉频数表 split：按因子分组 aggregate：计算各数据子集的概括统计量 tapply：对“不规则”数组应用函数
dev.new() 新建画板
plot()绘制点线图,条形图,散点图.
barplot( ) 绘制条形图
dotchart( ) 绘制点图
pie( )绘制饼图.
pair( )绘制散点图阵
boxplot( )绘制箱线图
hist( )绘制直方图
scatterplot3D( )绘制3D散点图.
par()可以添加很多参数来修改图形
title( ) 添加标题
axis( ) 调整刻度
rug( ) 添加轴密度
grid( ) 添加网格线
abline( ) 添加直线
lines( ) 添加曲线
text( ) 添加标签
legend(） 添加图例
+, -, *, /, ^, %%, %/%：四则运算 ceiling，floor，round，signif
1、round() #四舍五入
例：x - c(3.1416, 15.377, 269.7)
round(x, 0) #保留整数位
round(x, 2) #保留两位小数
round(x, -1) #保留到十位
2、signif() #取有效数字(跟学过的有效数字不是一个意思)
例：略
3、trunc() #取整
floor() #向下取整
ceiling() #向上取整
例：xx - c(3.60, 12.47, -3.60, -12.47)
trunc(xx)
floor(xx)
ceiling(xx)
max，min，pmax，pmin：最大最小值
range：最大值和最小值 sum，prod：向量元素和，积 cumsum，cumprod，cummax，cummin：累加、累乘 sort：排序 approx和approx fun：插值 diff：差分 sign：符号函数弯拦
abs，sqrt：绝对值，平方枯庆根
log, exp, log10, log2：对数与指数函数
sin，cos，tan，asin，acos，atan，atan2：三角函数
sinh，cosh，tanh，asinh，acosh，atanh：双曲函数
beta，lbeta，gamma，lgamma，digamma，trigamma，tetragamma，pentagamma，choose ，lchoose：与贝塔函数、伽玛函数、组合数有关的特殊函数
fft，mvfft，convolve：富利叶变换及卷积
polyroot：多项式求根
poly：正交多项式
spline，splinefun：样条差值
besselI，besselK，besselJ，besselY，gammaCody：Bessel函数
deriv：简单表达式的符号微分或算法微分
array：建立数组
matrix：生成矩阵
data.matrix：把数据框转换为数值型矩阵
lower.tri：矩阵的下三角部分
mat.or.vec：生成矩阵或向量
t：矩阵转置
cbind：把列合并为矩阵
rbind：把行合并为矩阵
diag：矩阵对角元素向量或生成对角矩阵
aperm：数组转置
nrow, ncol：计算数组的行数和列数
dim：对象的维向量
dimnames：对象的维名
rownames，colnames：行名或列名
%*%：矩阵乘法
crossprod：矩阵交叉乘积（内积）
outer：数组外积
kronecker：数组的Kronecker积
apply：对数组的某些维应用函数
tapply：对“不规则”数组应用函数
sweep：计算数组的概括统计量
aggregate：计算数据子集的概括统计量
scale：矩阵标准化
matplot：对矩阵各列绘图
cor：相关阵或协差阵
Contrast：对照矩阵
row：矩阵的行下标集
col：求列下标集
solve：解线性方程组或求逆
eigen：矩阵的特征值分解
svd：矩阵的奇异值分解
backsolve：解上三角或下三角方程组
chol：Choleski分解
qr：矩阵的QR分解
chol2inv：由Choleski分解求逆
，，=，=，==，!=：比较运算符 !，，，|，||，xor()：
逻辑运算符 logical：
生成逻辑向量 all，
any：逻辑向量都为真或存在真
ifelse()：二者择一 match，
%in%：查找
unique：找出互不相同的元素
which：找到真值下标集合
duplicated：找到重复元素
optimize，uniroot，polyroot：一维优化与求根
if，else，
ifelse，
switch：
分支 for，while，repeat，break，next：
循环 apply，lapply，sapply，tapply，sweep：替代循环的函数。
function：函数定义
source：调用文件 ’
call：函数调用 .
C，.Fortran：调用C或者Fortran子程序的动态链接库。
Recall：递归调用
browser，debug，trace，traceback：程序调试
options：指定系统参数
missing：判断虚参是否有对应实参
nargs：参数个数 stop：终止函数执行
on.exit：指定退出时执行 eval，expression：表达式计算
system.time：表达式计算计时
invisible：使变量不显示
menu：选择菜单（字符列表菜单）
其它与函数有关的还有：
delay，
delete.response，
deparse，
do.call，
dput，
environment ，
formals，
format.info，
interactive，
is.finite，
is.function，
is.language，
is.recursive ，
match.arg，
match.call，
match.fun，
model.extract，
name，
parse 函数能将字符串转换为表达式expression
deparse 将表达式expression转换为字符串
eval 函数能对表达式求解
substitute，
sys.parent ，
warning，
machine
cat，print：显示对象
sink：输出转向到指定文件
dump，save，dput，write：输出对象
scan，read.table，readlines, load，dget：读入
ls，objects：显示对象列表
rm, remove：删除对象
q，quit：退出系统
.First，.Last：初始运行函数与退出运行函数。
options：系统选项
?，help，help.start，apropos：帮助功能
data：列出数据集
head()查看数据的头几行
tail()查看数据的最后几行
每一种分布有四个函数：
d―density（密度函数），p―分布函数，q―分位数函数，r―随机数函数。
比如，正态分布的这四个函数为dnorm，pnorm，qnorm，rnorm。下面我们列出各分布后缀，前面加前缀d、p、q或r就构成函数名：
norm：正态，
t：t分布，
f：F分布，
chisq：卡方（包括非中心）
unif：均匀，
exp：指数，
weibull：威布尔，
gamma：伽玛，
beta：贝塔
lnorm：对数正态，
logis：逻辑分布，
cauchy：柯西，
binom：二项分布，
geom：几何分布，
hyper：超几何，
nbinom：负二项，
pois：泊松
signrank：符号秩，
wilcox：秩和，
tukey：学生化极差
sum, mean, var, sd, min, max, range, median, IQR（四分位间距）等为统计量，
sort，order，rank与排序有关，
其它还有ave，fivenum，mad，quantile，stem等。
R中已实现的有chisq.test，prop.test，t.test。
cor，cov.wt，var：协方差阵及相关阵计算
biplot，biplot.princomp：多元数据biplot图
cancor：典则相关
princomp：主成分分析
hclust：谱系聚类
kmeans：k-均值聚类
cmdscale：经典多维标度
其它有dist，mahalanobis，cov.rob。
ts：时间序列对象
diff：计算差分
time：时间序列的采样时间
window：时间窗
lm，glm，aov：线性模型、广义线性模型、方差分析
quo()等价于quote()
enquo()等价于substitute(）
