Hive常用命令及设置
创新互联是一家集网站建设,红花岗企业网站建设,红花岗品牌网站建设,网站定制,红花岗网站建设报价,网络营销,网络优化,红花岗网站推广为一体的创新建站企业，帮助传统企业提升企业形象加强企业竞争力。可充分满足这一群体相比中小企业更为丰富、高端、多元的互联网需求。同时我们时刻保持专业、时尚、前沿，时刻以成就客户成长自我，坚持不断学习、思考、沉淀、净化自己，让我们为更多的企业打造出实用型网站。
alter table ad_app.app_accounting_daily add columns (return_cost bigint) cascade;
数据倾斜
set hive.map.aggr=true;
set hive.groupby.skewindata=true;
set mapreduce.job.queuename = root.data.adonline;
set mapred.reduce.tasks=8192;
set mapreduce.job.priority=VERY_HIGH;
Set hive.groupby.mapaggr.checkinterval = 100000
set mapred.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec;
set mapred.map.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec;
set hive.exec.compress.intermediate=true;
set mapred.compress.map.output=true;
set mapred.max.split.size=256000000; -- 决定每个map处理的最大的文件大小，单位为B
set mapred.min.split.size.per.node=1; -- 节点中可以处理的最小的文件大小
set mapred.min.split.size.per.rack=1;
控制map数量
set mapred.max.split.size=128000000;
set mapred.min.split.size.per.node=64000000;
set mapred.min.split.size.per.rack=64000000;
set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;
设置reducer最大个数
set hive.exec.reducers.max=8192;
控制map reduce内存
set mapreduce.map.memory.mb=4096;
set mapreduce.reduce.memory.mb=4096;
set mapreduce.reduce.java.opts=-Xmx3800M;
set mapred.child.map.java.opts=-Xmx3800M;
set mapreduce.map.java.opts=-Xmx3800M;
ALTER TABLE table_name ADD IF NOT EXISTS PARTITION (dt='20130101') LOCATION '/user/hadoop/warehouse/table_name/dt=20130101'; //一次添加一个分区
