首页 Hive参数配置方法

Hive参数配置方法

举报
开通vip

Hive参数配置方法上周末,大讲台老师教了3种改变环境变量的方法,分别是:(1)、修改${HIVE_HOME}/conf/hive-site.xml配置文件;(2)、命令行参数;(3)、在已经进入cli时进行参数声明。下面分别来介绍这几种设定。  方法一:  在Hive中,所有的默认配置都在${HIVE_HOME}/conf/hive-default.xml文件中,如果需要对默认的配置进行修改,可以创建一个hive-site.xml文件,放在${HIVE_HOME}/conf目录下。里面可以对一...

Hive参数配置方法
上周末,大讲台老师教了3种改变环境变量的方法,分别是:(1)、修改${HIVE_HOME}/conf/hive-site.xml配置文件;(2)、命令行参数;(3)、在已经进入cli时进行参数声明。下面分别来介绍这几种设定。  方法一:  在Hive中,所有的默认配置都在${HIVE_HOME}/conf/hive-default.xml文件中,如果需要对默认的配置进行修改,可以创建一个hive-site.xml文件,放在${HIVE_HOME}/conf目录下。里面可以对一些配置进行个性化设定。在hive-site.xml的格式如下:<configuration><property><name>hive.metastore.warehouse.dir</name><value>/user/hive/warehouse</value><description>locationofdefaultdatabaseforthewarehouse</description></property></configuration>  所有的配置都是放在<configuration></configuration>标签之间,一个configuration标签里面可以存在多个<property></property>标签。<name>标签里面就是我们想要设定属性的名称;<value>标签里面是我们想要设定的值;<description;<标签是描述在这个属性的,可以不写。绝大多少配置都是在xml文件里面配置的,因为在这里做的配置都全局用户都生效,而且是永久的。用户自定义配置会覆盖默认配置。另外,Hive也会读入hadoop的配置,因为Hive是作为hadoop的客户端启动的,Hive的配置会覆盖Hadoop的配置。  方法二:  在启动Hivecli的时候进行配置,可以在命令行添加-hiveconfparam=value来设定参数,例如:[wyp@l-datalog5.data.cn1~]$hive--hiveconfmapreduce.job.queuename=queue1这样在Hive中所有MapReduce作业都提交到队列queue1中。这一设定对本次启动的会话有效,下次启动需要重新配置。  方法三:  在已经进入cli时进行参数声明,可以在HQL中使用SET关键字设定参数,例如:hive>setmapreduce.job.queuename=queue1;这样也能达到方法二的效果。这种配置也是对本次启动的会话有效,下次启动需要重新配置。在HQL中使用SET关键字还可以查看配置的值,如下:hive>setmapreduce.job.queuename;mapreduce.job.queuename=queue1我们可以得到mapreduce.job.queuename=queue1。如果set后面什么都不添加,这样可以查到Hive的所有属性配置,如下:hive>set;datanucleus.autoCreateSchema=truedatanucleus.autoStartMechanismMode=checkeddatanucleus.cache.level2=falsedatanucleus.cache.level2.type=nonedatanucleus.connectionPoolingType=DBCPdatanucleus.identifierFactory=datanucleusdatanucleus.plugin.pluginRegistryBundleCheck=LOGdatanucleus.storeManagerType=rdbmsdatanucleus.transactionIsolation=read-committeddatanucleus.validateColumns=falsedatanucleus.validateConstraints=falsedatanucleus.validateTables=false............................  上述三种设定方式的优先级依次递增。即参数声明覆盖命令行参数,命令行参数覆盖配置文件设定。  注意:某些系统级的参数,例如log4j相关的设定,必须用前两种方式设定,因为那些参数的读取在会话建立以前已经完成了。所以在HQL中设定是无效的。
本文档为【Hive参数配置方法】,请使用软件OFFICE或WPS软件打开。作品中的文字与图均可以修改和编辑, 图片更改请在作品中右键图片并更换,文字修改请直接点击文字进行修改,也可以新增和删除文档中的内容。
该文档来自用户分享,如有侵权行为请发邮件ishare@vip.sina.com联系网站客服,我们会及时删除。
[版权声明] 本站所有资料为用户分享产生,若发现您的权利被侵害,请联系客服邮件isharekefu@iask.cn,我们尽快处理。
本作品所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用。
网站提供的党政主题相关内容(国旗、国徽、党徽..)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
下载需要: 免费 已有0 人下载
最新资料
资料动态
专题动态
is_510358
暂无简介~
格式:doc
大小:15KB
软件:Word
页数:2
分类:互联网
上传时间:2017-09-14
浏览量:16