Hive的变量前面有一个命名空间,包括三个hiveconf,system,env,还有一个hivevar
1. hiveconf的命名空间指的是hive-site.xml下面的配置变量值。
2. system的命名空间是系统的变量,包括JVM的运行环境。
3. env的命名空间,是指环境变量,包括Shell环境下的变量信息,如HADOOP_HOME之类的
普通的变量可以使用
--define key=value
或者 --hivevar key=value
来声明,这都代表是hivevar,的变量。
如:
$ hive --define key=value
简写 hive -d key=value
或
$ hive --hivevar key=value
添加多个变量的时候如下:
$ hive --define a='a' --define b='b'
对于使用hivevar,前缀是可有可无的,如:
hive> create table toss1(i int, ${hivevar:foo} string);
等价于
hive> create table toss2(i2 int, ${foo} string);
但是对于使用命名空间如hiveconf,system,env的,前缀则不可少
在hive下面,可以通过
set;
或者
set -v;
来查看现有环境的所有变量的值。加上 -v参数,可以获取到HDFS和MapReduce的环境变量信息。
一个简单的Sample
hive> set CURRENT_DATE='2012-09-16'; hive> select * from foo where day >= '${hiveconf:CURRENT_DATE}' similarly, you could pass on command line:
hive -f xxx.hql
$ hive -hiveconf CURRENT_DATE='2012-09-16' -hiveconf CURRENT_DATE='2012-09-16' -f test.hql
hive -hiveconf mapred.job.queue.name=queue2 -e "set mapred.job.queue.name;"
相关推荐
命令行模式,或者说目录模式,可以使用hive 执行命令。 选项说明: -e : 执行短命令 -f : 执行文件(适合脚本封装) -S : 安静模式,不显示MR的运行过程 -hivevar : 用于定义hive运行时的变量替换 ,专门...
大数据的hive资源的详细代码设计以及分享,望博友相互交流
(a)配置HIVE_HOME环境变量 vi conf/hive-env.sh 配置其中的$hadoop_home (b)配置元数据库信息 vi hive-site.xml 添加如下内容: <name>javax.jdo.option.ConnectionURL <value>jdbc:mysql://...
sql全局变量,ransact-SQL语言中有两种形式的变量,一种是用户自己定义的局部变量,另外一种是系统提供的全局变量
本文档为总结的hive基础知识,包括hive服务、变量和属性、日志、表操作……等基础知识。
Hive数据仓库思维导图,便捷整理思路,Hive简介、Hive架构、Hive搭建:单用户模式、多用户模式
2. 解压安装包:进入/opt目录,使用以下命令解压Hive安装包,并将解压后的文件夹重命名为hive。 ```shell cd /opt tar -zxvf apache-hive-3.1.0-bin.tar.gz mv apache-hive-3.1.0-bin hive ``` 3. 配置环境变量:...
4.配置环境变量:为了方便使用,需把hive命令加入到环境变量中去,使用vim编辑器打开.bashrc文件,命令如下: 5.保存退出后,运行如下命令使配置立即生效: 6.修改/usr/local/hive/conf下的配置文件,该目录下的...
4.配置环境变量:为了方便使用,需把hive命令加入到环境变量中去,使用vim编辑器打开.bashrc文件,命令如下: 5.保存退出后,运行如下命令使配置立即生效: 6.修改/usr/local/hive/conf下的配置文件,该目录下的...
3. 向下取整函数: floor 11 4. 向上取整函数: ceil 12 5. 向上取整函数: ceiling 12 6. 取随机数函数: rand 12 7. 自然指数函数: exp 13 8. 以10为底对数函数: log10 13 9. 以2为底对数函数: log2 13 10. 对数函数: ...
设置环境变量 HIVE_HOME 和 HADOOP_HOME: export HIVE_HOME=/path/to/your/hive/directory export HADOOP_HOME=/path/to/your/hadoop/directory 使用 ant 构建 java 文件: ant build 构建 PyHive2: python ...
外部:Hive不存储信息,而是使用原始文件进行查询。 常规:Hive以更有效的方式存储文件的内容。 正在安装 创建文件夹/user/local/apache/hive/ 将最新版本的内容提取到其中。 在撰写本文时, apache-hive-1.2.1-...
Hadoop环境搭建下如何进行Hive的安装,内容详细丰富。包括安装前提,上传安装包,解压安装包,修改目录名称,配置环境变量,配置jar包,修改hive配置文件,修改hadoop配置文件,开启服务,初始化hive元数据库,启动...
Hive的部署脚本,在Hadoop集群中进行部署Hive时需要部署Mysql、Hive、Tez引擎、配置环境变量等等,在这整理了一份一键部署的脚本,希望可以帮助到大家,也可参考文章【大数据】Hadoop在呼唤Hive(附一键部署Hive脚本...
IDEA中使用Spark SQL 连接Hive 折腾了两个小时,好久没有弄了,记录一下 一、复制hive-site.xml 复制hive-site.xml到idea工程中的resource目录下 二、在windows中安装hadoop并配置环境变量 1、解压hadoop 2、修改...
程序功能: 在excel模板中填写自己表的字段英文名、字段类型、字段中文名、分区英文名、分区数据类型、分区中文名、表英文名、表中文名,自动生成建表语句和查询语句,...前提:本机安装java1.7,并且配置了环境变量。
消息序列化/反序列化员工对员工直接消息传递工人记忆饲料工人与花粉提供轻巧,可重用的库,用于: AJAX,工人到工人直接消息传递,工人记忆对象,数组和字符串操作使用JSONPath查询JSON对象变量评估和逻辑控制流程...
接着上一篇来说执行入口的分析,CliDriver最终将用户指令command提交给了Driver的run方法(针对常用查询语句而言),在这里用户的command将会被编译,优化...Driver有三个构造函数,主要功能也就是设置类的实例变量Hive
Linux 环境下 Hive 的安装部署 Hive CLI 和 Beeline 命令行的基本使用 Hive 常用 DDL 操作 Hive 分区表和分桶表 Hive 视图和索引 Hive 常用 DML 操作 Hive 数据查询详解 三、Spark Spark Core : Spark 简介 Spark ...
安装: $ git clone https://github.com/disregardfiat/hive_market_api.git $ cd hive_market_api $ npm i $ node index.js 它旨在从带有 market_history 插件的见证服务器上运行。 但是你可以很容易地指向一个。 ...