ITeye博客

小星星的技术blog

dacoolbaby · 共 194 篇文章

Hive JDBC 配置session properties

在使用hive jdbc的时候,需要有一些hive session的配置, 比如说: 当前作业使用的是哪条队列 当前作业的map大小,reduce大小,map个数,reduce的个数。 等等 解决方案是:在jdbc url上面,进行初始化的配置。 Connection URL Format The HiveServer2 URL is a string with the following syntax: jdbc:hive2://<host1>:<port1>,<host2>:<port2>/dbName;initFile=<file>;sess_var_list?hive_conf_li…

2017-07-09 23:13 · Hive · 评论(0)

你真的会SQL吗?关于SQL的join和on之间的区别

写了那么多年的SQL,居然发现自己写的是错的,实在是惭愧不已。还好没出什么问题。 于是,决定痛定思痛,纠正自己对SQL的错误认识。 我们有一个SQL: SELECT sys.Netbios_Name0 as [Computer Name], sf.fileName FROM dbo.v_R_System as sys INNER JOIN dbo.v_FullCollectionMembership as fcm ON fcm.ResourceID = sys.ResourceID LEFT JOIN dbo.v_GS_SoftwareFile as sf ON sf.resourceID …

2014-12-05 22:11 · Oracle SQL · 评论(0)

Linux crontab 调度失败

crontab是个Linux上面常用的调度工具。 当然,如果在大量设备的情况下,尽量不要用本地的crontab,维护起来很麻烦。 那么我遇到的问题是,crontab调度失败。 也就是一般的crontab命令: crontab -e #报表调度 0 4-4 * * * /bin/sh /home/moonbasa/etl/dxy/dsp_report.sh 在/var/log/cron.log 下看到日志是确实有执行调度的。 解决方案: 在shell命令里面,添加环境变量的配置: . /etc/profile . /*root/.bashrc #对应的用户 这里的“ . “ 命令,其实就是so…

2014-12-05 09:43 · Linux · 评论(0)

[转]Servlet3特征 异步Servlet

转自:http://www.importnew.com/8864.html 理解异步Servlet之前,让我们试着理解为什么需要它。假设我们有一个Servlet需要很多的时间来处理,类似下面的内容: package com.journaldev.servlet; import java.io.IOException; import java.io.PrintWriter; import javax.servlet.ServletException; import javax.servlet.annotation.WebServlet; import javax.servlet.http.Ht…

2014-12-04 22:01 · Java · 评论(0)

慎用堆表

有时候我们常常为了使用方便,省略建主键的建表方式。 因为很多时候,这些数据来自于外部,而且数量和增长不会很大。 比如是一些存储过程刷新出来的结果集。 那么我们就会建一个堆表。什么是堆表? 就是没有主键,也没有索引的表。 堆表在创建以后,数据库会以最快地速度把数据插入到磁盘中。在这个过程中,会产生磁盘碎片,数据分散的情况。 这样会大大地降低数据密度。 什么意思呢? 就是说在SELECT表T,要扫描扇区A的时候,只有10%的数据是表T的,但是为了那10%的数据,要扫描多90%不必要的数据。 我们不介意搜索引擎对表T进行全表扫描,但是数据碎片化对于数据库性能,还有磁盘性能都有很大的隐患。 所以,无…

2014-11-18 11:14 · Oracle SQL · 评论(0)

java多线程同步代码块wait(),notify()和notifyAll()

一直对同步代码块和notify()不是很熟悉,后来做了个教程,总算是了解清楚了。 wait(),notify()和notifyAll() 其实是用于线程间的通信的。 Java有一个内建的等待机制来允许线程在等待信号的时候变为非运行状态。java.lang.Object 类定义了三个方法,wait()、notify()和notifyAll()来实现这个等待机制。 一个线程一旦调用了任意对象的wait()方法,就会变为非运行状态,直到另一个线程调用了同一个对象的notify()方法。为了调用wait()或者notify(), 线程必须先获得那个对象的锁。也就是说,线程必须在同步块里调用wait(…

2014-10-29 17:06 · Java · 评论(0)

SolrJ 常用增删查

Solr搜索引擎一般是只会进行增删查,对于Solr的数据结构,可以理解为类似MongoDB的类型的数据库。 与MonogoDB的Schema Free不同。 Solr还是需要自己定义字段,并且做一些设置的。 而Solr一般在修改索引的时候,会选择全量更新,所以一般不会有单条索引的更新操作。 SolrJ添加索引: public class SolrJAdd { public static void main(String[] args) { String urlString = "http://localhost:8983/solr"; SolrServer solr = new HttpSo…

2014-10-20 11:15 · solr · 评论(0)

Solr4.7配置简单Replication

公司的架构没有zookeeper,所以solr还是用原有的Replication方式进行负载。 在Solr example里面的core/conf/solrconfig.xml下面,有一段Replication的配置: <!-- Solr Replication The SolrReplicationHandler supports replicating indexes from a "master" used for indexing and "slaves" used for queries. http://wiki.apache.org/solr/SolrReplication It…

2014-10-20 09:36 · solr · 评论(0)

[转]Python version 2.7 required, which was not found in the registry

refer:http://www.cnblogs.com/min0208/archive/2012/05/24/2515584.html 不能在注册表中识别出来python2.7 在网上找了方法,仅作笔记,供下次使用 方法: 新建一个register.py 文件,把一下代码贴进去,保存(G盘) # # script to register Python 2.0 or later for use with win32all # and other extensions that require Python registry settings # # written by Joakim Loe…

2014-10-16 13:35 · python · 评论(0)

[半转]Linux 查找命令

Linux的查找命令 查找各文件夹中对应文件并显示文件大小时间等信息 find ./ -name "*hadoop*" | xargs ls -ltr 只查找文件夹 find ./ -name "xxxlog" -type d 查找30天内修改过的文件 find . -type f -mtime -30 1. find find是最常见和最强大的查找命令,你可以用它找到任何你想找的文件。 find的使用格式如下: $ find <指定目录> <指定条件> <指定动作> - <指定目录>: 所要搜索的目录及其所有子目录。默认为当前目录。 - <指定条件>: 所要搜索的文件的特征。 - <指定动…

2014-09-09 14:17 · Linux · 评论(0)

为hadoop0.20.2 配置Ganglia3.1.7

hadoop0.20.2,打了补丁以后,可以支持Ganglia3.X的监控。 如果不打补丁,就无法支持Ganglia3.X了。 安装说明等,完整下载地址:http://pan.baidu.com/s/1hqehLp6 1.用rpm检测依赖包情况 rpm -q gcc glibc glibc-common rrdtool rrdtool-devel apr apr-devel expat expat-devel pcre pcre-devel dejavu-lgc-sans-mono-fonts dejavu-sans-mono-fonts 2.下载安装缺失的依赖包 yum install a…

2014-09-03 17:17 · Hadoop · 评论(0)

[转]谈谈Memcached与Redis

原文出自:http://blog.sina.com.cn/s/blog_72995dcc01018qkf.html 这是一篇非常非常好的文章,讲述Memcached与Redis的选择,给人以全面的认识。 1. Memcached简介 Memcached是以LiveJurnal旗下Danga Interactive公司的Bard Fitzpatric为首开发的高性能分布式内存缓存服务器。其本质上就是一个内存key-value数据库,但是不支持数据的持久化,服务器关闭之后数据全部丢失。Memcached使用C语言开发,在大多数像Linux、BSD和Solaris等POSIX系统上,只要安装了li…

2014-08-28 15:41 · cache · 评论(0)

配置sqoop和mssql

将mssql 的jar包:sqljdbc4.jar 拷贝到SQOOP_HOME/lib下 配置sqoop cd /home/support/sqoop-1.4.5/conf cp sqoop-env-template.sh sqoop-env.sh 修改sqoop-env.sh文件 增加: export HADOOP_COMMAND_HOME=/usr/local/hadoop-0.20.2 export HADOOP_MAPRED_HOME=/usr/local/hadoop-0.20.2 export HIVE_HOME=/usr/local/hive-0.7.1-bin 修改环境变量:…

2014-08-28 10:22 · Hadoop · 评论(0)

Java序列化 Seriallizable 和 Externalizable

1.Java对象序列化是将 对象的实例域数据( 包括private私有域) 进行持久化存储。而并非是将整个对象所属的类信息进行存储。 2.我们都知道凡要序列化的类都必须实现Serializable接口。包括Externalizable接口 3.包含了不可序列化的对象域的对象也是不能序列化的。 实现Externalizable接口的类完全由自身来控制序列化的行为,而仅实现Serializable接口的类可以采用默认的序列化方式 对象序列化包括如下步骤: 1) 创建一个对象输出流,它可以包装一个其他类型的目标输出流,如文件输出流; 2) 通过对象输出流的writeObject()方法写对象。 对…

2014-08-25 17:56 · Java · 评论(0)

Solr4.6+ multicore配置

有2中配置方式,一是从Solr Admin进行multi core的配置。 在Solr Admin控制台里面选择:Core Admin 选择Add Core 然后把你准备好的路径写到里面去。 name: xxx 配置core的名称 instanceDir:xxx 配置指向你的Solr core的路径,可以是绝对路径,也可以是相对Solr Home的路径 dataDir:data config:solrconfig.xml sechma:schema.xml 下面的3个一般不用配置,solr会自动在你的instanceDir下面,创建一个data目录,存放index数据 在你指定的instan…

2014-08-19 22:19 · solr · 评论(0)