- 浏览: 85755 次
文章分类
最新评论
开发接口实现方式:
Native Java API 最常规和高效的访问方式;Java API是访问Hbase最快的方式。
HBase Shell HBase的命令行工具,最简单的接口,适合HBase管理使用;
Thrift Gateway 利用Thrift序列化技术,支持C++, PHP, Python等多种语言。
REST Gateway 支持REST 风格的Http API访问HBase, 解除了语言限制;
MapReduce 直接使用MapReduce作业处理Hbase数据,使用Pig/hive处理Hbase数据。
一、java开发
步骤1:创建一个Configuration对象包含各种配置信息
Configuration conf = HbaseConfiguration.create();
步骤2:构建一个HTable句柄,提供Configuration对象,提供待访问Table的名称(不支持多行事务或者表级别的事务,支持单行事务)
org.apache.hadoop.hbase.client.HTable
HTable table = new HTable(conf, tableName);
步骤3:执行相应的操作,执行put、 get、 delete、 scan等操作
table.getTableName();
table.put("str");
步骤4:关闭HTable句柄,将内存数据刷新到磁盘上,释放各种资源
table.close();
Configuration对象包装了客户端程序连接Hbase服务所需的全部信息;
Zookeeper位置
Zookeeper连接超时时间
HbaseConfiguration.create()内部逻辑
1、从CLASSPATH中加载hbase-default.xml和hbase-site.xml两个文件
在<hadoop_install>/conf/hadoop-env.sh中设置
export HADOOP_CLASSPATH=$HBASE_HOME/*:$HBASE_HOME/conf:$HADOOP_CLASSPATH
hadoop classpath | grep hbase
2、hbase-default.xml已经被打包到Hbase jar包中(hbase自带)
3、hbase-site.xml需添加到CLASSPATH中(自己配置)
4、hbase-site.xml将覆盖hbase-default.xml中的同名属性
HTable句柄的创建
创建HTable句柄代价很大
扫描.META.表等;
创建一次,以后尽可能复用;
如果需要创建多个Htable句柄,使用HTablePool;
HTable并非线程安全的:一个线程创建一个即可
Htable支持CRUD批处理:非线程安全,仅是为了提高性能
向HBase写入数据
步骤1:创建一个Put对象;
Put put = new Put(Bytes.toBytes("rowkey"));//转化为byte
步骤2:设置cell值;
Put.add(family, column, value)
Put.add(family, column, timestamp, value)
Put.add(KeyValue kv)
步骤3:调用HTable中的put方法,写入数据;
步骤4:关闭HTable句柄。
从Hbase中读取数据:
接口:
get.setTimeRange(minStamp, maxStamp)
get.setMaxVersions(maxVersions)
get.addFamily(family)
get.addColumn(family, column)
读取数据时注意事项:
只读取需要的数据
尽可能增加数据约束条件
可增加family, column(s), time range 和 max versions等约束条件
从Hbase中删除数据:
从Hbase中scan数据:
二、mapreduce开发
创建Job对象,设置基本属性;
设置scan对象,指定扫描区间和数据列;
调用TableMapReduceUtil的initTableMapperJob和initTableReducerJob设置Mapper和Reducer等信息;
提交作业;
例:
HBase建表
参看:http://www.ylzx8.cn/yidongkaifa/android/192868.html
java:
HBaseAdmin hAdmin = new HBaseAdmin(hbaseConfig);
HTableDescriptor t = new HTableDescriptor(tableName);
t.addFamily(new HColumnDescriptor(“f1″));
t.addFamily(new HColumnDescriptor(“f2″));
t.addFamily(new HColumnDescriptor(“f3″));
t.addFamily(new HColumnDescriptor(“f4″));
hAdmin.createTable(t);
HBaseAdmin hAdmin = new HBaseAdmin(hbaseConfig);
if (hAdmin.tableExists(tableName)) {
hAdmin.disableTable(tableName);
hAdmin.deleteTable(tableName);
}
Native Java API 最常规和高效的访问方式;Java API是访问Hbase最快的方式。
HBase Shell HBase的命令行工具,最简单的接口,适合HBase管理使用;
Thrift Gateway 利用Thrift序列化技术,支持C++, PHP, Python等多种语言。
REST Gateway 支持REST 风格的Http API访问HBase, 解除了语言限制;
MapReduce 直接使用MapReduce作业处理Hbase数据,使用Pig/hive处理Hbase数据。
一、java开发
步骤1:创建一个Configuration对象包含各种配置信息
Configuration conf = HbaseConfiguration.create();
步骤2:构建一个HTable句柄,提供Configuration对象,提供待访问Table的名称(不支持多行事务或者表级别的事务,支持单行事务)
org.apache.hadoop.hbase.client.HTable
HTable table = new HTable(conf, tableName);
步骤3:执行相应的操作,执行put、 get、 delete、 scan等操作
table.getTableName();
table.put("str");
步骤4:关闭HTable句柄,将内存数据刷新到磁盘上,释放各种资源
table.close();
Configuration对象包装了客户端程序连接Hbase服务所需的全部信息;
Zookeeper位置
Zookeeper连接超时时间
HbaseConfiguration.create()内部逻辑
1、从CLASSPATH中加载hbase-default.xml和hbase-site.xml两个文件
在<hadoop_install>/conf/hadoop-env.sh中设置
export HADOOP_CLASSPATH=$HBASE_HOME/*:$HBASE_HOME/conf:$HADOOP_CLASSPATH
hadoop classpath | grep hbase
2、hbase-default.xml已经被打包到Hbase jar包中(hbase自带)
3、hbase-site.xml需添加到CLASSPATH中(自己配置)
4、hbase-site.xml将覆盖hbase-default.xml中的同名属性
HTable句柄的创建
创建HTable句柄代价很大
扫描.META.表等;
创建一次,以后尽可能复用;
如果需要创建多个Htable句柄,使用HTablePool;
HTable并非线程安全的:一个线程创建一个即可
Htable支持CRUD批处理:非线程安全,仅是为了提高性能
向HBase写入数据
步骤1:创建一个Put对象;
Put put = new Put(Bytes.toBytes("rowkey"));//转化为byte
步骤2:设置cell值;
Put.add(family, column, value)
Put.add(family, column, timestamp, value)
Put.add(KeyValue kv)
步骤3:调用HTable中的put方法,写入数据;
步骤4:关闭HTable句柄。
从Hbase中读取数据:
接口:
get.setTimeRange(minStamp, maxStamp)
get.setMaxVersions(maxVersions)
get.addFamily(family)
get.addColumn(family, column)
读取数据时注意事项:
只读取需要的数据
尽可能增加数据约束条件
可增加family, column(s), time range 和 max versions等约束条件
从Hbase中删除数据:
从Hbase中scan数据:
二、mapreduce开发
创建Job对象,设置基本属性;
设置scan对象,指定扫描区间和数据列;
调用TableMapReduceUtil的initTableMapperJob和initTableReducerJob设置Mapper和Reducer等信息;
提交作业;
例:
HBase建表
参看:http://www.ylzx8.cn/yidongkaifa/android/192868.html
java:
HBaseAdmin hAdmin = new HBaseAdmin(hbaseConfig);
HTableDescriptor t = new HTableDescriptor(tableName);
t.addFamily(new HColumnDescriptor(“f1″));
t.addFamily(new HColumnDescriptor(“f2″));
t.addFamily(new HColumnDescriptor(“f3″));
t.addFamily(new HColumnDescriptor(“f4″));
hAdmin.createTable(t);
HBaseAdmin hAdmin = new HBaseAdmin(hbaseConfig);
if (hAdmin.tableExists(tableName)) {
hAdmin.disableTable(tableName);
hAdmin.deleteTable(tableName);
}
发表评论
-
12、数据分析系统Hive/Pig
2015-03-28 00:22 524Hive(Facebook)构建在Hadoop ... -
11、hadoop--数据收集原理
2015-03-27 18:56 589常见的两种数据来源 分散的数据源: 机器产生的数据; ... -
10、zookeeper
2015-03-27 11:34 357zookeeper是一个针对大型分布式系统的可靠协调 ... -
7、Hbase基本框架
2015-03-26 23:31 444HBase是一个构建在HDFS上的分布式列存储系统; ... -
7、Yarn--MapReduce2.0
2015-03-26 14:09 9051、yarn介绍: MapReduce 2.0和YARN区别: ... -
6、HA+Federation 详解
2015-03-26 14:05 568now is nullnow is nullnow is nu ... -
5、hadoop多节点(HA + Federation)
2015-03-26 13:42 809一、准备 1、4台linux系统 2、检查联网 3、检查各 ... -
4、hadoop 多节点部署和测试(HA_HDFS)
2015-03-25 09:53 4003HA(High Available), 高可用性群集 ... -
3、hadoop 单节点 安装配置与测试
2015-03-24 12:39 668在hadoop/home中创建目录 itcast m ... -
2、hadoop 安装准备
2015-03-17 12:39 490准备工作:hadoop2.3 64 ... -
1、初相见 hadoop
2015-03-16 14:08 396_______了,把hadoop好好研 ... -
1、FastDFS
2015-03-14 21:52 0wwwwwwwwwwwwwwwwwwww http://blo ...
相关推荐
该资源为java客户端连接hbase集群,在windows客户端配置hadoop环境所需要用到的工具类,有需自取
hbase客户端下载,可以直接连接插入、查看 hbase客户端下载,可以直接连接插入、查看 hbase客户端下载,可以直接连接插入、查看
1、有多个工具可选择使用
Hbase 可视化客户端工具(非phoenix连接),支持Hbase1.x,配置方便,类似PL/SQL,是一个HBase数据库的客户端数据管理软件。
asynchbase(Asynchronous HBase)是完全异步,非阻塞的,线程安全的,高性能的 HBase 客户端。asynchbase 是 Java 库使用 HBase 的替代品,要求一个完全异步,非阻塞,线程安全,高性能的 HBase API。这个 HBase ...
HBase客户端数据管理软件 概要说明 类似PL/SQL,是一个HBase数据库的客户端数据管理软件。是免费开源的软件。 基于XJava,使用xml配置文件绘制可视化界面。 可视化界面操作 表 表的定义、编辑、删除; 数据 数据的...
HBase客户端说明启用方法在命令行中输入:hbase ip=xxx.xxx.xxx.xxx -window主界面数据库管理创建表删除表编辑(添加或删除)列族数
hbase客户端查询工具dbeaver,dbeaver也可以同时查询多种数据库
简单的hbase客户端 简单的 HBase 客户端
Hbase JAVA编程开发实验报告以及代码,1 按照“Hbase应用开发实验1.pdf”中给出的说明,完成相关相关实验及JAVA程序的编写、调试和运行,提交JAVA源程序(AccessObject.java, HBaseTester.java, User.java)及运行...
Golang HBase客户端 这是的纯客户端。 当前状态:测试版。支持的版本HBase的> = 1.0安装go get github.com/tsuna/gohbase用法示例创建一个客户client := gohbase . NewClient ( "localhost" )插入一个单元格// ...
nosql-实验三HBase管理工具和客户端
hbase 资源合集 hbase 企业应用开发实战 权威指南 hbase 实战 hbase 应用架构
Hbase1.x可视化客户端工具,内有使用说明,亲测可用。
hbase客户端相关操作封装成服务,采用http接口调用。内部采用命令模式 获取Hbase数据 API文档 访问方式http 入口: ? 参数名称 参数类型 是否必填 默认值 取值说明 serviceType String 否 1 取值:1或2,表示不同的...
hbase可视化客户端 类似PL/SQL,是一个HBase数据库的客户端数据管理软件。 1: put支持中文 2: 支持文件形式的批量put命令执行 3: 支持扫描目录下所有文件的批量put命令执行 4: 支持put命令字符的执行 5: 支持文件...
HBASE的java版本的客户端,运行代码需要设定环境变量且打包成jar文件运行
HBase企业应用开发】工作中自己总结的Hbase文档,非常全面!
适用于Java的Aliyun Tablestore HBase客户端 是阿里云主打的NoSQL大数据分布式数据库,目前已经扩展服务于众多阿里巴巴集团内部和外部应用,包括邮箱,钉钉,菜鸟,搜索,交易,推荐等。 表格存储的设计目标就是处理...
node-hbase-client 是 Node.js 的异步 HBase 客户端,使用纯 JavaScript 实现。当前状态:完全通过 HBase 0.94 和 0.94.16Java hbase-client支持 HBase 服务器的版本[√] 0.94.x[√] 0.94.0[√] 0.94.160.95.x0.96.x...