Hbase+hadoop单机配置经历
Hbase默认使用本地文件系统,如果使用hdfs,就需要修改一下配置文件。官方建议不要修改hbase-default.xml的默认配置,而是采用hbase-site.xml里面加入配置进行覆盖相同的配置项。我觉得这个默认规则很好,保持hbase-default不变,修改项全部在hbase-site里面,查阅起来很方便。如果hbase-default修改多了,以后就忘了到底修改了哪些,查询很麻烦,不利于维护。
hadoop配置文件展示
core-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://129.42.13.118:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/root/hadoop/tmp</value>
</property>
</configuration>
hadoop-env.sh
如果修改ssh端口,可以修改hadoop-env.sh的配置
export HADOOP_SSH_OPTS="-p 9092"
hdfs-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>dfs.name.dir</name>
<value>/root/hadoop/namenode</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/root/hadoop/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.block.size</name>
<value>5120000</value>
<description>The default block size for new files.</description>
</property>
</configuration>
mapred-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>129.42.13.118:9001</value>
</property>
</configuration>
masters和slaves单机的时候就可以不修改。
Hbase配置文件展示
hbase-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>hbase.rootdir</name>
<value>hdfs://icache-9200.site:9000/hbase</value>
<description>The directory shared by region servers.
</description>
</property>
</configuration>
以上配置就可以正常工作,先启动hadoop,后启动hbase
运行hadoop/hbase,命令根据实际的目录为准,不一定与我的一致:
1. hadoop-0.20.2/bin/hadoop namenode -format
2. hadoop-0.20.2/bin/start-all.sh
3. hbase-0.20.6/bin/start-hbase.sh
分享到:
相关推荐
NoSQL精粹 中文版+英文 NoSQL Distilled Pramod J. Sadalage, Martin Fowler
nosql实验一-HBase的安装与配置
技术选型:NoSQL产品选型
便于学习nosql,hbase的PPT,学习好材料。
HBase作为Google发表BigTable论文的开源实现版本,是一种分布式列式存储的数据库,构建在HDFS之上的NoSQL数据库,非常适合大规模实时查询,因此HBase在实时计算领域使用非常广泛。可以实时写HBase,也可以利用...
History started by chad walters and jim 2006.11 G release paper on BigTable 2007.2 inital HBase prototype created as Hadoop contrib 2007.10 First useable ...下面一幅图是Hbase在Hadoop Ecosystem中的位置。
启用高度可靠、可扩展、可用的数据。《Oracle NoSQL数据库:实时大数据管理》讲述如何全面运用Oracle NoSQL数据库这个经济实惠的...● 将Oracle NoSQL数据库与Oracle数据库、Oracle Event Processing以及Hadoop相集成
Nosql&hbase;原理,深度分析了为什么要用hbase?hbase的优缺点,适用场景
Hbase是Apache的NoSQL分布式可扩展Hadoop数据库,可以很好地横向扩展。Hbase中的数据是面向列的数据库,其中结构化数据存储在键值对中。Hbase用Java编写。Hbase的灵感来自Google Paper-“大表:结构化数据的分布式...
课时18:搭建分布式HBase集群之Hadoop部署 课时19:搭建分布式HBase集群之HBase部署 课时20:sqoop2部署 课时21:使用sqoop2将mysql数据导入到HBase 课时22:集群管理之节点管理与数据任务 课时23:Rowkey设计与...
华为大数据认证
nosql实验五-HBase数据迁移与数据备份&恢复
HBase 是一个开源的、分布式的、版本化的 NoSQL 数据库(也即非关系型数据库),它利用 Hadoop 分布式文件系统(Hadoop Distributed File System,HDFS)提供分布式数据存储。与传统的关系型数据库类似,HBase 也以...
│ Hbase性能优化-配置snappy压缩 │ Hbase中索引的介绍 │ PHoenix的编译及安装部署 │ PHoenix与Hbase表的关联使用 ├─03_笔记 │ [案例:Hbase的设计及企业优化].txt ├─04_代码 │ └─微博案例 ├─08_作业 ...
HBase – Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。 HBase是Google Bigtable的开源实现,类似Google Bigtable利用...
HBase 是一个开源的、分布式的、版本化的 NoSQL 数据库(也即非关系型数据库),它利用 Hadoop 分布式文件系统(Hadoop Distributed File System,HDFS)提供分布式数据存储。与传统的关系型数据库类似,HBase 也以...
nosql-实验三HBase管理工具和客户端
这篇文章由Datasalt的创始人IvandePrado和PereFerrera提供,Datasalt是一家专注于大数据的公司,推出了Pangool和SpoiltSQLBigData等开源项目...在Datasalt,我们已经与BBVA银行合作开发了一个系统,该系统能够对多年的
nosql实验二-HBase的表结构设计