博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Hadoop伪分布安装详解(四)
阅读量:4652 次
发布时间:2019-06-09

本文共 2980 字,大约阅读时间需要 9 分钟。

目录:

     1.修改主机名和用户名

     2.配置静态IP地址

     3.配置SSH无密码连接

     4.安装JDK1.7

     5.配置Hadoop

     6.安装Mysql

     7.安装Hive

     8.安装Hbase

     9.安装Sqoop

********************

为什么要安装Mysql?  因为Hive的元数据和数据是分开存放的,数据存放在HDFS中,元数据默认存储在Derby数据库中。

但是由于Derby数据库只支持同时一个用户访问Hive,因此将数据库的配置更改为Mysql。

6.安装Mysql

 (1)安装Mysql客户端: 

yum install mysql

 (2)安装Mysql服务器端:  

yum install mysql-server   yum install mysql-devel

   (3)查看Mysql的状态  

service mysqld status

     

# Mysql启动   service mysqld start# Mysql停止   service mysqld stop

     (4)启动Mysql后,以root用户登录Mysql:

mysql -u root    mysql> set PASSWORD  FOR 'root'@'localhost'=PASSWORD('root')  #设置密码root   mysql -u root  -p

      

      (5)创建数据库Hive,用来保存Hive元数据     

create  database   hive

    使用root用户操作hive中所有的表格

GRANT  all  ON  hive.*  TO  root@'neusoft-master'    IDENTIFIED  BY  'hivepwd'     flush  privileges;     select   user,host from mysql.user

   如下显示:

    

  7.安装Hive

    (1) 下载hive的安装包,并传到centos系统中,在对应目录解压即可

tar  -zxvf  /opt/hive-1.1.0-cdh5.6.0.tar.gz

    (2)修改hive的配置文件/opt/hive-1.1.0-cdh5.6.0/conf,在conf目录下创建hive-site.xml  

[root@neusoft-master conf]# cd /opt/hive-1.1.0-cdh5.6.0/conf/[root@neusoft-master conf]# lltotal 20-rw-r--r-- 1 1106  592 1139 Jan 29  2016 beeline-log4j.properties.template-rw-r--r-- 1 1106  592 2459 Jan  6 21:09 hive-env.sh-rw-r--r-- 1 1106  592 2662 Jan 29  2016 hive-exec-log4j.properties.template-rw-r--r-- 1 1106  592 3505 Jan 29  2016 hive-log4j.properties.template-rw-r--r-- 1 root root  740 Jan  6 21:36 hive-site.xml[root@neusoft-master conf]# cat hive-site.xml 
hive.metastore.local
true
javax.jdo.option.ConnectionURL
jdbc:mysql://neusoft-master:3306/hive?createDatabaseIfNotExist=true
javax.jdo.option.ConnectionDriverName
com.mysql.jdbc.Driver
javax.jdo.option.ConnectionUserName
root
javax.jdo.option.ConnectionPassword
hivepwd

   如图: 

    

   (3)配置hive-env.sh

     由于hive压缩包中只有hive-env.sh.template文件,因此需要复制一份文件并更改为hive-env.sh,如下命令:

cp hive-env.sh.template hive-env.sh

     [root@neusoft-master conf]# vi  hive-env.sh 

export JAVA_HOME=/usr/java/defaultexport HADOOP_HOME=/opt/hadoop-2.6.0-cdh5.6.0

    

   (4)移动jar包到hive的lib目录下

    将Mysql的JDBC驱动jar包移动到hive-1.1.0-cdh5.6.0/lib下,否则hive不能成功连接mysql

     JDBC的jar包应选择相应版本,如:mysql-connector-5.1.30.jar,这里不是下载mysql安装包,而是找到mysql启动包放进lib目录下。

 (5)环境变量配置    

vi  /etc/profile   #更改如下
export HIVE_HOME=/opt/hive-1.1.0-cdh5.6.0export PATH=$JAVA_HOME/bin/:$PATH:$HADOOP_HOME/bin:$HIVE_HOME/bin

   

   source  /etc/profile  #环境变量生效

  (6)验证安装

  首先启动Hadoop和Mysql,在执行Hive

  执行创建表结构:create  table  test(id int);

  执行含有mapreduce的查询

  

  补充:如果用户通过SecureCRT链接虚拟机,则会出现进入hive命令行后无法使用退格键的情况?

           详细描述: 通过SecureCRT连接服务器,使用Hive时,不能用Backspace或delete时

            解决方案:在选项里面有个会话选项--终端---仿真选项里面终端选择linux即可。

    

 END~

   

转载于:https://www.cnblogs.com/jackchen-Net/p/6445690.html

你可能感兴趣的文章
Angular 1.63 双向数据绑定 通过 $http 发送数据
查看>>
HTML框架、选择器、列表
查看>>
60行JS实现俄罗斯方块
查看>>
php以及前端的一些小小的技术要点
查看>>
html基础知识
查看>>
IO流2之文件夹的
查看>>
好的用户界面-界面设计的一些技巧
查看>>
【Android实战开发】3G技术和Android发展简介
查看>>
【精解】EOS标准货币体系与源码实现分析
查看>>
AFore.NET 翻译
查看>>
[大牛翻译系列]Hadoop(8)MapReduce 性能调优:性能测量(Measuring)
查看>>
What to do when the Chinese Characters are messed up when extracting from zip archive?
查看>>
SQLYog快捷键大全
查看>>
(转载)DLL动态链接库编程入门之三:MFC规则DLL(上)
查看>>
隐藏Nginx或Apache以及PHP的版本号的方法
查看>>
N32926之jlink调试配置
查看>>
ASP.NET ACCESS 分页
查看>>
HashMap
查看>>
Android广播机制概述
查看>>
mysql触发器
查看>>