CDH6 介绍,安装和测试

一: cdh6 的介绍

cdh 6 版本的新功能

1.打包集成Solr7,更好的应对无论是结构化数据还是非结构化数据。Solr7支持直接使用SQL查询,并且通过SQL接口可以将对非结构化数据的查询对接到传统BI工具。Cloudera Enterprise 6.0支持新的 JSON Facet Module以及Nested Documents,对于Solr7的新的查询界面UI也在6.x的Roadmap中。

2.Hive2的矢量化(vectorization )进一步提升分析性能,带来20%-80%的性能提升。YARN可以在带有GPU的专有硬件上调度作业,对于深度学习用例的性能提升在5倍到10倍。

3.通过全自动的wire encryption(TLS)以及对于Cloudera Manager用户的更加细粒度对每个集群访问的控制,提升Cloudera Manager的集群管理效率,并保护敏感数据以及对基础架构的访问。从而使管理员可以在几分钟之内部署超过2500个节点的多个集群,同时管理开销最小。

 

cdh 6 版本使用组件的版本

Cloudera Enterprise 6.0中的主要组件的升级:

SDX
Cloudera Manager 6.0
Cloudera Director 6.0
Cloudera Navigator 6.0
Cloudera Navigator Key Trustee 6.0
Apache Sentry 2.0
Apache Kafka 1.0

Analytics and Machine Learning Workloads
Apache Solr 7.0
Apache Spark 2.3

Core Platform
Apache Hadoop 3.0
Apache Hive 2.1
Apache HBase 2.0
Apache Oozie 5.0
Apache Avro 1.8
Apache Parquet 1.9


2.2升级或者安装前置:

CDH
只支持从CDH5.7或以上版本升级到C6,所以如果你在使用CDH5.7以下版本,建议你至少先升级到5.7.

外部数据库支持:
MySQL 5.7或更高
MariaDB 5.5或更高
PostgreSQL 8.4或更高
Oracle 12c或更高

JDK
Oracle JDK1.8,将不再支持JDK1.7

操作系统支持
RHEL 6.8或更高
RHEL 7.2或更高
SLES 12 SP2或更高
Ubuntu 16或更高

重要的事情这里仅说一遍:未来不能从C6 beta升级到C6正式版。Cloudera Enterprise 6 beta是没有Cloudera官方支持的。但是你可以在Cloudera社区的一个新版面寻求一些帮助:https://community.cloudera.com/t5/C6-Beta/qa-p/C6_Beta,当然你也可以反馈一些你的建议。
cdh6 beta 版本的下载
https://archive.cloudera.com/cm6/6.0.0-beta1/
 
本文原文地址:
https://community.cloudera.com/t5/Community-News-Release/ANNOUNCE-Cloudera-Enterprise-6-Beta-Released/m-p/67312
 

二: cdh6 的安装

 

在线安装

wget https://archive.cloudera.com/cm6/6.0.0-beta1/cloudera-manager-installer.bin

chmod u+x cloudera-manager-installer.bin

sudo ./cloudera-manager-installer.bin

 
离线安装
 
一、安装前准备:
 

#关闭防火墙

sudo service iptables stop
sudo chkconfig iptables off
sudo chkconfig iptables –list

 

#缺失的包

yum install cyrus-sasl portmap redhat-lsb mod_ssl openssl-devel python-psycopg2 MySQL-python 
  
wget 下载cm rpm 5个文件

cloudera-manager-agent-6.0.0-338129.el6.beta1.x86_64.rpm
cloudera-manager-daemons-6.0.0-338129.el6.beta1.x86_64.rpm
cloudera-manager-server-6.0.0-338129.el6.beta1.x86_64.rpm
cloudera-manager-server-db-2-6.0.0-338129.el6.beta1.x86_64.rpm
oracle-j2sdk1.8-1.8.0+update141-1.x86_64.rpm

 

wget https://archive.cloudera.com/cm6/6.0.0-beta1/redhat6/yum/RPMS/x86_64/oracle-j2sdk1.8-1.8.0+update141-1.x86_64.rpm

 

wget 下载CDH Parcel 3个文件

wget https://archive.cloudera.com/cdh6/6.0.0-beta1/parcels/CDH-6.0.0-1.cdh6.0.0.p0.339140-el6.parcel

 

 

1.yum install postgresql-server.x86_64

2.初始化postgresql数据库
sudo service postgresql initdb  

 

vim /etc/profile

 
JAVA_HOME=/usr/java/jdk1.8.0_141-cloudera
CLASSPATH=$JAVA_HOME/lib/
PATH=$PATH:$JAVA_HOME/bin
export PATH JAVA_HOME CLASSPATH

 

 

 

 

image

 

安装成功

 

 

 

 

 

遇到的问题 :

 

用parcel包,不能下一步 ,没能安装的上,最后使用数据包的方式 ,安装成功的

 

image

 

 /etc/yum.conf中的keepcache改成1
 
可以保持yum下载后的包  
 
yum 安装过程下载的包存放路径:
cat /etc/yum.conf | grep cachedir
 
 
 
 
 
 
 

您可以选择一种方式赞助本站