cdh

CDH中添加Elasticsearch服务

CDH中添加Elasticsearch服务

此前Elasticsearch我一直是单独搭建的,后来偶然发现可以在Cloudera Manager中添加ES服务,在搭建过程中这篇博客给了我很多帮助 https://www.cnblogs.com/zhangrui153169/p/11447423.html 但存在一些问题,在这里记录下来以作为这篇文章的补充,也希望能帮助大家减少踩坑。 一、制作Elasticsearch的Parcel包和csd... »

cdh6.2.1安装时账户免密登录验证失败问题解决

如题,在安装cdh6.2.1时,在验证agent主机的免密账号时,一直验证失败,打开日志显示sudo tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log2020-02-16 19:09:08,856 INFO NodeConfiguratorThread-10-0:com.cloudera »

在这里插入图片描述

【Hadoop离线基础总结】CDH版本Hadoop 伪分布式环境搭建

CDH版本Hadoop 伪分布式环境搭建服务规划步骤第一步:上传压缩包并解压cd /export/softwares/tar -zxvf hadoop-2.6.0-cdh5.14.0.tar.gz -C ../servers/第二步:查看Hadoop支持的压缩方式以及本地库cd /export/servers/hadoop-2.6.0-cdh5.14.0bi »

【Hadoop离线基础总结】CDH版本的zookeeper环境搭建

CDH版本的zookeeper环境搭建下载下载地址http://archive.cloudera.com/cdh5/cdh/5/修改配置文件创建ZooKeeper数据存放目录mkdir -p /export/servers/zookeeper-3.4.5-cdh5.14.0/zkdatas修改ZooKeeper配置文件cd /export/servers/z »

CDH卸载kafka重新安装出现的问题

一个不爽就把kafka暴力删除了,但是因为没有删除干净,导致在CDH内重新安装的时候出现错误,记录一下,估计很少有人遇到卸载重新安装kafka出现分配失败,缺少json文件的错误,重启电脑,切换cloudera-scm用户,执行删除命令rm -rf KAFKA-3.1.0-1.3.1.0.p0.35,每个节点都执行一次,然后发现报的错误在一个一个小时,然后可 »

CDH中重装kafka——清空之前产生的数据(data文件数据与Zookeeper中的数据)

CDH中重装kafka——清空之前产生的数据(data文件数据与Zookeeper中的数据)

一、删除Kafka产生的data重新安装kafka,后面重新分配的kafka一直安装不成功,是因为停用时不会删除已经有点数据。 »

在这里插入图片描述

【kettle集成cdh6.1】hadoop file output浏览目录报错:java.lang.NoClassDefFoundError: com/ctc/wstx/io/SystemId

外部数据源读写hdfs若干错前言环境报错问题分析解决办法后记前言最近试着上手了一下kettle,搭建过程很简单,就是下载个包解压一下,但是在配置数据源的过程中着实踩了不少坑,这里记录一下。 »

基于CDH的Solr+Hbase+KV构建二级索引

基于CDH的Solr+Hbase+KV构建二级索引

1.安装solr 在CDH主界面,选择“添加服务” 选择“solr”,之后点击“继续”  2.安装Key-Value Store Indexer 与上面操作雷同 3.构建二级索引 3.1创建测试表 3.1.1创建测试表(phoenix) drop table “ZJS_ORDER”.”ALADIN_WAYBILLSTATUS”; CREATE TAB... »

【CDH部署】全网最简单CDH6.2.0环境部署

下载链接官方下载链接: https://archive.cloudera.com/cdh6/6.2.0/parcels/百度网盘下载链接: https://pan.baidu.com/s/1Dm5Elf9uQqn14BUbgU3AFQ 提取码: mws3主机规划sparkproject1 manager 8G 50GBsparkproject2 agent »

在这里插入图片描述

Maven项目中引入CDH jar包

我们使用maven时,一般会将中央仓库配置为阿里云的镜像,但是项目中用到的CDH相关的jar包并不存在于该中央仓库中。oracle jdbc驱动jar包就是一个很好的例子,一般scope为runtime。 »

在这里插入图片描述

搭建liunx系统上搭建大数据CDH集群安装Cent0s7,安装http服务时报错解决方案

一:问题描述在学习大数据在linux系统上搭建CDH集群时,需要安装http服务,在检查是否安装时提示::service httpd status然后安装http服务提示报错yum -y install httpd在百度上搜了各种各样的解决方案都没解决,最后通过分析错误其实是提示http服务未安装成功,最后发现是yum源的问题默认的centos 的yum源没有httpd包。 »

CDH

OozieOozie是大数据四大协作框架之一——任务调度框架,另外三个分别为数据转换工具Sqoop,文件收集库框架Flume,大数据WEB工具Hue。它能够提供对Hadoop MapReduce和Pig Jobs的任务调度与协调。Oozie需要部署到Java Servlet容器中运行。 »

【Centos7.6安装CDH6.1.0】第三节 Python2.7.5安装、时钟同步及CDH本地Yum源搭建

【Centos7.6安装CDH6.1.0】手把手教你搭建CDH6.1.0下载依赖时钟同步安装Python2.7.5跳转 下载依赖 root用户下,在mini1上创建down.sh脚本,脚本内容如下: #!/bin/bash ########################################################################################... »

在这里插入图片描述

Oozie安装教程

oozie这个东西要多个组件的版本吻合,不然就会各种编译报错,所以不建议自己编译。如果想用oozie,直接装一套cdh然后再装对应版本的oozie是最快的,别看要重新部署hadoop集群,这样可比单独编译Oozie要快的多。 »

CDH 安装 大数据组件 报错

使用CDH来安装大数据组件的时候,当安装到YARN、Hbase、Spark的时候报错,主要原因是YARN、Hbase、Spark在HDFS里面没有权限去创建文件 Spark SecurityManager: authentication disabled; ui acls disabled; users with view permissions : Set(spark); groups with... »

在这里插入图片描述

【CDH实战】- 01.安装Cloudera_Hadoop集群(CentOS6.5+CDH 5.6)

概述:本次实验部署两台服务器,采用RPM安装的方式。 实验环境: CentOS 6.5 CDH 5.6 操作系统基本设置 # IP设置 # Hostname 设置 # hosts 设置 # selinux 设置 # 防火墙设置 配置 httpd 服务 # 检查 httpd 是否安装 # 安装 httpd # 启动httpd服务 service httpd restart 设置必要的软件 yum 源... »