yarn

在这里插入图片描述

React入门——项目搭建

React介绍一款javascript前端框架,把用户界面抽象成一个个的组件,按需组合成页面,官网,与其他框架的共同点是,都采用虚拟dom,和数据驱动。环境搭建首先,我们需要安装node.js,直接搜索并在官网下载安装包。 »

在这里插入图片描述

使用yarn create umi安装Ant Design Pro时报错TypeError: self.env.emit is not a function

解决self.env.emit is not a function报错 报错内容 TypeError: self.env.emit is not a function at /usr/local/share/.config/yarn/global/node_modules/yeoman-generator/lib/index.js:653:22 at processTicksAndRejectio... »

0439-Hive启用Sentry后如何限制用户提交Yarn资源池

0439-Hive启用Sentry后如何限制用户提交Yarn资源池

Hive启用Sentry后需要禁用用户模拟功能,所有访问Hive的用户均是已hive用户来提交作业。本篇文章Fayson主要介绍在Hive启用Sentry及Yarn启用ACL后如何限制用户提交Yarn资源池。 »

在这里插入图片描述

Spark基础

我的博客原文:https://machine4869.gitee.io/blog/2020/02/11/20200211151842560/ 引言: Spark是一种基于内存的快速、通用、可扩展的大数据分析引擎。 参考: www.atguigu.com https://www.bilibili.com/video/av62992342?from=search&seid=116013974... »

【Spark2运算效率】第二节 影响生产集群运算效率之集群设置

【Spark2运算效率】第二节 影响生产集群运算效率之集群设置前言IO(磁盘IO及网络IO)yarn.nodemanager.resource.memory-mbyarn.nodemanager.resource.cpu-vcoresyarn.nodemanager.vmem-pmem-ratioyarn.scheduler.minimum-allocation-mbyarn.scheduler.... »

搭建hadoop-完全分布式模式

文章目录搭建简单的Hadoop完全分布式模式分析首先设置集群规划虚拟机准备设置静态ip与主机名,设置用户为超级用户配置java环境hadoop安装配置集群配置core-site.xmlHDFS 配置文件YARN 配置文件MapReduce 配置文件这是一台主机的配置,其他另外两台要一摸一样配置群起集群1. 配置slaves2. 启动集群测试是否启动成功集群启动/停止方式组件分别启动停止整体启动需要... »

1.Hadoop3.2.1 单机伪分布集群安装

Hadoop3.2.1 单机伪分布集群安装 一.准备环境: 1台 linux 虚拟机(Centos7.x 64 位) ip 为:192.168.2.100 hostname 为:hadoop100 虚拟机基本环境配置: 集群用到的所有机器都参考此流程进行配置。 1.主机名设置 建议把此机器的主机名设置为 hadoop100 主机名的设置可以分为临时设置和永久设置。 临时设置可以立刻生效,但是不能永... »

使用umi脚手架 创建项目 详细教程

使用umi脚手架 创建项目 详细教程

首先全局安装umi  两种方式 yarn安装和npm安装 都需要全局进行安装 确保 node 版本是 8.10 或以上 yarn global add umi 或 npm i umi -g umi -v 如果umi -v 无法显示版本号, 检查下是否是npm 或者yarn全局安装, 是否配置了环境变量  umi 通过create-umi 来提供脚手架能力  创建项目有两种形式, 一种是是命令行  ... »

在这里插入图片描述

带你深入浅出,彻底了解什么是Spark?

文章目录激动人心的Spark发展史Spark为什么流行?在任何规模的数据计算中, Spark 在性能和扩展性上都更具优势。这-承诺的核心是将Spark 嵌入IBM 业内领先的分析和商务平台,并将Spark 作为一项服务,在IBMB平台上提供给客户。同时,IBM 还将培养超过100 万名Spark 数据科学家和数据工程师。 »

在这里插入图片描述

windows下配置hadoop

1.下载hadoop-2.7.1(其中已经替换了bin和etc) 2.配置JAVA_HOME 3.配置HADOOP_HOME (地址最好不要有空格,如果有的话,下面有解决办法) path添加%HADOOP_HOME%\bin(win10不用分号或者如下编辑界面不用分号,其余加上 ;) 4.配置hadoop-env.cmd PS: 此处的路径C:\Program Files中带有空格,直接写该路径系... »

在这里插入图片描述

一文弄懂Flink基础理论

文章目录Flink概述Flink生态为什么选择Flink?系统架构JobManager运行架构常用的类型和操作程序结构介绍并行数据流Task and Operator Chains核心原理Window&TimeWindowTimeState状态管理按组织形式的划分按照数据的划分和扩张方式Checkpoint容错机制Savepoint保存点Savepoint 和 CheckpointFlin... »

HBase 1.x版本安装部署

Hbase生产环境依赖于zookeeper组件,所以需要先将zk安装成功。 »

Vue3.0及以上版本创建项目步骤

Vue3.0及以上版本创建项目步骤

一共6个步骤: 1,检查Node.js版本; Vue CLI 需要 Node.js 8.9 或更高版本 (推荐 8.11.0+);如果低于这个版本卸载后去Node官网重新下载安装最新版; Node中文网下载页面链接 2,检查Vue-cli版本; Vue CLI 的包名称由 vue-cli 改成了 @vue/cli。 如果你已经全局安装了旧版本的 vue-cli (1.x 或 2.x),你需要先通过... »

vue.4.0 修改默认的端口号

vue.4.0 修改默认的端口号

网络上大部分是在config文件夹下,index.js 里面有个dev 里面的port。类似于这个链接。https://www.cnblogs.com/atjinna/p/6907369.html 但我的项目结构中就没有config文件夹呀。找了半天终于被我找到了。 https://blog.csdn.net/godelgnis/article/details/88745343 路径为   mov... »

Flink 在 字节跳动

Flink 在 字节跳动

Flink 集群的构建过程在迁移的过程中,第一件事情是要先把 Flink 集群建立起来。Flink 1.3 -> 1.5 版本升级优化作业重启速度,缩短用户重启作业数据流中断时间。Flink SQL 平台刚上线,需要投入一些精力去了解 SQL 工作机制。在迁移的过程中我们也有一些其他优化,比如说 Jstorm 是能够支持 task 和 work 维度故障恢复,Flink 这一块做得不是特别好... »

三、hadoop笔记

集群节点 namenode 主节点 datanode 从节点 resourcemanager yarn的主节点 nodemanager yarn的从节点 集群搭建 使用三台机器 shizhan01 NameNode ResourceManager shizhan02 DataNode NodeManager shizhan02 DataNode NodeManager 1、上传hadoop的压缩包... »

在这里插入图片描述

yarn Retrying… info There appears to be trouble with your network connection.

Vue CLI v4.2.2 Failed to check for updates ✨ Creating project in /home/syw/demo »

在这里插入图片描述

Hive优化(提高hive运行速度)

文章目录一、Hive使用本地模式执行操作(Hive使用资源大于20M的时候还是会采用集群yarn的方式运行)具体设置方法1、设置临时的2、修改hive配置文件(hive-site.xml),永久有效二、一、Hive使用本地模式执行操作(Hive使用资源大于20M的时候还是会采用集群yarn的方式运行)将hive的job交给yarn执行太慢,hive支持本地模 »

Hadoop学习笔记

命令 HADOOP 执行MapReduce前删除输出文件 bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar *** 输入文件目录 输出文件目录 *** 本地运行案例 bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.... »

在这里插入图片描述

Spark的Yarn模式

Spark基础理论: https://blog.csdn.net/weixin_45102492/article/details/104318250 Spark安装及Local模式:https://blog.csdn.net/weixin_45102492/article/details/104318738 Spark的Standalone模式: https://blog.csdn.net/wei... »

15.Spark源码分析

Spark源码分析 各个组件介绍 后面补充。。。。 StandAlone模式 在StandAlone模式的start-all的shell启动脚本下,在当前机器执行了JAVA_HOME/bin/java -cp ….Master和在配置的slave的机器中执行 JAVA_HOME/bin/java -cp ….Worker.这两种进程在启动后通过netty进行rpc通信。 M... »

在这里插入图片描述

Grafana开发环境搭建

Grafana开发环境搭建(Windows系统) Grafana源码 Grafana版本: 6.5.1 将 Grafana 源码 clone 到本地,源文件较多,如果 github 下载不成功,建议试试 gitee. 下载完成后,打开 grafana 的 package.json 查看对 node 版本的要求: Node.js node.js 版本: 10.18.1 grafana-6.5.1 版... »

在这里插入图片描述

【Hadoop离线基础总结】完全分布式环境搭建

完全分布式环境搭建 服务规划 适用于工作当中正式环境搭建 安装步骤 第一步:安装包解压 停止之前的Hadoop集群的所有服务,并删除所有机器的Hadoop安装包,然后重新解压Hadoop压缩包 三台机器都执行 rm -rf /export/servers/hadoop-2.7.5/ 在第一台机器解压压缩包 cd /export/softwares tar -zxvf hadoop-2.7.5.ta... »

在这里插入图片描述

Hadoop资源管理器-YARN

Hadoop1.0 创建job,获取jobID。 检查作业的输出说明并计算作业的输入分片,然后将运行作业所需要的资源都复制 到以作业ID命名的目录下。 提交作业,告知jobtracker作业准备执行。(submitJob()方法) 初始化作业。创建一个表示正在运行作业的对象,用来封装任务和记录信息。 获取客户端计算好的输入分片,然后为每 个分片创建一个map任务。在此步骤的时候 还会创建reduc... »

在这里插入图片描述

Spark的架构概述(章节一)

Spark的架构概述(章节一) 背景介绍 Spark是一个快如闪电的统一分析引擎(计算框架)用于大规模数据集的处理。Spark在做数据的批处理计算,计算性能大约是Hadoop MapReduce的10~100倍,因为Spark使用比较先进的基于DAG 任务调度(有向无环计算),可以将一个任务拆分成若干个阶段,然后将这些阶段分批次交给集群计算节点处理。 mapreduce计算分为两步,map阶段和r... »

Page 1 of 41234