云计算

MapReduce的Wordcount求top

//自定义MyMapper类继承Mapper public class MyMapper extends Mapper { private Text outkey = new Text(); private IntWritable outval = new IntWritable(1); private String [] strs = null; //实现map方法 @Override prot... »

将本地的项目上传到git仓库

将本地的项目上传到git仓库

1、在上传项目前,现在gitee上点击右上角的“+” 号即可创建自己全新的仓库,然后点击仓库进入后再点击 克隆/下载 按钮,并选择SSH,复制好之后下面就会用到 2、在项目的根目录下,鼠标右键 git bash here,例如我已经写好了一个项目是design,则我会到design 目录下右键git base here  3、然后依次在$符号后进行设置,下面name 和 email 则需要填写自己... »

【Cesium】禁止相机进入地下(地形穿透) 更新1.66版本后不需要

1.66版本后已经自带修复代码,不过感觉和以下修复方式效果相当; //禁止相机进入地下(地形穿透) 1.66版本后已经自带修复方法 function Lockpitch() { viewer.clock.onTick.addEventListener(function () { if (viewer.camera.pitch > 0) { viewer.scene.screenSpaceCa... »

第一组重构(重构:改善既有代码的设计)

1.提炼函数 实例 function printOwing(invoice) { printBanner(); let outstanding = calculateOutstanding(); // print details console.log(`name: ${invoice.customer}`); console.log(`amount:${outstanding}`); } ↓↓↓... »

在这里插入图片描述

Java经典算法:Toeplitz矩阵

如果从左上到右下的每个对角线都具有相同的元素,则矩阵为Toeplitz。给定一个矩阵,检查它是否为toeplitz。Java解决方案public boolean isToeplitzMatrix }}return true;}最后,开发这么多年我也总结了一套学习Java的资料与面试题,如果你在技术上面想提升自己的话,可以关注我,私信发送领取资料或者在评论区留下自己的联系方式,有时间记得帮我点下转发... »

640?wx_fmt=jpeg

ETL – ETL工具介绍

上篇文章我们介绍了ETL的概念和ETL的整个过程。那么今天我们给大家介绍一下ETL的常用工具:DataX、Datastage、Informatica、Kettle、DataPipeline。为什么要使用ETL工具?IBM公司商业软件:Datastage最专业的商业ETL工具,价格较贵,但是大数据量下处理速度也能保持较快的处理速度和稳定性。而DataX需要依赖工具日志定位故障问题。相比那些收费的ET... »

linux下 redis的安装与使用

linux下 redis的安装与使用

本文主要讲解centos6.9版本的redis的安装与使用! # 使用yum安装 yum install redis 如上图,Complete表示安装完成! # 下载fedora的epel仓库 yum install epel-release # redis 服务相关命令 启动服务:service redis start 停止服务:service redis stop 查看服务:service r... »

在这里插入图片描述

安装VirtualBox和导入虚拟电脑出现的问题

导入虚拟电脑 在双击虚拟启动虚拟电脑时报错 未能启动虚拟电脑,由于下述物理网卡未找到:Realtek PCIe FE Family Controller #2(adapter 1) 点击更改网络设置,发现无效设置,两个警告 第一个:系统加速配置页已启动硬件虚拟化,但主机并不支持,需要禁用硬件虚拟化才能启动虚拟机 看好多博客说去系统–》硬件加速—》取消勾选能解决问题,但是对我没用 我的页面是这个样子... »

Q&A—企业应用云迁移评估、策略、技术选型及实战

Q&A—企业应用云迁移评估、策略、技术选型及实战

2020年2月13日,新钛云服举办的云运维之路系列沙龙—《企业应用云迁移评估、策略、技术选型及实战》直播现场火爆。所有的业务应用系统同时在本地和公有云数据中心运行,同时为用户提供服务。对对象存储进行分层处理,不常用的数据归档,可合理降低成本。 »

CentOS7 Linux引导修复

在我尝试多种修复引导的方法之后,我使用U启动软件将windows引导程序强行写入了D盘,导致D盘的CentOS引导覆盖掉了。本文主要解决修复CentOS7引导问题。为了挽救Centos上的数据,我在C盘重新安装了CentOS7用于读取原系统的文件。然后格式化D盘和删除C盘新安装的CentOS7系统,并在D盘重新安装了CentOS7系统且指定使用legacy启动。 »

运行Spark程序的方法

Spark shell:提供了一个强大的交互式分析数据的工具,我们可通过Scala或Python语言来使用pyspark在启动时便会自动生成一个驱动器程序,所以只需要在Spark shell中输入项运行的操作就可以了pyspark --master MasterURL --name NAME在Spark shell中运行语句sc可直接得到驱动器程序的相关信息 »

【Spark2运算效率】第二节 影响生产集群运算效率之集群设置

【Spark2运算效率】第二节 影响生产集群运算效率之集群设置前言IO(磁盘IO及网络IO)yarn.nodemanager.resource.memory-mbyarn.nodemanager.resource.cpu-vcoresyarn.nodemanager.vmem-pmem-ratioyarn.scheduler.minimum-allocation-mbyarn.scheduler.... »

快速学习-DML数据操作

第 5 章 DML数据操作5.1 数据导入5.1.1 向表中装载数据(Load)语法hive> load data [local] inpath '/opt/module/datas/student.txt' [overwrite] | into table student[partition (partcol1=val1,…)];(1)load data: »

配置nginx

部署python flask项目到云服务器(flask+mysql+uwsgi+nginx)

部署python flask项目到云服务器这是我第一次写博客,写的不好请多多见谅。操作环境是ubuntu16.04,使用xshell和xftp工具,记得进入root用户,如果没有需要设置,怎么设置后面更新。 »

84F8B009-F6F6-63C8-1575-891E9B1A788E.png

解决google”此电话号码无法用于进行验证”,成功注册gmail帐号

时间2019年10月16日。。。。 这个Gmail注册太费劲了,翻了墙,结果网页注册还是收不到验证码。。。烦躁 方法一、网页注册失败 方法二、App注册成功 1.下载Gmail 略 2.安装Gmai l略 3.安装完成,如下图 4.打开Gmail app 欢迎页面 5.点击 添加电子邮件地址 6.选择Google 7.选择创建新账户 8.填写基本信息 9.填写邮箱名称 10.填写手机号,获取验证码... »

在这里插入图片描述

快速学习-Hive 安装

第 2 章 Hive 安装 2.1 Hive 安装地址 Hive 官网地址 http://hive.apache.org/ 文档查看地址 https://cwiki.apache.org/confluence/display/Hive/GettingStarted 下载地址 http://archive.apache.org/dist/hive/ 2.2 Hive 安装部署 Hive 安装及配置 ... »

全文检索技术(三):ES服务器和客户端的安装

全文检索技术(三):ES服务器和客户端的安装

一、Elasticsearch的简介 ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口。 Elasticsearch是用Java语言开发的,并作为Apache许可条款下的开放源码发布,是一种流行的企业级搜索引擎。 ElasticSearch用于云计算中,能够达到实时搜索,稳定,可靠,快速,安装使用方便。 官方客... »

图算法中的常用代码

node.empty()) } } return topology;}关键路径基于拓扑顺序去遍历的void CriticalPath } while(!node.empty()) }}作者:淅淅沥沥的熙 »

在这里插入图片描述

windows下配置hadoop

1.下载hadoop-2.7.1(其中已经替换了bin和etc) 2.配置JAVA_HOME 3.配置HADOOP_HOME (地址最好不要有空格,如果有的话,下面有解决办法) path添加%HADOOP_HOME%\bin(win10不用分号或者如下编辑界面不用分号,其余加上 ;) 4.配置hadoop-env.cmd PS: 此处的路径C:\Program Files中带有空格,直接写该路径系... »

kafka核心概念

Kafka的性能是和数据量无关的常量级的,所以保留太多的数据并不是问题。可以自动或者手动提交偏移量代理: 一台kafka服务器称之为一个broker副本:副本只是一个分区的备份。zookeeper:Kafka代理是无状态的,所以他们使用ZooKeeper来维护它们的集群状态。 »

640?wx_fmt=jpeg

持续推进绿色数据中心,绿色网格PUE评测查询系统发布

绿色网格TGGC很荣幸邀请到iMasons创始人兼主席Dean Nelson,为大家分享了全球数据中心趋势及iMasons使命,并与绿色网格TGGC签订谅解备忘录。大会上,绿色网格PUE评测查询系统正式推出。2015年,绿色网格发布首批技术研究成果,包含了数据中心PUE测量与绿色分级评估,截至2018年,已有数十家数据中心完成绿色分级评估,其中包含了数据中心PUE测量。通过对微模块产品在实验室进行... »

18伴生类

1.伴生类和伴生对象 存在一个class类,另有一个重名的object类,则object类就是class类的伴生类。 伴生类创建的对象的就是伴生对象。类和伴生类之间可以互相访问私有成员。 class Animal { var age = 1 private val name = "神兽" def showName():String = { var name1 = "羊驼" name1 } } ob... »

21高阶函数

1.高阶函数 参数和返回值都是函数。 //传入参数是函数; val arr = Array(1,2,3,4) val fun = (x:Int) => x*2 val res = arr.map(fun) //传入匿名函数; val res2 = arr.map((x:Int) => x*2) val res3 = arr.map(_*2) //返回值是函数 def urlBuilde... »

CentOS7 安装 JDK

CentOS7 安装 JDK

1. 通过 yum 命令查询可安装 JDK 版本 yum -y list java* 2. 选择所需版本进行安装 yum -y install java-1.8.0-openjdk-devel.x86_64 3. JDK 默认安装路径为 /usr/lib/jvm cd /usr/lib/jvm 4. JDK 进行配置 vim /etc/profile # java config JAVA_HOME... »

在这里插入图片描述

【02笔记】MapReduce基础

2)MapReduce是一个并行计算与运行软件框架。MapReduce是基于分而治之的思想,由Map将复杂的问题分解为若干个“简单的任务”来并行处理;由Reduce将Map结果汇总。例如统计一堆由10、50、100面三种值组成的钞票,Map:将这堆钞票分给n个人,每个人对分到的钞票按照面值进行分类Reduce:另找三人,分别从前n个人手中取一种面值的钞票,计数,最后汇总。 »

Page 1 of 161123»