puppet

最新puppeteer爬虫boss直聘招聘公司及职位信息

最新puppeteer爬虫boss直聘招聘公司及职位信息

​失踪人口回归了!由于一直在爬虫,遇到的坑比较多,先大致汇报下 1、获取全国所有企业 2、通过企查查补充企业信息 3、爬虫boss直聘获取公司及职位信息 本次先说爬虫boss直聘 目的: 获取指定城市下的指定行业的招聘公司及招聘职位信息 一、试错阶段 尝试使用了requests,selenium,pyppeteer,发现都不能正常访问boss直聘,厉害了我的老板! 于是只能采用puppeteer,... »

一名全栈工程师的必备“百宝箱”

一名全栈工程师的必备“百宝箱”

  全栈工程师,也叫全端工程师,是指掌握多种技能,并能利用多种技能独立完成产品的人。全栈工程师熟悉多种开发语言,同时具备前端和后台开发能力,从需求分析,原型设计到产品开发,测试,部署,发布全流程都十分熟悉。   全栈工程师由于经常研究各种技术,所以不会精确记得所有语言代码的语法和API,他们记住的只是一个Key,一个如何找寻答案的索引,而不是全部。   对全栈工程师而言,各种辅助工具很重要的。全栈... »

四大配置管理工具测评手记

这时候,数据中心协调和配置管理工具派得上用场。Puppet企业版Puppet也许是四款工具中深入人心的。Puppet呈现了数据中心协调的全貌,几乎涵盖每一个运行系统,为各大操作系统提供了深入的工具。这意味着需要配置代理软件,以便与主服务器进行联系,实际上不可能立即应用变更的内容。至于比较复杂的任务,Ansible配置通过名为Playbook的配置文件中的YAML语法来加以处理。 »

Rhel6-puppet集中配置管理系统配置文档

Rhel6-puppet集中配置管理系统配置文档

  puppet 是一个配置管理工具, 典型的, puppet 是一个 C/S 结构, 当然,这里的 C 可以有很多,因 此,也可以说是一个星型结构. 所有的 puppet 客户端同一个服务器端的 puppet 通讯. 每个 puppet 客户端每半小时(可以设置)连接一次服务器端, 下载新的配置文件,并且严格按照配 置文件来配置服务器. 配置完成以后,puppet 客户端可以反馈给服务器端一个消... »

Puppet利用Nginx多端口实现负载均衡

  随着公司应用需求的增加,需要不断的扩展,服务器数量也随之增加,当服务器数量不断增加,我们会发现一台puppetmaster压力大,解析缓慢,而且时不时出现“time out”之类的报错,那这时有什么优化的办法吗?我们在Puppet官网上找寻解决方案,发现puppetmaster可以配置多端口,结合WEB代理(推荐Nginx),这样puppetmaster承受能力至少可以... »

以太坊搭建,不能使用puppeth 创建初始块,报错Fatal: Failed to write genesis block: unsupported fork ordering: eip15

新建 genesis.json在文件夹genesis中, 写入: { "config": { "chainId": 666, "homesteadBlock": 0, "eip150Block": 0, "eip150Hash": "0x0000000000000000000000000000000000000000000000000000000000000000", "eip155Block":... »

puppeteer如何爬取区块链信息

puppeteer如何爬取区块链信息

多跳几个坑,你就会明白的。 先看完这个: 先看完这个: 先看完这个: 我使用的环境是node.js 代码使用ts格式,当然js也是可以用的 先打开网站,然后找到想要获取的内容,按下F12,找到数据对应的div(或者其他元素)的id然后“盘”它 下面是干货: const puppeteer = require('puppeteer'); (async () => { try { // 创建一个... »

使用puppeteer爬取网站并抓出404无效链接

使用puppeteer爬取网站并抓出404无效链接

检查网页无效链接 前言 自动化技术可以帮助我们做自动化测试,同样也可以帮助我们完成别的事情,比如今天我们要做的检查网站404无效链接。 原理 实现这样的功能,大致分为以下步骤: 1.打开官网首页,获取页面上所有的链接。 2.添加规则对这些链接过滤,把外链去掉。 3.遍历访问这些链接,打开打开其中的每一个链接,检查是否为404,如果是距离下来。 4.重复执行1,2,3。直到把整个网站所有的链接都遍历... »

使用puppeteer破解极验的滑动验证码

使用puppeteer破解极验的滑动验证码

基本的流程: 1. 打开前端网,点击登录。 2. 填写账号,密码。 3. 点解验证按钮,通过滑动验证,最后成功登陆。 代码实现: github上可以checkout。 具体代码如下所示: run.js const puppeteer = require('puppeteer'); const devices = require('puppeteer/DeviceDescriptors'); con... »

详解pyppeteer(python版puppeteer)基本使用

详解pyppeteer(python版puppeteer)基本使用

一、前言 以前使用selenium的无头浏览器,自从phantomjs2016后慢慢不更新了之后,selenium也开始找下家,这时候谷歌的chrome率先搞出来无头浏览器并开放了各种api,随后firefox也开始做。 现在selenium的测试也都支持这两个浏览器的无头模式了,只需要在引入的时候配置一下就可以了。之所以要采用谷歌chrome官方无头框架puppeteer的python版本pyp... »

puppeteer库入门初探

puppeteer 是一个Chrome官方出品的headless Chrome node库。它提供了一系列的API, 可以在无UI的情况下调用Chrome的功能, 适用于爬虫、自动化处理等各种场景 根据官网上描述,puppeteer 具有以下作用: 生成页面截图和 PDF 自动化表单提交、UI 测试、键盘输入等 创建一个最新的自动化测试环境。使用最新的 JavaScript 和浏览器功能,可以直接... »

详解puppeteer使用代理

背景 在使用puppeteer进行访问页面的时候,有时候需要用到代理。 环境: centos 7 chrome 安装 puppeteer使用chrome。 参考chrome的命令行使用方式。 在官网中没看到说明,不过一般的执行文件都是支持help的。 在服务器上安装chrome : vim /etc/yum.repos.d/google-chrome.repo 添加内容 [google-chrom... »

如何使用puppet替换文件中的string

puppetpuppet是一种Linux、Unix、windows平台的集中配置管理系统,使用自有的puppet描述语言,可管理配置文件、用户、cron任务、软件包、系统服务等。puppet把这些系统实体称之为资源,puppet的设计目标是简化对这些资源的管理以及妥善处理资源间的依赖关系。puppet采用C/S星状的结构,所有的客户端和一个或几个服务器交互。每个客户端周期的向服务器发送请求,获得其... »

手动下载Chrome并解决puppeteer无法使用问题

因为网络原因,国内安装 puppeteer 的时候会报网络超时。这里使用 puppeteer-core 之后使用手动下载的 Chrome 进行操作。思路很简单,安装一个不带浏览器的 puppeteer ,再使用的时候将浏览器地址指向一个可执行的 Chrome 浏览器文件。yarn add puppeteer-core找到 puppeteer 中对应的浏览器并下载在 node_modules/pup... »

Puppet的一些技巧

其实很简单,puppet agent只要知道puppet是什么就可以了你可以将“puppet”写在/etc/hosts里,比如: 127.0.0.1 puppet 这样就不必在puppet.conf中指定server=127.0.0.1了 你还可以给主机改名称,比如: hostnamectl set-hostname x.y.com 然后给你的puppet server一个A记录,注意这个A记录必... »

node基于puppeteer模拟登录抓取页面的实现

关于热图 在网站分析行业中,网站热图能够很好的反应用户在网站的操作行为,具体分析用户的喜好,对网站进行针对性的优化,一个热图的例子(来源于ptengine) 上图中能很清晰的看到用户关注点在那,我们不关注产品中热图的功能如何,本篇文章就热图的实现做一下简单的分析和总结。 热图主流的实现方式 一般实现热图显示需要经过如下阶段: 1.获取网站页面 2.获取经过处理后的用户数据 3.绘制热图  ... »

node puppeteer(headless chrome)实现网站登录

puppeteer简介 puppeteer是Chrome团队开发的一个node库,可以通过api来控制浏览器的行为,比如点击,跳转,刷新,在控制台执行js脚本等等。有了这个神器,写个爬虫,自动签到,网页截图,生成pdf,自动化测试什么的,都不在话下。 puppeteer的简单例子 代码来自官网: const puppeteer = require('puppeteer'); (async () =... »

Nodejs中使用puppeteer控制浏览器中视频播放功能

使用puppeteer自动化执行命令通过在nodejs 调用前端页面的方法,然后能够Socket实现远程控制浏览器的视频播放。当前项目引入puppeteer 目的就是为了模拟人工触发页面的情况。总结以上所述是小编给大家介绍的Nodejs中使用puppeteer控制浏览器中视频播放功能,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。 »

puppeteer实现html截图的示例代码

puppeteer是谷歌官方出品的一个通过 DevTools 协议控制 headless Chrome 的Node库。可以通过Puppeteer的提供的api直接控制Chrome模拟大部分用户操作来进行UI Test或者作为爬虫访问页面来收集数据。 安装 直接运行安装命令: npm install puppeteer 如果出现无法安装的问题,可以使用淘宝镜像。 puppeteer实现滑动截图 在我... »

在linux (centos)上使用puppeteer实现网页截图功能

你在linux上安装puppeteer时可能遇到如下问题,本文将引导你如何爬坑! > puppeteer@2.0.0 install /www/node_modules/puppeteer > node install.js ERROR: Failed to download Chromium r706915! Set “PUPPETEER_SKIP_CHROMIUM_DO... »

foreman ubuntu16 快速安装

Quickstart Guide The Foreman installer is a collection of Puppet modules that installs everything required for a full working Foreman setup. It uses native OS packaging (e.g. RPM and .deb packages) an... »

集群运维自动化工具ansible的安装与使用(包括模块与playbook使用)第1/2页

我使用过puppet与salt,但这2个软件都需要安装客户端,并且更新很快,每次更新都是令人蛋疼的事,尤其是salt,喜欢他的命令功能,但bug太多,不敢在公司线上使用,puppet虽然稳定,但弄命令执行的时候,需要mco配置,非常麻烦,我公司由于跟多家公司合作,很多业务没办法安装客户端,所以没办法使用puppet与salt(虽然salt有ssh,但不太好使),最后找到了ansible,他既有命令... »