response

在这里插入图片描述

response响应数据变成???&使用jquery发送带中文参数数据的get请求得到响应数据乱码解决过程

一. response响应数据变成???的说明 request请求数据设置编码使用:request.setCharacterEncoding(“UTF-8”); response响应数据设置编码使用:response.setContentType(“text/html; charset=UTF-8”);点击按钮,发送请求,响应回来的数据还是显示”???”乱码。 去掉serv... »

关于用户登录

记录最近做的用户登录问题1:我刷新页面的时候,怎么知道是否已经登录了,并且调用任何一个接口的时候,如何识未登录状态,跳转到登录界面解决:1.输入用户名和密码,调用登录接口2.登录成功,接口返回有效token,将这个有效token存到本地3.调用所有接口的时候都把token(Authorization)放在header里,传给后端//Request Heade »

element-ui中上传图片组件的使用

beforeAvatarUpload ).catch((error) =>{ this.$message.error('头像上传失败,请重新上传! »

python爬虫库scrapy简单使用实例详解

最近因为项目需求,需要写个爬虫爬取一些题库。在这之前爬虫我都是用node或者php写的。一直听说python写爬虫有一手,便入手了python的爬虫框架scrapy. 下面简单的介绍一下scrapy的目录结构与使用: 首先我们得安装scrapy框架 pip install scrapy 接着使用scrapy命令创建一个爬虫项目: scrapy startproject questions 相关文件... »

爬虫——小说的爬取

用Python爬取—灵武封神_第一章 死里逃生 import requests import re import json def get_one_page(url): headers = { 'User_Agent': 'Mozilla/5.0 (Macintosh; Inter Mac OS X 10_11_4) AppleWebKit/537.36 (KHTML, like Gecko) C... »

Cookie&Session

文章目录1、会话技术2、Cookie:2.1、常用API:2.2、理论知识3、Cookie案例:记住上一次4、Session4.1、常用API4.2、理论知识 1、会话技术   会话:客户端第一次向服务端发送请求时,会话建立,直到有一方断开为止。一次会话中一般包含多次请求和响应。会话技术实现在一次会话的范围内的多次请求间,共享数据。会话技术分为两种:一种是客户端会话技术Cookie,另一种是服务端... »

python爬虫:请求页面基本库(一)urllib

文章目录python爬虫:基本库(一)urllib使用urllib发送请求1.urlopen()添加data(附加数据)参数添加timeout(超时时间)参数2.Request()Request参数高级用法1.验证2.代理3.Cookies从网站中获取Cookies保存Cookies处理异常HTTPError解析链接1.urlparse() python爬虫:基本库(一)urllib 学习爬虫,最... »

Cookie&Session

文章目录1、会话技术2、Cookie:2.1、常用API:2.2、理论知识3、Cookie案例:记住上一次4、Session4.1、常用API4.2、理论知识 1、会话技术   会话:客户端第一次向服务端发送请求时,会话建立,直到有一方断开为止。一次会话中一般包含多次请求和响应。会话技术实现在一次会话的范围内的多次请求间,共享数据。会话技术分为两种:一种是客户端会话技术Cookie,另一种是服务端... »

scrapy中的headers,Request,response

文章目录headersRequestresponse headers 为了让程序请求模仿的更像浏览器,需要在headers请求头上添加一些参数 headers请求头的部分重要参数: Host (主机和端口号) Connection (链接类型) Upgrade-Insecure-Requests (升级为HTTPS请求) User-Agent (浏览器名称) Accept (传输文件类型) Ref... »

在这里插入图片描述

python自动下载图片

近日闲来无事,总有一种无形的力量萦绕在朕身边,让朕精神涣散,昏昏欲睡。 可是,像朕这么有职业操守的社畜怎么能在上班期间睡瞌睡呢,我不禁陷入了沉思。。。。 突然旁边的IOS同事问:‘嘿,兄弟,我发现一个网站的图片很有意思啊,能不能帮我保存下来提升我的开发灵感?’ 作为一个坚强的社畜怎么能说自己不行呢,当时朕就不假思索的答应:‘oh, It’s simple. Wait for me a few mi... »

在这里插入图片描述

frida hook的一些尝试

frida 真的是app逆向的神器,当你遇上他的时候,就会爱上他。 这篇文章主要是通过自己写个app的demo,然后一步步的hook它。之后会有系列的文章介绍frida对其他app的应用。 知识准备 如何让app不走代理? 如何在子线程中更新ui Handler详解 环境 as android开发工具 pycharm 小米手机一步 (root) android和python的frida环境 描述 ... »

在这里插入图片描述

Python实现爬取亚马逊产品评论

Python实现爬取亚马逊产品评论 一、最近一直在研究爬取亚马逊评论相关的信息,亚马逊的反爬机制还是比较严格的,时不时就封cookie啊封ip啊啥的。而且他们的网页排版相对没有那么规则,所以对我们写爬虫的还是有点困扰的,经过一天的研究现在把成果及心得分享给大家 1.先是我们所需要的库,我们这里是用xpath进行内容匹配,将爬取的内容存入Mysql,所以以下就是我们所需要的库 import requ... »

python爬虫教程:基于requests模块的get请求实现详解

这篇文章主要介绍了python爬虫 基于requests模块的get请求实现详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下 需求:爬取搜狗首页的页面数据 import requests # 1.指定url url = 'https://www.sogou.com/' # 2.发起get请求:get方法会返回请求成功的响应对象 response... »

多线程

拉勾网爬虫(单线程和多线程)

拉勾网爬虫爬取方法注意事项关键示例单线程示例多线程示例爬到的部分数据 爬取方法 emmmm这里就是从主页开始,找到页码的规律 这个规律还是挺好找的,就是页码变了而已 下面是拉钩主页页面 这个审查元素幅值xpath标签啥的我就不多说了吧 注意事项 1.#拉勾网有反爬,cookies变化 参考网址https://www.cnblogs.com/kuba8/p/10808023.html解决cookie... »

Python学习–第六天

一、通过urllib库爬取网站的源码 方法一:直接爬取(没有限制的情况下) import urllib.request response = urllib.request.urlopen('http://chongqingtravel.cn/') print(response.read().decode('utf-8')) print(response.getheader('Server'))#w... »

在这里插入图片描述

验证码生成工具类+验证码验证学习笔记

验证码生成工具类+验证码验证学习笔记 验证码生成工具类参考自:java图形验证码生成工具类及web页面校验验证码,万分感谢! 效果图: 代码如下: package com.my.demo.session.others; import javax.imageio.ImageIO; import java.awt.*; import java.awt.image.BufferedImage; impo... »

Python笔记-多线程爬虫实例

Python笔记-多线程爬虫实例

如下,线程池两个线程: 线程池关键代码: 源码如下: import re, multiprocessing import requests, time class HandleLaGou(object): def __init__(self): self.laGou_session = requests.session() self.header = { 'User-Agent': 'Mozill... »

Python笔记-使用代理切换ip爬取数据

Python笔记-使用代理切换ip爬取数据

爬取某站点运行截图如下: 这里使用了阿布云的产品切换代理。 这个产品的文档还是风全的! 推荐大伙使用: 关键代码如下: 记得这个代理可能异常,记得做异常处理。 源码如下: import re import requests, time class HandleLaGou(object): def __init__(self): self.laGou_session = requests.sessi... »

【Python爬虫】爬取网站小说

【Python爬虫】爬取网站小说

爬取小说的网站选取的是笔趣阁,笔趣阁没有反爬,比较好爬取一点。至于其他的小说网站,或者彩票,股票,也可以参照这个思路去爬取,这几天的股市真是见证历史了。源码见我的gitee或者CSDN下载。  下载单章内容 #下载单章内容 def download_one_chapter(): """获取网页源代码""" target_url = 'http://www.shuquge.com/txt/8659/... »

在这里插入图片描述

猫眼电影字体反爬

猫眼电影字体反爬 我们再爬取猫眼电影的时候,会遇到如下情况: 我们想要其中想看人数的数据,但是在网页源代码中并不是直接显示数字而是这一串东西。 这一串,其实是猫眼本身的一种字体,目的是不想每个人都获取到数据。针对这个情况我们可以先找到他的字体文件,然后再根据字体文件当中的映射,会得到一个与其一一对应的文字,数字。 所以最关键的是,我们需要找到对应的字体文件。 这个就是我们要的字体文件。 现在我们已... »

在这里插入图片描述

Python爬取某视频并下载

这几天在家闲得无聊,意外的挖掘到了一个资源网站(你懂得),但是网速慢广告多下载不了种种原因让我突然萌生了爬虫的想法。 下面说说流程: 一、网站分析 首先进入网站,F12检查,本来以为这种低端网站很好爬取,是我太低估了web主。可以看到我刷新网页之后,出现了很多js文件,并且响应获取的代码与源代码不一样,这就不难猜到这个网站是动态加载页面。 目前我知道的动态网页爬取的方法只有这两种:1、从网页响应中... »

一周学会 python 爬虫_1

今天开始我将简单介绍一下网络爬虫,并开始带大家学习如何写爬虫 一、爬虫介绍 1、什么是爬虫? 你可以把互联网想想成一个巨大的蜘蛛网,而爬虫就是一个小蜘蛛在网的各个节点中穿梭。 就像探测机器一样,基本操作就是模拟人去浏览各个网站,浏览数据,查看信息。 2、爬虫可以做什么? (1)抢火车票: 这应该是爬虫行业中使用量最大,很多抢票软件每秒对12306扫数千数万次。 (2)刷浏览量: 爬虫重灾区应该是微... »

AndroidManifest.xml改变

android端使用volley访问网络接口的使用

android端使用volley访问网络接口的使用 ————————————-准备工作————————————-... »

ajax、axios、fetch区别

ajax、axios、fetch区别 ajax $.ajax({ type: 'POST', url: url, data: data, dataType: dataType, success: function () {}, error: function () {} }); 优缺点: 本身是针对MVC的编程,不符合现在前端MVVM的浪潮 基于原生的XHR开发,XHR本身的架构不清晰,已经有了f... »

用xpath爬取Boss招聘网

学到的知识: 1.对xpath的使用有了一些基本的了解 2.python中的zip()可以压缩数据 代码 import requests import json from urllib.parse import urlencode from lxml import etree from multiprocessing import Pool from config import * import ... »

Page 1 of 59123»