-
Python Counter()函数介绍 – 统计值出现的次数
Python Counter()函数介绍 Counter()函数 是collections模块(Python标准库中的一个模块)中的里面的一个类，作用是计算出字符串或者列表等中不同元素出现的个数，返回值可以理解为一个字典，所以对传回来的统计结果的操作都可以当作对字典的操作(Counter类继承dict类，所以它能使用dict类里面的方法) Note: 字符串还有一个内置的count()，只能统计字…...
塵風- 0
- 0
- 3.8k
-
Python requests 异常Proxy URL had no scheme, should start with http:// or https://解决
异常原因 Python requests 异常Proxy URL had no scheme, should start with http:// or https://解决，在使用Python requests的proxy代理功能的时候出现了这个错误，意思是我们使用的代理方案应该以http:// or https://开头。 在网上看到的原因是说在Python3.7及以上版本中使用request…...- 塵風
- 0
- 0
- 1.2k
-
使用Python检查提取网站死链
网站死链会影响我们的用户体验和搜索引擎对我们站点的评分(尤其是网站存在已经被做成赌博、色情网站的链接，影响很大)，但是网站运营时长长了，就难免会有这样的问题，所以我们可以考虑定期的处理下，我之前分享过一些WordPress死链、外部链接处理的文章，如果你是使用WordPress，就可以直接参考下述的文章去解决： WordPress去除文章失效链接 WordPress文章外部链接清除 WordPre…...- 塵風
- 0
- 0
- 927
-
Python for循环同时遍历两个列表
Python for循环同时遍历两个列表我们可以使用Python zip函数来实现， zip() 函数简介 zip() 函数是 Python 内置函数之一，zip() 函数用于将可迭代的对象作为参数，将对象中对应的元素打包成一个个元组，然后返回由这些元组组成zip对象。 在Python2中，zip() 函数返回的是列表，在Python3中，则是返回上述所说的zip对象，这样可以减少内存。如果需要列…...- 塵風
- 0
- 0
- 763
-
Python glob模块和主要方法
概述 glob是python自己带的一个文件操作相关模块，查找文件目录和文件，类似于Windows下的文件搜索。 glob模块会将查找到的文件目录或文件的搜索结果返回到一个列表中。 支持的通配符： 支持：*，?，[]，这三个通配符 *代表匹配0个或多个字符?代表匹配任意一个字符[]匹配指定范围内的字符如：[0-9]匹配所有数字[a-z]匹配所有字母[1,2,3]仅匹配1，2，3三个数字[！1,2,…...- 塵風
- 0
- 0
- 2.1k
-
python模块requests参数stream
使用python requests模块下载大文件时，建议使用strea模式． 默认情况下是false，他会立即开始下载文件并存放到内存当中，倘若文件过大就会导致内存不足的情况． 当把get函数的stream参数设置成True时，它不会立即开始下载，当你使用iter_content或iter_lines遍历内容或访问内容属性时才开始下载。需要注意一点：文件没有下载之前，它也需要保持连接。 iter_…...- 塵風
- 0
- 0
- 1k
-
Python爬虫：设置随机User-Agent模块fake-useragent
Python爬虫：设置随机User-Agent模块fake-useragent介绍和使用。 模块简介 GitHub地址 https://github.com/hellysmile/fake-useragent UA数据来源 目前1.5x的版本我看GitHub介绍数据是从 https://user-agents.net/ 下载的。下面的使用的部分示例是1.2或者1.3版本新增的功…...- 塵風
- 0
- 0
- 3.8k
-
python Queue(进程队列)
在Python中我知道队列模块有： from queue import Queue此模块适用于线程间通信，但不能用于进程间通信。from multiprocessing import Queue此模块用于对进程，但是不能用于进程池。 下面笔记记录的就是：from multiprocessing import Queue 用于进程间通信的队列。 部分内容来源以及相关资料： Python 队列（Que…...- 塵風
- 0
- 0
- 1.1k
-
![Python requests 异常Max retries exceeded with url: 请求地址… (Caused by SSLError(SSLCertVerificationError(1, ‘[SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate (_ssl.c:1129)’)))”))}解决](https://www.linfengnet.com/wp-content/uploads/2024/01/2024010606414043.png)
Python requests 异常Max retries exceeded with url: 请求地址… (Caused by SSLError(SSLCertVerificationError(1, ‘[SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate (_ssl.c:1129)’)))”))}解决
今天在写爬虫的时候遇见了如下错误： Max retries exceeded with url: https://******... (Caused by SSLError(SSLCertVerificationError(1, '[SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get …...- 塵風
- 0
- 0
- 1k
-
网站搜索页面出现大量垃圾网页被收录怎么处理
网站搜索页面出现大量垃圾网页被收录怎么处理？这个问题是前几天一个朋友问我的，问题示例如下： 问题展示 再说解决方法之前我们先聊聊这个问题出现的原因，原因很明显： 就是网站被模拟搜索了大量的垃圾信息关键词，然后出现了对应的页面让搜索引擎抓取了。 像这种也算是"黑帽SEO"推广了吧...不过我认为这个东西实现起来还是很简单的，技术含量很低，而且挺早之前就出现了。 我可不可以不处理？…...- 塵風
- 0
- 0
- 1.8k
-
解决python：AttributeError: ‘set’ object has no attribute ‘items’错误记录
在之前写爬虫代码的时候，我自以为认代码各方面的都没问题了，但是出现了这样一个错误： AttributeError: 'set' object has no attribute 'items' 手动苦笑不得，检查了一遍代码发现都没问题，但是运行还是出现这个错误，于是我就果断百度了下， 出现这个错误可能是我们把一组dict，用逗号相隔了 例如{“id”,id}应…...- 塵風
- 0
- 0
- 2.6k
-
PyCharm破解教程(2023.3最新版本)
PyCharm破解教程(2023.3最新版本)分享，之前分享的：PyCharm破解教程(简单长期稳定)测试的破解是2021版本的，我已经有一段时间没用了，现在都是用这个，下面就开始分享： 准备工作 下载安装pycharm的详细过程请你看：Pycharm安装教程(非常详细) Windows电脑安装Python解释器请你看：Windows python安装教程(超详细) 激活工具 把下面的激活工具下载…...- 塵風
- 0
- 11
- 3k
-
Python Excel常用操作库+使用笔记分享
Python操作Excel表格的库有不少，我接触到的比较多的主要要“三个”，这篇文章主要是对它们几个之间的区别介绍和基础使用笔记，它们分别是：xlrd+xlwt，openpyxl库，csv库。并整理了对应的官方文档地址, 方便进行使用学习, 干货文章快快收藏吧. 介绍和区别 xlrd+xlwt xlrd+xlwt是两个库：xlrd用于读取，xlwt用于写入编辑，xlrd和xlwt可以读取格式为.x…...- 塵風
- 0
- 0
- 997
-
Python selenium 报错: DeprecationWarning: executable_path has been deprecated, please pass in a Service object *…解决
错误描述: DeprecationWarning: executable_path has been deprecated, please pass in a Service object 触发原因 DeprecationWarning 类型的警告错误：大多是属于版本已经更新，所使用的方法已经过时。 之所以出现这样的错误 是因为executable_path 被重构到了 Service 函数里，W…...- 塵風
- 0
- 0
- 3.1k
-
PyCharm破解教程(简单长期稳定)
PyCharm破解教程(简单长期稳定)分享，本人重装系统后需要重新安装很多东西，pycharm就是其中一个，下面分享下pycharm的破解教程。如果你也想重装系统的话,可以点这里查看我分享的教程：简单快速重装windows纯净原版操作系统教程(无需U盘无需设置Bios) 注意：本文所分享的内容已经有较长时间了，具体是否可用博主已经不确定了，如果还需要使用旧版本pycharm的小伙伴可以试试，不然建…...- 塵風
- 0
- 0
- 4.5k
-
Python os.walk() 方法
概述 os.walk() 方法用于通过在目录树中游走输出在目录中的文件名，向上或者向下。 os.walk() 方法是一个简单易用的文件、目录遍历器，可以帮助我们高效的处理文件、目录方面的事情。 在Unix，Windows中有效。 语法 walk()方法语法格式如下： os.walk(top[, topdown=True[, onerror=None[, followlinks=False]]]) …...- 塵風
- 0
- 0
- 1.1k
-
Python爬虫requests参数timeout以及retrying的使用
timeout参数的使用 在某些网络情况不好或者服务器端异常的情况会出现请求慢或者请求异常的情况，这个时候我们需要给请求设置一个超时时间，而不是让程序一直在等待结果。写一个简单的例子： import .requests response = requests.get('https://www.linfengnet.com/', timeout=3) print(response…...- 塵風
- 0
- 0
- 1.3k
-
fake-useragent模块报错：rror occurred during loading data. Trying to use cache server解决方法
rror occurred during loading data. Trying to use cache server报错原因： fake-useragent模块需要在线下载包含useragent信息的json文件，但是由于国内网络的特殊原因，现在如果直接使用，会出现如下报错提示： rror occurred during loading data. Trying to use cache s…...- 塵風
- 0
- 0
- 1.1k
-
Windows下将Pycharm终端更改为PowerShell
Windows下将Pycharm终端更改为PowerShell：我们都知道power shell不管是从功能上还是性能上都要比CMD要强大得多，我们安装了power shell后，可以将pycharm编辑器中的默认终端切换为power shell，方便我们的使用。 更改流程 1：找到power shell路径 先搜索到我们的power shell，右键，然后选择打开文件位置 打开是几个快捷键：我们…...- 塵風
- 0
- 0
- 2.5k
-
HTTP请求头字段Sec-Fetch-Dest介绍
Sec-Fetch-Dest是一个用于HTTP请求头的字段 (全名应该是"Security Fetch Destination"，意思是安全获取目标) ，用于指示浏览器请求的目标资源类型以及请求的目的和处理方式。该字段通常由浏览器自动生成，并在发送请求时包含在HTTP请求中。它有助于服务器和浏览器之间更好地理解请求的目的和处理方式。 Sec-Fetch-Dest字段值 Sec-…...- 塵風
- 0
- 0
- 2.4k
-
￥优惠劵使用时效：无法使用使用时效：
之前
使用时效：永久有效优惠劵ID：×