-
Python爬虫:设置随机User-Agent模块fake-useragent
Python爬虫:设置随机User-Agent模块fake-useragent介绍和使用。 模块简介 GitHub地址 https://github.com/hellysmile/fake-useragent UA数据来源 目前1.5x的版本我看GitHub介绍数据是从 https://user-agents.net/ 下载的。下面的使用的部分示例是1.2或者1.3版本新增的功…...
塵風- 0
- 0
- 3.5k
-
Python xlrd 报错xlrd.biffh.XLRDError: Excel xlsx file; not supported异常解决
之前我分享了:Python Excel常用操作库+使用笔记分享,有Python基础的小伙伴想学习下Python操作Excel进行自动化办公或者是进行数据保存到Excel就可以参考学习,今天来分享下Python xlrd 报错xlrd.biffh.XLRDError: Excel xlsx file; not supported…这个异常的解决办法(我猜大部分人是因为以前学习了xlrd 然后直接co…...
塵風- 0
- 0
- 947
-
Python requests 异常Proxy URL had no scheme, should start with http:// or https://解决
异常原因 Python requests 异常Proxy URL had no scheme, should start with http:// or https://解决,在使用Python requests的proxy代理功能的时候出现了这个错误,意思是我们使用的代理方案应该以http:// or https://开头。 在网上看到的原因是说在Python3.7及以上版本中使用request…...
塵風- 0
- 0
- 954
-
power shell 激活python虚拟环境报错:无法加载文件 *.ps1,因为在此系统上禁止运行脚本。有关详细信息,请参阅 …
在使用python虚拟环境的时候,使用power shell 激活虚拟环境的过程中,出现报错: 报错信息 无法加载文件 *.ps1,因为在此系统上禁止运行脚本。有关详细信息,请参阅 https:/go.microsoft.com/fwlink/?LinkID=135170 中的 about_Execution_Policies。 解决方案 管理员打开PowerShell执行Set-Executio…...
塵風- 0
- 0
- 2.3k
-
Python Counter()函数介绍 – 统计值出现的次数
Python Counter()函数介绍 Counter()函数 是collections模块(Python标准库中的一个模块)中的里面的一个类,作用是计算出字符串或者列表等中不同元素出现的个数,返回值可以理解为一个字典,所以对传回来的统计结果的操作都可以当作对字典的操作(Counter类继承dict类,所以它能使用dict类里面的方法) Note: 字符串还有一个内置的count(),只能统计字…...
塵風- 0
- 0
- 3.5k
-
Python reversed 函数 – 对序列进行逆序操作
Python reversed 函数是一个Python内置函数,它可以对序列进行逆序操作。 序列可以是列表、元组、字符串等,通过使用reversed()函数,我们可以快速简便地将序列中的元素进行逆序排列。我们也可以用它来实现for循环反向遍历。 reversed()函数语法 reversed(sequence) 参数 sequence即是要进行逆序操作的序列( tuple, string…...
塵風- 0
- 0
- 495
-
python requests请求之timeout参数
requests请求之timeout参数 1、python 的requests请求都可以使用timeout参数。2、timeout参数可以传入一个简单的浮点数,它将请求的连接部分和读取部分设为相同的超时时间。3、timeout参数也可以传入一个包含两个简单浮点数的元组,用来分别设置请求超时时间和读取超时时间。 举例说明: 1、传入简单浮点数: import requests # 设置超时时间为1秒…...
塵風- 0
- 0
- 1.2k
-
Python获取两个列表的交集
python获取两个列表的交集方法分享:记录了三个Python获取两个列表的交集的方法,它们分别使用:列表转集合、for循环、列表推导式配合lambda函数实现,具体的示例代码如下: 方法一 列表转集合 推荐 集合操作符& 将两个列表转换为set集合,然后使用集合操作符&求解两个set集合的交集 # -*- coding: utf-8 -*- list1 = ['…...
塵風- 0
- 0
- 946
-
HTTP请求头字段Sec-Fetch-Dest介绍
Sec-Fetch-Dest是一个用于HTTP请求头的字段 (全名应该是"Security Fetch Destination",意思是安全获取目标) ,用于指示浏览器请求的目标资源类型以及请求的目的和处理方式。该字段通常由浏览器自动生成,并在发送请求时包含在HTTP请求中。它有助于服务器和浏览器之间更好地理解请求的目的和处理方式。 Sec-Fetch-Dest字段值 Sec-…...
塵風- 0
- 0
- 2.2k
-
python chardet模块
chardet是什么 chardet是python的一个第三方编码检测模块,chardet 提供自动检测字符编码的功能,可以检测文件,XML等字符编码的类型。通过pip install chardet安装使用。 使用chardet检测编码非常容易,chardet支持检测中文、日文、韩文等多种语言。 chardet.detect() 函数接受一个参数,一个非unicode字符串, 它返回一个字典, …...
塵風- 0
- 0
- 2.1k
-
Python os.walk() 方法
概述 os.walk() 方法用于通过在目录树中游走输出在目录中的文件名,向上或者向下。 os.walk() 方法是一个简单易用的文件、目录遍历器,可以帮助我们高效的处理文件、目录方面的事情。 在Unix,Windows中有效。 语法 walk()方法语法格式如下: os.walk(top[, topdown=True[, onerror=None[, followlinks=False]]]) …...
塵風- 0
- 0
- 1k
-
Python从列表中随机获取元素方法
Python从列表中随机获取元素方法:可以使用python中random模块的sample, choice, choices,randint方法来进行。下面我们一起来看下四种从列表中随机获取元素方法: sample random.sample(sequence, k) sample的作用是从指定序列中随机获取指定长度的片断并随机排列,结果以列表的形式返回。 注意:sample函数不会修改原有序列(…...
塵風- 0
- 0
- 5.7k
-
Python列表合并的6种方法
Python列表合并的6种方法分享,下面我共列举了6中合并列表的方法,在单个或者少量(3个内?)我们可以直接使用运算符+或者+=或者extend就可以轻松的实现合并,如果列表数量太多,可以考虑使用chain,详细的介绍和示例代码大家往下看吧。 准备数据 首先我们准备三个列表作为测试学习使用数据,下面的代码中不在重复。 # 以三个全是名字元素的列表作为测试数据 name_list_1 = […...
塵風- 0
- 0
- 840
-
Python requests获取状态码
Python requests获取状态码可以通过status_code获取,例如: r = requests.get('https://httpbin.org/get') print(r.status_code) # 打印状态码 但是:requests默认不会获取301/302状态码。使用上述代码如果请求了一个被301/302跳转的URL,也会返回跳转后的状态码,如果是正常请求…...
塵風- 0
- 0
- 1.6k
-
Python wmi模块 获取电脑CPU、网卡、硬盘等信息
模块介绍 WMI介绍 Windows Management Instrumentation 翻译过来是Windows 管理规范,简称WMI,是基于 Windows 的操作系统上管理数据和操作的基础结构。 尽管可以编写 WMI 脚本或应用程序来自动执行远程计算机上的管理任务,但 WMI 还会向操作系统和产品的其他部分提供管理数据。 例如,System Center Operations Manage…...
塵風- 0
- 0
- 990
-
Python sort()函数详解 – Python列表排序函数
Python sort()函数介绍 sort()函数是Python 列表的一个方法,是python中的内置函数,sort()函数可以对列表进行就地排序。 只使用<来比较项之间的关系。如果任何比较操作失败,异常将不会被屏蔽(在排序过程中发生任何比较操作失败的异常,该异常将会被抛出,而不会被程序自动处理或忽略。) - 如果任何比较操作失败,整个排序操作将失败(并且列表可能会处于部分修改的状态)。…...
塵風- 0
- 0
- 955
-
网站搜索页面出现大量垃圾网页被收录怎么处理
网站搜索页面出现大量垃圾网页被收录怎么处理?这个问题是前几天一个朋友问我的,问题示例如下: 问题展示 再说解决方法之前我们先聊聊这个问题出现的原因,原因很明显: 就是网站被模拟搜索了大量的垃圾信息关键词,然后出现了对应的页面让搜索引擎抓取了。 像这种也算是"黑帽SEO"推广了吧...不过我认为这个东西实现起来还是很简单的,技术含量很低,而且挺早之前就出现了。 我可不可以不处理?…...
塵風- 0
- 0
- 1.4k
-
Python requests 异常Max retries exceeded with url: 请求地址… (Caused by SSLError(SSLCertVerificationError(1, ‘[SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate (_ssl.c:1129)’)))”))}解决
今天在写爬虫的时候遇见了如下错误: Max retries exceeded with url: https://******... (Caused by SSLError(SSLCertVerificationError(1, '[SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get …...
塵風- 0
- 0
- 766
-
Windows python安装教程(超详细)
1:下载python python官网地址:https://www.python.org/ python下载地址直达:https://www.python.org/downloads/ 由于国内网络特殊原因,去官网下载不科学上网可能会很慢或者无法下载。 这里附上国内华为python安装包地址: 华为python安装包下载地址:https://mirrors.huaweicloud.com/pyth…...
塵風- 0
- 0
- 1.7k
-
Python获取字典的前x个元素
Python获取字典的前*个元素我们可以使用itertools中的islice函数实现或者是sorted函数、Counter(dict).most_common()函数实现,再Python中列表实现这样的需求就很简单,我们可以直接通过切片获取,不过字典没有切片,我们就先取出所有 keys,再用拿到的key去取value,在组成一个新的字典就可以了。 注意: sorted函数、Counter(dic…...
塵風- 0
- 0
- 1.1k







![Python requests 异常Max retries exceeded with url: 请求地址… (Caused by SSLError(SSLCertVerificationError(1, ‘[SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate (_ssl.c:1129)’)))”))}解决](https://www.linfengnet.com/wp-content/uploads/2024/01/2024010606414043.png)
