-
Python爬虫：设置随机User-Agent模块fake-useragent
Python爬虫：设置随机User-Agent模块fake-useragent介绍和使用。 模块简介 GitHub地址 https://github.com/hellysmile/fake-useragent UA数据来源 目前1.5x的版本我看GitHub介绍数据是从 https://user-agents.net/ 下载的。下面的使用的部分示例是1.2或者1.3版本新增的功…...
塵風- 0
- 0
- 3.5k
-
Python xlrd 报错xlrd.biffh.XLRDError: Excel xlsx file; not supported异常解决
之前我分享了：Python Excel常用操作库+使用笔记分享，有Python基础的小伙伴想学习下Python操作Excel进行自动化办公或者是进行数据保存到Excel就可以参考学习，今天来分享下Python xlrd 报错xlrd.biffh.XLRDError: Excel xlsx file; not supported…这个异常的解决办法（我猜大部分人是因为以前学习了xlrd 然后直接co…...- 塵風
- 0
- 0
- 947
-
Python requests 异常Proxy URL had no scheme, should start with http:// or https://解决
异常原因 Python requests 异常Proxy URL had no scheme, should start with http:// or https://解决，在使用Python requests的proxy代理功能的时候出现了这个错误，意思是我们使用的代理方案应该以http:// or https://开头。 在网上看到的原因是说在Python3.7及以上版本中使用request…...- 塵風
- 0
- 0
- 954
-
power shell 激活python虚拟环境报错：无法加载文件 *.ps1，因为在此系统上禁止运行脚本。有关详细信息，请参阅 …
在使用python虚拟环境的时候，使用power shell 激活虚拟环境的过程中，出现报错： 报错信息 无法加载文件 *.ps1，因为在此系统上禁止运行脚本。有关详细信息，请参阅 https:/go.microsoft.com/fwlink/?LinkID=135170 中的 about_Execution_Policies。 解决方案 管理员打开PowerShell执行Set-Executio…...- 塵風
- 0
- 0
- 2.3k
-
Python Counter()函数介绍 – 统计值出现的次数
Python Counter()函数介绍 Counter()函数 是collections模块(Python标准库中的一个模块)中的里面的一个类，作用是计算出字符串或者列表等中不同元素出现的个数，返回值可以理解为一个字典，所以对传回来的统计结果的操作都可以当作对字典的操作(Counter类继承dict类，所以它能使用dict类里面的方法) Note: 字符串还有一个内置的count()，只能统计字…...- 塵風
- 0
- 0
- 3.5k
-
Python reversed 函数 – 对序列进行逆序操作
Python reversed 函数是一个Python内置函数，它可以对序列进行逆序操作。 序列可以是列表、元组、字符串等，通过使用reversed()函数，我们可以快速简便地将序列中的元素进行逆序排列。我们也可以用它来实现for循环反向遍历。 reversed()函数语法 reversed(sequence) 参数 sequence即是要进行逆序操作的序列( tuple, string…...- 塵風
- 0
- 0
- 495
-
python requests请求之timeout参数
requests请求之timeout参数 1、python 的requests请求都可以使用timeout参数。2、timeout参数可以传入一个简单的浮点数，它将请求的连接部分和读取部分设为相同的超时时间。3、timeout参数也可以传入一个包含两个简单浮点数的元组，用来分别设置请求超时时间和读取超时时间。 举例说明： 1、传入简单浮点数： import requests # 设置超时时间为1秒…...- 塵風
- 0
- 0
- 1.2k
-
Python获取两个列表的交集
python获取两个列表的交集方法分享：记录了三个Python获取两个列表的交集的方法，它们分别使用：列表转集合、for循环、列表推导式配合lambda函数实现，具体的示例代码如下： 方法一 列表转集合 推荐 集合操作符& 将两个列表转换为set集合，然后使用集合操作符&求解两个set集合的交集 # -*- coding: utf-8 -*- list1 = ['…...- 塵風
- 0
- 0
- 946
-
HTTP请求头字段Sec-Fetch-Dest介绍
Sec-Fetch-Dest是一个用于HTTP请求头的字段 (全名应该是"Security Fetch Destination"，意思是安全获取目标) ，用于指示浏览器请求的目标资源类型以及请求的目的和处理方式。该字段通常由浏览器自动生成，并在发送请求时包含在HTTP请求中。它有助于服务器和浏览器之间更好地理解请求的目的和处理方式。 Sec-Fetch-Dest字段值 Sec-…...- 塵風
- 0
- 0
- 2.2k
-
python chardet模块
chardet是什么 chardet是python的一个第三方编码检测模块，chardet 提供自动检测字符编码的功能，可以检测文件，XML等字符编码的类型。通过pip install chardet安装使用。 使用chardet检测编码非常容易，chardet支持检测中文、日文、韩文等多种语言。 chardet.detect() 函数接受一个参数，一个非unicode字符串， 它返回一个字典， …...- 塵風
- 0
- 0
- 2.1k
-
Python os.walk() 方法
概述 os.walk() 方法用于通过在目录树中游走输出在目录中的文件名，向上或者向下。 os.walk() 方法是一个简单易用的文件、目录遍历器，可以帮助我们高效的处理文件、目录方面的事情。 在Unix，Windows中有效。 语法 walk()方法语法格式如下： os.walk(top[, topdown=True[, onerror=None[, followlinks=False]]]) …...- 塵風
- 0
- 0
- 1k
-
Python从列表中随机获取元素方法
Python从列表中随机获取元素方法：可以使用python中random模块的sample, choice, choices，randint方法来进行。下面我们一起来看下四种从列表中随机获取元素方法： sample random.sample(sequence, k) sample的作用是从指定序列中随机获取指定长度的片断并随机排列，结果以列表的形式返回。 注意：sample函数不会修改原有序列(…...- 塵風
- 0
- 0
- 5.7k
-
Python列表合并的6种方法
Python列表合并的6种方法分享，下面我共列举了6中合并列表的方法，在单个或者少量（3个内?）我们可以直接使用运算符+或者+=或者extend就可以轻松的实现合并，如果列表数量太多，可以考虑使用chain，详细的介绍和示例代码大家往下看吧。 准备数据 首先我们准备三个列表作为测试学习使用数据，下面的代码中不在重复。 # 以三个全是名字元素的列表作为测试数据 name_list_1 = […...- 塵風
- 0
- 0
- 840
-
Python requests获取状态码
Python requests获取状态码可以通过status_code获取，例如： r = requests.get('https://httpbin.org/get') print(r.status_code) # 打印状态码 但是：requests默认不会获取301/302状态码。使用上述代码如果请求了一个被301/302跳转的URL，也会返回跳转后的状态码，如果是正常请求…...- 塵風
- 0
- 0
- 1.6k
-
Python wmi模块 获取电脑CPU、网卡、硬盘等信息
模块介绍 WMI介绍 Windows Management Instrumentation 翻译过来是Windows 管理规范，简称WMI，是基于 Windows 的操作系统上管理数据和操作的基础结构。 尽管可以编写 WMI 脚本或应用程序来自动执行远程计算机上的管理任务，但 WMI 还会向操作系统和产品的其他部分提供管理数据。 例如，System Center Operations Manage…...- 塵風
- 0
- 0
- 990
-
Python sort()函数详解 – Python列表排序函数
Python sort()函数介绍 sort()函数是Python 列表的一个方法，是python中的内置函数，sort()函数可以对列表进行就地排序。 只使用<来比较项之间的关系。如果任何比较操作失败，异常将不会被屏蔽(在排序过程中发生任何比较操作失败的异常，该异常将会被抛出，而不会被程序自动处理或忽略。) - 如果任何比较操作失败，整个排序操作将失败（并且列表可能会处于部分修改的状态）。…...- 塵風
- 0
- 0
- 955
-
网站搜索页面出现大量垃圾网页被收录怎么处理
网站搜索页面出现大量垃圾网页被收录怎么处理？这个问题是前几天一个朋友问我的，问题示例如下： 问题展示 再说解决方法之前我们先聊聊这个问题出现的原因，原因很明显： 就是网站被模拟搜索了大量的垃圾信息关键词，然后出现了对应的页面让搜索引擎抓取了。 像这种也算是"黑帽SEO"推广了吧...不过我认为这个东西实现起来还是很简单的，技术含量很低，而且挺早之前就出现了。 我可不可以不处理？…...- 塵風
- 0
- 0
- 1.4k
-
![Python requests 异常Max retries exceeded with url: 请求地址… (Caused by SSLError(SSLCertVerificationError(1, ‘[SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate (_ssl.c:1129)’)))”))}解决](https://www.linfengnet.com/wp-content/uploads/2024/01/2024010606414043.png)
Python requests 异常Max retries exceeded with url: 请求地址… (Caused by SSLError(SSLCertVerificationError(1, ‘[SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate (_ssl.c:1129)’)))”))}解决
今天在写爬虫的时候遇见了如下错误： Max retries exceeded with url: https://******... (Caused by SSLError(SSLCertVerificationError(1, '[SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get …...- 塵風
- 0
- 0
- 766
-
Windows python安装教程(超详细)
1：下载python python官网地址：https://www.python.org/ python下载地址直达：https://www.python.org/downloads/ 由于国内网络特殊原因，去官网下载不科学上网可能会很慢或者无法下载。 这里附上国内华为python安装包地址： 华为python安装包下载地址：https://mirrors.huaweicloud.com/pyth…...- 塵風
- 0
- 0
- 1.7k
-
Python获取字典的前x个元素
Python获取字典的前*个元素我们可以使用itertools中的islice函数实现或者是sorted函数、Counter(dict).most_common()函数实现，再Python中列表实现这样的需求就很简单，我们可以直接通过切片获取，不过字典没有切片，我们就先取出所有 keys，再用拿到的key去取value，在组成一个新的字典就可以了。 注意： sorted函数、Counter(dic…...- 塵風
- 0
- 0
- 1.1k
-
￥优惠劵使用时效：无法使用使用时效：
之前
使用时效：永久有效优惠劵ID：×