-
解决python:AttributeError: ‘set’ object has no attribute ‘items’错误记录
在之前写爬虫代码的时候,我自以为认代码各方面的都没问题了,但是出现了这样一个错误: AttributeError: 'set' object has no attribute 'items' 手动苦笑不得,检查了一遍代码发现都没问题,但是运行还是出现这个错误,于是我就果断百度了下, 出现这个错误可能是我们把一组dict,用逗号相隔了 例如{“id”,id}应…...
塵風- 0
- 0
- 2.7k
-
Python爬虫:设置随机User-Agent模块fake-useragent
Python爬虫:设置随机User-Agent模块fake-useragent介绍和使用。 模块简介 GitHub地址 https://github.com/hellysmile/fake-useragent UA数据来源 目前1.5x的版本我看GitHub介绍数据是从 https://user-agents.net/ 下载的。下面的使用的部分示例是1.2或者1.3版本新增的功…...
塵風- 0
- 0
- 3.8k
-
python错误: Object of type * is not JSON serializable解决
Object of type * is not JSON serializable错误是我在写爬虫的时候遇到的一个问题 引起函数 json.dumps()函数引起的 在处理数据的时候使用json.dumps()函数将dict(字典)数据类型转化为json数据的时候,促发了这个错误。 原因: 原因是转化的dict(字典)数据中有value数据没处理好,字典的值中包含了generator、byte(字…...
塵風- 0
- 0
- 6.4k
-
Python requests 异常Max retries exceeded with url: 请求地址… (Caused by SSLError(SSLCertVerificationError(1, ‘[SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate (_ssl.c:1129)’)))”))}解决
今天在写爬虫的时候遇见了如下错误: Max retries exceeded with url: https://******... (Caused by SSLError(SSLCertVerificationError(1, '[SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get …...
塵風- 0
- 0
- 1k
-
Pycharm函数注释(参数和返回值)无法自动生成问题解决
正常使用Pycharm,对定义的函数书写注释(三个引号),Pycharm是会自动生成函数参数和返回值的注释格式,如下: 问题展示 # 定义一个函数 def test(a, b): """ # 再输入三个引号(单引号和双引号均可)后回车,会自动生成函数参数和返回值的注释 pass 正常情况: 输出结果为 def test(a, b): '''…...
塵風- 0
- 0
- 2.3k
-
PyCharm中文指南、教程-百度云免费
今天分享的PyCharm中文文档的相关资源,有相关接触的可以考虑收藏,熟悉编辑器可以有效的帮助我们提高我们的编程效率,在方便新手学习使用的同时在使用中遇到各种Pycharm编辑器相关问题,可以查找帮助解决,以备不时之需! PyCharm是什么,这里就不扯了,点进这里来的我想到都知道PyCharm是什么,文章下面也有一点网上复制过来的pycharm简介,之前也分享过:Pycharm安装详细教程(非常…...
塵風- 0
- 0
- 2.7k
-
使用Python检查提取网站死链
网站死链会影响我们的用户体验和搜索引擎对我们站点的评分(尤其是网站存在已经被做成赌博、色情网站的链接,影响很大),但是网站运营时长长了,就难免会有这样的问题,所以我们可以考虑定期的处理下,我之前分享过一些WordPress死链、外部链接处理的文章,如果你是使用WordPress,就可以直接参考下述的文章去解决: WordPress去除文章失效链接 WordPress文章外部链接清除 WordPre…...
塵風- 0
- 0
- 1k
-
在Python中打开文件使用utf-8-sig和utf-8的区别
今天在使用Python读取CSV文件的时候,出现了一个KeyError的错误的,这个错误提示很明显,就是没有对应的列名,但是经过检查我的CSV文件中是有对应的列名的呀,然后编码格式我也检查了,这个时候我就想先打印列名看下,打印后就看出问题了。 问题原因 假设通过Excel打开我的CSV文件,列名是:列名1、列名2... 但是打印出的结果是如下: ['\ufeff列名1', …...
塵風- 0
- 0
- 1.2k
-
Python glob模块和主要方法
概述 glob是python自己带的一个文件操作相关模块,查找文件目录和文件,类似于Windows下的文件搜索。 glob模块会将查找到的文件目录或文件的搜索结果返回到一个列表中。 支持的通配符: 支持:*,?,[],这三个通配符 *代表匹配0个或多个字符?代表匹配任意一个字符[]匹配指定范围内的字符如:[0-9]匹配所有数字[a-z]匹配所有字母[1,2,3]仅匹配1,2,3三个数字[!1,2,…...
塵風- 0
- 0
- 2.1k
-
Python requests 异常Proxy URL had no scheme, should start with http:// or https://解决
异常原因 Python requests 异常Proxy URL had no scheme, should start with http:// or https://解决,在使用Python requests的proxy代理功能的时候出现了这个错误,意思是我们使用的代理方案应该以http:// or https://开头。 在网上看到的原因是说在Python3.7及以上版本中使用request…...
塵風- 0
- 0
- 1.2k
-
HTTP请求头字段Sec-Fetch-Dest介绍
Sec-Fetch-Dest是一个用于HTTP请求头的字段 (全名应该是"Security Fetch Destination",意思是安全获取目标) ,用于指示浏览器请求的目标资源类型以及请求的目的和处理方式。该字段通常由浏览器自动生成,并在发送请求时包含在HTTP请求中。它有助于服务器和浏览器之间更好地理解请求的目的和处理方式。 Sec-Fetch-Dest字段值 Sec-…...
塵風- 0
- 0
- 2.5k
-
python os.scandir()函数
概述 在 Python 3.5版本中,新添加了 os.scandir()方法, scandir是一个目录迭代方法,返回一个DirEntry迭代器对象,它能告诉你迭代文件的路径。 os.scandir() 的运行效率要比 os.walk 高。 在 PEP 471 中,Python 官方也推荐我们使用 os.scandir() 来遍历目录。 相关文章:Python os.walk() 方法 官方介绍截…...
塵風- 0
- 0
- 2.1k
-
Python sort()函数详解 – Python列表排序函数
Python sort()函数介绍 sort()函数是Python 列表的一个方法,是python中的内置函数,sort()函数可以对列表进行就地排序。 只使用<来比较项之间的关系。如果任何比较操作失败,异常将不会被屏蔽(在排序过程中发生任何比较操作失败的异常,该异常将会被抛出,而不会被程序自动处理或忽略。) - 如果任何比较操作失败,整个排序操作将失败(并且列表可能会处于部分修改的状态)。…...
塵風- 0
- 0
- 1.2k
-
Python 将字符串转为字典
Python 将字符串转为字典可以使用ast模块中的literal_eval方法或者是json模块、eval方法。下面分享下这三种方法的示例代码: 注:虽然上面列举了三个在Python中可以实现将字符串转为字典的方法,但是推荐使用ast模块中的literal_eval方法进行,具体的原因会在下述说明,下面是详细的代码: 通过 json 来转换 我们可以直接使用json模块中的loads函数对字符串…...
塵風- 0
- 0
- 1k
-
Python enumerate() 函数,Python将列表转换为索引:元素的字典
Python将列表转换为索引:元素的字典可以使用Python enumerate() 函数,enumerate() 函数是Python中的一个内置函数。 enumerate() 函数 介绍 enumerate() 函数用于将一个可遍历的数据对象(如列表、元组或字符串)组合为一个索引序列,同时列出数据和数据下标,一般用在 for 循环当中。 Python 2.3. 以上版本可用,2.6 添加 sta…...
塵風- 0
- 0
- 1.1k
-
Python reversed 函数 – 对序列进行逆序操作
Python reversed 函数是一个Python内置函数,它可以对序列进行逆序操作。 序列可以是列表、元组、字符串等,通过使用reversed()函数,我们可以快速简便地将序列中的元素进行逆序排列。我们也可以用它来实现for循环反向遍历。 reversed()函数语法 reversed(sequence) 参数 sequence即是要进行逆序操作的序列( tuple, string…...
塵風- 0
- 0
- 827
-
power shell 激活python虚拟环境报错:无法加载文件 *.ps1,因为在此系统上禁止运行脚本。有关详细信息,请参阅 …
在使用python虚拟环境的时候,使用power shell 激活虚拟环境的过程中,出现报错: 报错信息 无法加载文件 *.ps1,因为在此系统上禁止运行脚本。有关详细信息,请参阅 https:/go.microsoft.com/fwlink/?LinkID=135170 中的 about_Execution_Policies。 解决方案 管理员打开PowerShell执行Set-Executio…...
塵風- 0
- 0
- 2.6k
-
Python拼接URL:urllib.parse urljoin使用
Python拼接URL可以使用urllib.parse中的urljoin方法,urllib是Python中一个用于URL 处理的模块,urllib.parse 用于解析 URL,在之前分享的Python从路径|URL中获取文件名、文件后缀的方法中提到过使用其中的urlparse方法解析URL,感兴趣的可以去看看。 urllib.parse模块的的urlparse和urljoin刚好是两个相反的功能…...
塵風- 0
- 0
- 1.5k
-
Python 字典判断键是否存在
Python 字典判断键是否存在可以使用has_key()方法、 __contains__(key)方法、in 操作符。下面是详细介绍和实例代码: has_key()方法 Python 字典(Dictionary) has_key() 函数用于判断键是否存在于字典中,如果键在字典 dict 里返回 true,否则返回 false。 注意:Python 3.X 不支持该方法。 语法 has_key(…...
塵風- 0
- 0
- 1.9k
-
Python字典按照值(value)的大小进行排序方法
Python字典按照值(value)的大小进行排序可以使用collections的Counter()函数和sorted函数两种方式进行,关于Counter和sorted函数之前也记录过,关于这两个详细的就不说了,有需要可以自己看看: python Counter()函数介绍 - 统计值出现的次数 Python3 sorted() 函数 - 对所有可迭代的对象进行排序操作。 下面我们直接看使用它们对…...
塵風- 0
- 0
- 1.1k


![Python requests 异常Max retries exceeded with url: 请求地址… (Caused by SSLError(SSLCertVerificationError(1, ‘[SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate (_ssl.c:1129)’)))”))}解决](https://www.linfengnet.com/wp-content/uploads/2024/01/2024010606414043.png)









