-
python错误: Object of type * is not JSON serializable解决
Object of type * is not JSON serializable错误是我在写爬虫的时候遇到的一个问题 引起函数 json.dumps()函数引起的 在处理数据的时候使用json.dumps()函数将dict（字典）数据类型转化为json数据的时候，促发了这个错误。 原因： 原因是转化的dict(字典)数据中有value数据没处理好，字典的值中包含了generator、byte（字…...
塵風- 0
- 0
- 6.1k
-
Python requests 异常Proxy URL had no scheme, should start with http:// or https://解决
异常原因 Python requests 异常Proxy URL had no scheme, should start with http:// or https://解决，在使用Python requests的proxy代理功能的时候出现了这个错误，意思是我们使用的代理方案应该以http:// or https://开头。 在网上看到的原因是说在Python3.7及以上版本中使用request…...- 塵風
- 0
- 0
- 894
-
fake-useragent模块报错：rror occurred during loading data. Trying to use cache server解决方法
rror occurred during loading data. Trying to use cache server报错原因： fake-useragent模块需要在线下载包含useragent信息的json文件，但是由于国内网络的特殊原因，现在如果直接使用，会出现如下报错提示： rror occurred during loading data. Trying to use cache s…...- 塵風
- 0
- 0
- 887
-
Python os.walk() 方法
概述 os.walk() 方法用于通过在目录树中游走输出在目录中的文件名，向上或者向下。 os.walk() 方法是一个简单易用的文件、目录遍历器，可以帮助我们高效的处理文件、目录方面的事情。 在Unix，Windows中有效。 语法 walk()方法语法格式如下： os.walk(top[, topdown=True[, onerror=None[, followlinks=False]]]) …...- 塵風
- 0
- 0
- 995
-
Python爬虫：设置随机User-Agent模块fake-useragent
Python爬虫：设置随机User-Agent模块fake-useragent介绍和使用。 模块简介 GitHub地址 https://github.com/hellysmile/fake-useragent UA数据来源 目前1.5x的版本我看GitHub介绍数据是从 https://user-agents.net/ 下载的。下面的使用的部分示例是1.2或者1.3版本新增的功…...- 塵風
- 0
- 0
- 3.5k
-
Python glob模块和主要方法
概述 glob是python自己带的一个文件操作相关模块，查找文件目录和文件，类似于Windows下的文件搜索。 glob模块会将查找到的文件目录或文件的搜索结果返回到一个列表中。 支持的通配符： 支持：*，?，[]，这三个通配符 *代表匹配0个或多个字符?代表匹配任意一个字符[]匹配指定范围内的字符如：[0-9]匹配所有数字[a-z]匹配所有字母[1,2,3]仅匹配1，2，3三个数字[！1,2,…...- 塵風
- 0
- 0
- 1.8k
-
Python selenium 报错: DeprecationWarning: executable_path has been deprecated, please pass in a Service object *…解决
错误描述: DeprecationWarning: executable_path has been deprecated, please pass in a Service object 触发原因 DeprecationWarning 类型的警告错误：大多是属于版本已经更新，所使用的方法已经过时。 之所以出现这样的错误 是因为executable_path 被重构到了 Service 函数里，W…...- 塵風
- 0
- 0
- 2.8k
-
Pycharm安装教程(非常详细)
PyCharm简介 PyCharm是一款由JetBrains公司开发的集成开发环境（IDE），专门用于Python编程。PyCharm可以说是Python开发者首选的IDE之一，适用于从初学者到专业开发者的各种需求。 它提供了丰富的功能和工具，帮助开发者更高效地编写、调试和部署Python代码。PyCharm具有智能代码补全、代码导航、调试器、版本控制集成、内置终端等功能，使得开发过程更加流畅和便…...- 塵風
- 0
- 0
- 2.2k
-
Python从路径|URL中获取文件名、文件后缀的方法
Python从路径|URL中获取文件名、文件后缀的方法分享： 我们可以通过urlparse模块中的urllib.parse方法、os.path模块或者是字符串split、rfind等方法去实现，非常简单。这样就不用去写正则了哈哈哈。 一般情况下urlparse更合适解析URL(URL中有参数的时候，不需要做其他处理)，os.path模块则更合适处理本地路径，所以大部分时候个人建议选择这两种方式也就…...- 塵風
- 0
- 0
- 1.3k
-
Windows下将Pycharm终端更改为PowerShell
Windows下将Pycharm终端更改为PowerShell：我们都知道power shell不管是从功能上还是性能上都要比CMD要强大得多，我们安装了power shell后，可以将pycharm编辑器中的默认终端切换为power shell，方便我们的使用。 更改流程 1：找到power shell路径 先搜索到我们的power shell，右键，然后选择打开文件位置 打开是几个快捷键：我们…...- 塵風
- 0
- 0
- 2.2k
-
Python使用 pytesseract 进行图片识别
在编写爬虫的时候，如果遇见参数图片化的情况的(例如登录验证码)，就需要对图片验证码进行识别，我们就可以使用pytesseract。 pytesseract简介 pytesseract是一款用于光学字符识别（OCR）的python工具，即从图片中识别出和“读取”其中嵌入的文字。 底层使用的是Google的Tesseract-OCR 引擎（Tesseract是一个开源文本识别 (OCR) 引擎（注意：…...- 塵風
- 0
- 0
- 2.4k
-
Python requests 异常InsecureRequestWarning: Unverified HTTPS request is being made to host ‘***domain’. Adding certificate verification is strongly advised. See…解决
Python在使用requests模块的时候出现如下异常信息: C:\Python\Python39\lib\site-packages\urllib3\connectionpool.py:1043: InsecureRequestWarning: Unverified HTTPS request is being made to host 'you request domain…...- 塵風
- 0
- 0
- 680
-
解决python：AttributeError: ‘set’ object has no attribute ‘items’错误记录
在之前写爬虫代码的时候，我自以为认代码各方面的都没问题了，但是出现了这样一个错误： AttributeError: 'set' object has no attribute 'items' 手动苦笑不得，检查了一遍代码发现都没问题，但是运行还是出现这个错误，于是我就果断百度了下， 出现这个错误可能是我们把一组dict，用逗号相隔了 例如{“id”,id}应…...- 塵風
- 0
- 0
- 2.4k
-
Python xlrd 报错xlrd.biffh.XLRDError: Excel xlsx file; not supported异常解决
之前我分享了：Python Excel常用操作库+使用笔记分享，有Python基础的小伙伴想学习下Python操作Excel进行自动化办公或者是进行数据保存到Excel就可以参考学习，今天来分享下Python xlrd 报错xlrd.biffh.XLRDError: Excel xlsx file; not supported…这个异常的解决办法（我猜大部分人是因为以前学习了xlrd 然后直接co…...- 塵風
- 0
- 0
- 900
-
Pycharm函数注释(参数和返回值)无法自动生成问题解决
正常使用Pycharm，对定义的函数书写注释(三个引号)，Pycharm是会自动生成函数参数和返回值的注释格式，如下： 问题展示 # 定义一个函数 def test(a, b): """ # 再输入三个引号（单引号和双引号均可）后回车，会自动生成函数参数和返回值的注释 pass 正常情况： 输出结果为 def test(a, b): '''…...- 塵風
- 0
- 0
- 1.9k
-
网站被黑，被搜索引擎收录垃圾信息删除处理教程
现在有非常多的站点被黑导致网站被搜索引擎收录了许多的色情、赌博信息，导致网站被降权，或者搜索品牌词的时候出现的站点信息变成了垃圾信息等情况，尽管有的企业不依赖SEO转化，但是品牌词有搜索量的公司遇见这种情况也是比较重要的问题。 注意：这篇文章是教你怎么处理/删除：被搜索引擎收录垃圾信息，而不是教你处理网站被黑（至于网站被黑这问题怎么处理，则太宽泛了，问题原因数不胜数，不是一篇文章说的清楚的）。 处…...- 塵風
- 0
- 0
- 1.4k
-
python os.scandir()函数
概述 在 Python 3.5版本中，新添加了 os.scandir()方法， scandir是一个目录迭代方法，返回一个DirEntry迭代器对象，它能告诉你迭代文件的路径。 os.scandir() 的运行效率要比 os.walk 高。 在 PEP 471 中，Python 官方也推荐我们使用 os.scandir() 来遍历目录。 相关文章：Python os.walk() 方法 官方介绍截…...- 塵風
- 0
- 0
- 1.8k
-
Python列表合并的6种方法
Python列表合并的6种方法分享，下面我共列举了6中合并列表的方法，在单个或者少量（3个内?）我们可以直接使用运算符+或者+=或者extend就可以轻松的实现合并，如果列表数量太多，可以考虑使用chain，详细的介绍和示例代码大家往下看吧。 准备数据 首先我们准备三个列表作为测试学习使用数据，下面的代码中不在重复。 # 以三个全是名字元素的列表作为测试数据 name_list_1 = […...- 塵風
- 0
- 0
- 780
-
使用Python检查提取网站死链
网站死链会影响我们的用户体验和搜索引擎对我们站点的评分(尤其是网站存在已经被做成赌博、色情网站的链接，影响很大)，但是网站运营时长长了，就难免会有这样的问题，所以我们可以考虑定期的处理下，我之前分享过一些WordPress死链、外部链接处理的文章，如果你是使用WordPress，就可以直接参考下述的文章去解决： WordPress去除文章失效链接 WordPress文章外部链接清除 WordPre…...- 塵風
- 0
- 0
- 625
-
使用Python批量检查网站友情链接
外链对SEO的重要性到今天我想已经不用多说了，友情链接则是我们在优化过程中毕竟经常使用的一种增加外链方法，不过外链还是需要定期的检查的，毕竟一些站长下链卖站了可能不一定会提醒...或者有的网站已经不续费了，域名过期被抢注，直接做灰黑产业站点，我们又没下链，那么排名可能就会直接消失..哈哈哈，但是我们网站多了，又不可能一个个人工去检查，像我之前公司以前SEO订单多的时候要优化100+站点，自己又有一…...- 塵風
- 0
- 0
- 534
-
￥优惠劵使用时效：无法使用使用时效：
之前
使用时效：永久有效优惠劵ID：×