-
使用Python检查提取网站死链
网站死链会影响我们的用户体验和搜索引擎对我们站点的评分(尤其是网站存在已经被做成赌博、色情网站的链接,影响很大),但是网站运营时长长了,就难免会有这样的问题,所以我们可以考虑定期的处理下,我之前分享过一些WordPress死链、外部链接处理的文章,如果你是使用WordPress,就可以直接参考下述的文章去解决: WordPress去除文章失效链接 WordPress文章外部链接清除 WordPre…...
塵風- 0
- 0
- 647
-
Python爬虫:设置随机User-Agent模块fake-useragent
Python爬虫:设置随机User-Agent模块fake-useragent介绍和使用。 模块简介 GitHub地址 https://github.com/hellysmile/fake-useragent UA数据来源 目前1.5x的版本我看GitHub介绍数据是从 https://user-agents.net/ 下载的。下面的使用的部分示例是1.2或者1.3版本新增的功…...
塵風- 0
- 0
- 3.5k
-
Python wmi模块 获取电脑CPU、网卡、硬盘等信息
模块介绍 WMI介绍 Windows Management Instrumentation 翻译过来是Windows 管理规范,简称WMI,是基于 Windows 的操作系统上管理数据和操作的基础结构。 尽管可以编写 WMI 脚本或应用程序来自动执行远程计算机上的管理任务,但 WMI 还会向操作系统和产品的其他部分提供管理数据。 例如,System Center Operations Manage…...
塵風- 0
- 0
- 925
-
Python pip命令大全
Python pip 使用命令大全分享 官方文档 地址:https://docs.python.org/3/installing/index.html 命令大全 安装模块 pip install 模块名 通常,如果已经安装了模块,再次安装 它再次不会有任何效果。如需要升级 请使用升级命令。 不加版本号 默认安装模块当前最新版本。 安装指定版本 pip install 模块名==1.xx 指定源安装…...
塵風- 0
- 0
- 493
-
Pycharm项目目录文件夹图标小圆点代表什么意思
Pycharm项目目录文件夹图标小圆点代表什么意思:带小圆点的目录则代表这是一个Python的包,这个目录里面会有__init__.py文件。 如下图所示: 带点和不带点区别 带有小圆点的文件夹目录是packkage,即Python的包,里面会有__init__.py文件 没有点的是一个directory,即是普通的文件夹 在文件夹添加或者删除__init__.py文件,它就会变成包或者普通文件夹…...
塵風- 0
- 0
- 1.2k
-
Python爬虫requests参数timeout以及retrying的使用
timeout参数的使用 在某些网络情况不好或者服务器端异常的情况会出现请求慢或者请求异常的情况,这个时候我们需要给请求设置一个超时时间,而不是让程序一直在等待结果。写一个简单的例子: import .requests response = requests.get('https://www.linfengnet.com/', timeout=3) print(response…...
塵風- 0
- 0
- 1.1k
-
Python os.walk() 方法
概述 os.walk() 方法用于通过在目录树中游走输出在目录中的文件名,向上或者向下。 os.walk() 方法是一个简单易用的文件、目录遍历器,可以帮助我们高效的处理文件、目录方面的事情。 在Unix,Windows中有效。 语法 walk()方法语法格式如下: os.walk(top[, topdown=True[, onerror=None[, followlinks=False]]]) …...
塵風- 0
- 0
- 1k
-
Python实现将字符串复制到粘贴板
Python实现将字符串复制到粘贴板方法分享: 一:使用perclip库 安装 pip install pyperclip 示例代码 # 导入pyperclip import pyperclip # 使用pyperclip.copy()方法可以将指定的字符串复制到剪贴板。 text = '这是要复制到剪贴板的文本' pyperclip.copy(text) # 运行代码后 Ct…...
塵風- 0
- 0
- 1.1k
-
python os.scandir()函数
概述 在 Python 3.5版本中,新添加了 os.scandir()方法, scandir是一个目录迭代方法,返回一个DirEntry迭代器对象,它能告诉你迭代文件的路径。 os.scandir() 的运行效率要比 os.walk 高。 在 PEP 471 中,Python 官方也推荐我们使用 os.scandir() 来遍历目录。 相关文章:Python os.walk() 方法 官方介绍截…...
塵風- 0
- 0
- 1.8k
-
Pycharm如何选中多行编辑
Pycharm如何选中多行编辑: 快捷键 同时选中多行快捷键:ctrl + shift +alt +点击鼠标左键 操作流程 按住后可以在任意需要的位置增加光标 然后就可以松开,进行下一步操作: 如果是同时操作(如光标在代码之间移动),则 ctrl + 上下左右键 如果是同时选中光标附近的代码,则 ctrl + shift + 上下左右键 如下图,我们选中的行前面都会有光标闪烁显示: 然后就可以对这…...
塵風- 0
- 0
- 1.1k
-
Python for循环同时遍历两个列表
Python for循环同时遍历两个列表我们可以使用Python zip函数来实现, zip() 函数简介 zip() 函数是 Python 内置函数之一,zip() 函数用于将可迭代的对象作为参数,将对象中对应的元素打包成一个个元组,然后返回由这些元组组成zip对象。 在Python2中,zip() 函数返回的是列表,在Python3中,则是返回上述所说的zip对象,这样可以减少内存。如果需要列…...
塵風- 0
- 0
- 500
-
python os.path.dirname(__file__)
os.path.dirname() 是python os.path 模块的一种方法: 作用: 返回文件路径(只是路径 不包含文件名) os.path.dirname(path) # 返回路径path的目录名称 os.path.dirname(__file__) # 直接返回当前文件路径 os.path.dirname()注意点: os.path.dirname() 和os.path.basenam…...
塵風- 0
- 0
- 998
-
UnicodeDecodeError: ‘utf-8’ codec can’t decode byte 0xb9 in position 0: invalid start byte错误解决
今天在使用Python csv模块的时候,出现了这个错误,不过应该打开其他类型的文件,例如txt文件没指定正确的编码应该也会出现这个问题,可以一起参考下文章里面的解决方法,详细报错信息如下: Traceback (most recent call last): File "你的Python文件路径***.py", line 18(代码所在位置), in <module&g…...
塵風- 0
- 0
- 979
-
Python使用 pytesseract 进行图片识别
在编写爬虫的时候,如果遇见参数图片化的情况的(例如登录验证码),就需要对图片验证码进行识别,我们就可以使用pytesseract。 pytesseract简介 pytesseract是一款用于光学字符识别(OCR)的python工具,即从图片中识别出和“读取”其中嵌入的文字。 底层使用的是Google的Tesseract-OCR 引擎(Tesseract是一个开源文本识别 (OCR) 引擎(注意:…...
塵風- 0
- 0
- 2.4k
-
PyCharm破解教程(简单长期稳定)
PyCharm破解教程(简单长期稳定)分享,本人重装系统后需要重新安装很多东西,pycharm就是其中一个,下面分享下pycharm的破解教程。如果你也想重装系统的话,可以点这里查看我分享的教程:简单快速重装windows纯净原版操作系统教程(无需U盘无需设置Bios) 注意:本文所分享的内容已经有较长时间了,具体是否可用博主已经不确定了,如果还需要使用旧版本pycharm的小伙伴可以试试,不然建…...
塵風- 0
- 0
- 4k
-
网站搜索页面出现大量垃圾网页被收录怎么处理
网站搜索页面出现大量垃圾网页被收录怎么处理?这个问题是前几天一个朋友问我的,问题示例如下: 问题展示 再说解决方法之前我们先聊聊这个问题出现的原因,原因很明显: 就是网站被模拟搜索了大量的垃圾信息关键词,然后出现了对应的页面让搜索引擎抓取了。 像这种也算是"黑帽SEO"推广了吧...不过我认为这个东西实现起来还是很简单的,技术含量很低,而且挺早之前就出现了。 我可不可以不处理?…...
塵風- 0
- 0
- 1.4k
-
Python 列表中获取最后一个元素的方法
Python 列表中获取最后一个元素的方法:在 Python 中,有多种方法可以获取列表的最后一个元素。我这里分享介绍通过列表索引、pop() 函数这两种方法,使用索引可以直接通过list[-1]获取,pop() 函数的话会删除并返回指定索引位置的元素,可以自己根据实际情况选择对应的方法。以下是每种方法的详细说明和示例代码。 使用索引 Python 的列表支持负索引,这非常方便。负索引从列表的末尾…...
塵風- 0
- 0
- 428
-
python错误: Object of type * is not JSON serializable解决
Object of type * is not JSON serializable错误是我在写爬虫的时候遇到的一个问题 引起函数 json.dumps()函数引起的 在处理数据的时候使用json.dumps()函数将dict(字典)数据类型转化为json数据的时候,促发了这个错误。 原因: 原因是转化的dict(字典)数据中有value数据没处理好,字典的值中包含了generator、byte(字…...
塵風- 0
- 0
- 6.1k
-
Python模块requests参数verify – SSL证书认证
Python模块requests参数verify - SSL证书认证 requests模块中verify关键词参数用于控制是否开启SSL证书认证,requests在请求HTTPS链接时,默认是开启SSL证书认证的,即请求中verify参数默认为True(verify=True)。 关闭SSL证书认证 如果要关闭SSL证书认证,我们可以把verify参数设置False即可,例如: # -*- cod…...
塵風- 0
- 0
- 1k
-
Python requests 异常Proxy URL had no scheme, should start with http:// or https://解决
异常原因 Python requests 异常Proxy URL had no scheme, should start with http:// or https://解决,在使用Python requests的proxy代理功能的时候出现了这个错误,意思是我们使用的代理方案应该以http:// or https://开头。 在网上看到的原因是说在Python3.7及以上版本中使用request…...
塵風- 0
- 0
- 911













