-
Python爬虫：设置随机User-Agent模块fake-useragent
Python爬虫：设置随机User-Agent模块fake-useragent介绍和使用。 模块简介 GitHub地址 https://github.com/hellysmile/fake-useragent UA数据来源 目前1.5x的版本我看GitHub介绍数据是从 https://user-agents.net/ 下载的。下面的使用的部分示例是1.2或者1.3版本新增的功…...
塵風- 0
- 0
- 3.9k
-
Python xlrd 报错xlrd.biffh.XLRDError: Excel xlsx file; not supported异常解决
之前我分享了：Python Excel常用操作库+使用笔记分享，有Python基础的小伙伴想学习下Python操作Excel进行自动化办公或者是进行数据保存到Excel就可以参考学习，今天来分享下Python xlrd 报错xlrd.biffh.XLRDError: Excel xlsx file; not supported…这个异常的解决办法（我猜大部分人是因为以前学习了xlrd 然后直接co…...- 塵風
- 0
- 0
- 1.2k
-
fake-useragent模块报错：rror occurred during loading data. Trying to use cache server解决方法
rror occurred during loading data. Trying to use cache server报错原因： fake-useragent模块需要在线下载包含useragent信息的json文件，但是由于国内网络的特殊原因，现在如果直接使用，会出现如下报错提示： rror occurred during loading data. Trying to use cache s…...- 塵風
- 0
- 0
- 1.3k
-
下载1个资源
下载1个资源
百度已收录404链接自动提取软件+使用教程-免费
软件介绍 现在有非常多的网站被黑然后搜索被搜索引擎收录了色情赌博一类的垃圾信息，我们站点被黑处理完成后把这些垃圾信息链接设置为404就需要对这些已经收录的链接进行提取，然后提交到百度资源平台删除，但是对于大部分没有技术基础的小伙伴来说，都只能一个个手动去复制，这样太过于麻烦了，所有开发了这个软件分享给大家。 关于处理流程的教程，我之前也分享了相关文章，如果你有需要，也可以查看： 网站被黑，被搜索引…...- 塵風
- 0
- 6
- 1.6k
-
UnicodeDecodeError: ‘utf-8’ codec can’t decode byte 0xb9 in position 0: invalid start byte错误解决
今天在使用Python csv模块的时候，出现了这个错误，不过应该打开其他类型的文件，例如txt文件没指定正确的编码应该也会出现这个问题，可以一起参考下文章里面的解决方法，详细报错信息如下： Traceback (most recent call last): File "你的Python文件路径***.py", line 18(代码所在位置), in <module&g…...- 塵風
- 0
- 0
- 1.3k
-
在Python中打开文件使用utf-8-sig和utf-8的区别
今天在使用Python读取CSV文件的时候，出现了一个KeyError的错误的，这个错误提示很明显，就是没有对应的列名，但是经过检查我的CSV文件中是有对应的列名的呀，然后编码格式我也检查了，这个时候我就想先打印列名看下，打印后就看出问题了。 问题原因 假设通过Excel打开我的CSV文件，列名是：列名1、列名2... 但是打印出的结果是如下： ['\ufeff列名1', &#…...- 塵風
- 0
- 0
- 1.3k
-
Python实现将字符串复制到粘贴板
Python实现将字符串复制到粘贴板方法分享： 一：使用perclip库 安装 pip install pyperclip 示例代码 # 导入pyperclip import pyperclip # 使用pyperclip.copy()方法可以将指定的字符串复制到剪贴板。 text = '这是要复制到剪贴板的文本' pyperclip.copy(text) # 运行代码后 Ct…...- 塵風
- 0
- 0
- 1.4k
-
power shell 激活python虚拟环境报错：无法加载文件 *.ps1，因为在此系统上禁止运行脚本。有关详细信息，请参阅 …
在使用python虚拟环境的时候，使用power shell 激活虚拟环境的过程中，出现报错： 报错信息 无法加载文件 *.ps1，因为在此系统上禁止运行脚本。有关详细信息，请参阅 https:/go.microsoft.com/fwlink/?LinkID=135170 中的 about_Execution_Policies。 解决方案 管理员打开PowerShell执行Set-Executio…...- 塵風
- 0
- 0
- 2.7k
-
Python爬虫报错：(Caused by SSLError(SSLEOFError(8, ‘EOF occurred in violation of protocol (_ssl.c:1129)’)))解决
今天在写爬虫的时候遇到一个错误，即： requests.exceptions.SSLError: HTTPSConnectionPool(host='httpbin.org', port=443): Max retries exceeded with url: /get (Caused by SSLError(SSLEOFError(8, 'EOF occurred …...- 塵風
- 0
- 0
- 18k
-
HTTP请求头字段Sec-Fetch-Dest介绍
Sec-Fetch-Dest是一个用于HTTP请求头的字段 (全名应该是"Security Fetch Destination"，意思是安全获取目标) ，用于指示浏览器请求的目标资源类型以及请求的目的和处理方式。该字段通常由浏览器自动生成，并在发送请求时包含在HTTP请求中。它有助于服务器和浏览器之间更好地理解请求的目的和处理方式。 Sec-Fetch-Dest字段值 Sec-…...- 塵風
- 0
- 0
- 2.5k
-
Python入门学习资料推荐
我一直有建议身边和网上的一些朋友学Python(Python的应用范围很广，会编程可以很好的提高我们的工作效率，对一些工作进行批量、自动化的处理)，再加上肯定也有一些网上的小伙伴想学习不会找或者是想找合适的资料的，我以后也要分享Python相关的东西，在这之前就先把这个入门的问题解决了，今天就顺便推荐下我觉得好的Python入门学习资料。 下面我推荐的教程主要推荐是黑马程序员和白月黑羽这两家的。 …...- 塵風
- 0
- 0
- 1k
-
Pycharm批量添加引号
Pycharm批量添加引号和选中多行进行编辑技巧记录分享： Pycharm中批量添加单引号或者是双引号我们可以通过pycharm中的搜索替换中正则表达式功能或者是批量选择多行的方式进行添加，非常简单和高效，在我们写代码的时候可以很好的帮助我们提高效率，不用一个个去点击添加，就比如我们复制浏览器header要做个dict的时候。 PS：网上说Pycharm中有自带的快捷键，我找了下并没有找到，也就没…...- 塵風
- 0
- 0
- 2.6k
-
使用Python批量检查网站友情链接
外链对SEO的重要性到今天我想已经不用多说了，友情链接则是我们在优化过程中毕竟经常使用的一种增加外链方法，不过外链还是需要定期的检查的，毕竟一些站长下链卖站了可能不一定会提醒...或者有的网站已经不续费了，域名过期被抢注，直接做灰黑产业站点，我们又没下链，那么排名可能就会直接消失..哈哈哈，但是我们网站多了，又不可能一个个人工去检查，像我之前公司以前SEO订单多的时候要优化100+站点，自己又有一…...- 塵風
- 0
- 0
- 859
-
Python模块requests参数verify – SSL证书认证
Python模块requests参数verify - SSL证书认证 requests模块中verify关键词参数用于控制是否开启SSL证书认证，requests在请求HTTPS链接时，默认是开启SSL证书认证的，即请求中verify参数默认为True(verify=True)。 关闭SSL证书认证 如果要关闭SSL证书认证，我们可以把verify参数设置False即可，例如： # -*- cod…...- 塵風
- 0
- 0
- 1.3k
-
Python列表合并的6种方法
Python列表合并的6种方法分享，下面我共列举了6中合并列表的方法，在单个或者少量（3个内?）我们可以直接使用运算符+或者+=或者extend就可以轻松的实现合并，如果列表数量太多，可以考虑使用chain，详细的介绍和示例代码大家往下看吧。 准备数据 首先我们准备三个列表作为测试学习使用数据，下面的代码中不在重复。 # 以三个全是名字元素的列表作为测试数据 name_list_1 = […...- 塵風
- 0
- 0
- 1.1k
-
Python从列表中随机获取元素方法
Python从列表中随机获取元素方法：可以使用python中random模块的sample, choice, choices，randint方法来进行。下面我们一起来看下四种从列表中随机获取元素方法： sample random.sample(sequence, k) sample的作用是从指定序列中随机获取指定长度的片断并随机排列，结果以列表的形式返回。 注意：sample函数不会修改原有序列(…...- 塵風
- 0
- 0
- 6.1k
-
Python字典按照值(value)的大小进行排序方法
Python字典按照值(value)的大小进行排序可以使用collections的Counter()函数和sorted函数两种方式进行，关于Counter和sorted函数之前也记录过，关于这两个详细的就不说了，有需要可以自己看看： python Counter()函数介绍 - 统计值出现的次数 Python3 sorted() 函数 - 对所有可迭代的对象进行排序操作。 下面我们直接看使用它们对…...- 塵風
- 0
- 0
- 1.1k
-
Python requests 异常Proxy URL had no scheme, should start with http:// or https://解决
异常原因 Python requests 异常Proxy URL had no scheme, should start with http:// or https://解决，在使用Python requests的proxy代理功能的时候出现了这个错误，意思是我们使用的代理方案应该以http:// or https://开头。 在网上看到的原因是说在Python3.7及以上版本中使用request…...- 塵風
- 0
- 0
- 1.3k
-
Python获取字典的前x个元素
Python获取字典的前*个元素我们可以使用itertools中的islice函数实现或者是sorted函数、Counter(dict).most_common()函数实现，再Python中列表实现这样的需求就很简单，我们可以直接通过切片获取，不过字典没有切片，我们就先取出所有 keys，再用拿到的key去取value，在组成一个新的字典就可以了。 注意： sorted函数、Counter(dic…...- 塵風
- 0
- 0
- 1.4k
-
Python爬虫requests参数timeout以及retrying的使用
timeout参数的使用 在某些网络情况不好或者服务器端异常的情况会出现请求慢或者请求异常的情况，这个时候我们需要给请求设置一个超时时间，而不是让程序一直在等待结果。写一个简单的例子： import .requests response = requests.get('https://www.linfengnet.com/', timeout=3) print(response…...- 塵風
- 0
- 0
- 1.4k
-
￥优惠劵使用时效：无法使用使用时效：
之前
使用时效：永久有效优惠劵ID：×