-
python requests请求之timeout参数
requests请求之timeout参数 1、python 的requests请求都可以使用timeout参数。2、timeout参数可以传入一个简单的浮点数，它将请求的连接部分和读取部分设为相同的超时时间。3、timeout参数也可以传入一个包含两个简单浮点数的元组，用来分别设置请求超时时间和读取超时时间。 举例说明： 1、传入简单浮点数： import requests # 设置超时时间为1秒…...
塵風- 0
- 0
- 1.1k
-
Python enumerate() 函数，Python将列表转换为索引:元素的字典
Python将列表转换为索引:元素的字典可以使用Python enumerate() 函数，enumerate() 函数是Python中的一个内置函数。 enumerate() 函数 介绍 enumerate() 函数用于将一个可遍历的数据对象(如列表、元组或字符串)组合为一个索引序列，同时列出数据和数据下标，一般用在 for 循环当中。 Python 2.3. 以上版本可用，2.6 添加 sta…...- 塵風
- 0
- 0
- 790
-
HTTP请求头字段Sec-Fetch-Dest介绍
Sec-Fetch-Dest是一个用于HTTP请求头的字段 (全名应该是"Security Fetch Destination"，意思是安全获取目标) ，用于指示浏览器请求的目标资源类型以及请求的目的和处理方式。该字段通常由浏览器自动生成，并在发送请求时包含在HTTP请求中。它有助于服务器和浏览器之间更好地理解请求的目的和处理方式。 Sec-Fetch-Dest字段值 Sec-…...- 塵風
- 0
- 0
- 2k
-
![Python requests 异常Max retries exceeded with url: 请求地址… (Caused by SSLError(SSLCertVerificationError(1, ‘[SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate (_ssl.c:1129)’)))”))}解决](https://www.linfengnet.com/wp-content/uploads/2024/01/2024010606414043.png)
Python requests 异常Max retries exceeded with url: 请求地址… (Caused by SSLError(SSLCertVerificationError(1, ‘[SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate (_ssl.c:1129)’)))”))}解决
今天在写爬虫的时候遇见了如下错误： Max retries exceeded with url: https://******... (Caused by SSLError(SSLCertVerificationError(1, '[SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get …...- 塵風
- 0
- 0
- 687
-
Python从路径|URL中获取文件名、文件后缀的方法
Python从路径|URL中获取文件名、文件后缀的方法分享： 我们可以通过urlparse模块中的urllib.parse方法、os.path模块或者是字符串split、rfind等方法去实现，非常简单。这样就不用去写正则了哈哈哈。 一般情况下urlparse更合适解析URL(URL中有参数的时候，不需要做其他处理)，os.path模块则更合适处理本地路径，所以大部分时候个人建议选择这两种方式也就…...- 塵風
- 0
- 0
- 1.3k
-
Python 字典判断键是否存在
Python 字典判断键是否存在可以使用has_key()方法、 __contains__(key)方法、in 操作符。下面是详细介绍和实例代码： has_key()方法 Python 字典(Dictionary) has_key() 函数用于判断键是否存在于字典中，如果键在字典 dict 里返回 true，否则返回 false。 注意：Python 3.X 不支持该方法。 语法 has_key(…...- 塵風
- 0
- 0
- 1.6k
-
使用Python批量检查网站友情链接
外链对SEO的重要性到今天我想已经不用多说了，友情链接则是我们在优化过程中毕竟经常使用的一种增加外链方法，不过外链还是需要定期的检查的，毕竟一些站长下链卖站了可能不一定会提醒...或者有的网站已经不续费了，域名过期被抢注，直接做灰黑产业站点，我们又没下链，那么排名可能就会直接消失..哈哈哈，但是我们网站多了，又不可能一个个人工去检查，像我之前公司以前SEO订单多的时候要优化100+站点，自己又有一…...- 塵風
- 0
- 0
- 516
-
Python sort()函数详解 – Python列表排序函数
Python sort()函数介绍 sort()函数是Python 列表的一个方法，是python中的内置函数，sort()函数可以对列表进行就地排序。 只使用<来比较项之间的关系。如果任何比较操作失败，异常将不会被屏蔽(在排序过程中发生任何比较操作失败的异常，该异常将会被抛出，而不会被程序自动处理或忽略。) - 如果任何比较操作失败，整个排序操作将失败（并且列表可能会处于部分修改的状态）。…...- 塵風
- 0
- 0
- 897
-
Python使用 pytesseract 进行图片识别
在编写爬虫的时候，如果遇见参数图片化的情况的(例如登录验证码)，就需要对图片验证码进行识别，我们就可以使用pytesseract。 pytesseract简介 pytesseract是一款用于光学字符识别（OCR）的python工具，即从图片中识别出和“读取”其中嵌入的文字。 底层使用的是Google的Tesseract-OCR 引擎（Tesseract是一个开源文本识别 (OCR) 引擎（注意：…...- 塵風
- 0
- 0
- 2.3k
-
Python wmi模块 获取电脑CPU、网卡、硬盘等信息
模块介绍 WMI介绍 Windows Management Instrumentation 翻译过来是Windows 管理规范，简称WMI，是基于 Windows 的操作系统上管理数据和操作的基础结构。 尽管可以编写 WMI 脚本或应用程序来自动执行远程计算机上的管理任务，但 WMI 还会向操作系统和产品的其他部分提供管理数据。 例如，System Center Operations Manage…...- 塵風
- 0
- 0
- 847
-
Python爬虫requests参数timeout以及retrying的使用
timeout参数的使用 在某些网络情况不好或者服务器端异常的情况会出现请求慢或者请求异常的情况，这个时候我们需要给请求设置一个超时时间，而不是让程序一直在等待结果。写一个简单的例子： import .requests response = requests.get('https://www.linfengnet.com/', timeout=3) print(response…...- 塵風
- 0
- 0
- 1.1k
-
Python拼接URL：urllib.parse urljoin使用
Python拼接URL可以使用urllib.parse中的urljoin方法，urllib是Python中一个用于URL 处理的模块，urllib.parse 用于解析 URL，在之前分享的Python从路径|URL中获取文件名、文件后缀的方法中提到过使用其中的urlparse方法解析URL，感兴趣的可以去看看。 urllib.parse模块的的urlparse和urljoin刚好是两个相反的功能…...- 塵風
- 0
- 0
- 1k
-
python模块requests参数stream
使用python requests模块下载大文件时，建议使用strea模式． 默认情况下是false，他会立即开始下载文件并存放到内存当中，倘若文件过大就会导致内存不足的情况． 当把get函数的stream参数设置成True时，它不会立即开始下载，当你使用iter_content或iter_lines遍历内容或访问内容属性时才开始下载。需要注意一点：文件没有下载之前，它也需要保持连接。 iter_…...- 塵風
- 0
- 0
- 758
-
Python for 循环列表每次取值指定个数元素
Python中的for循环是我们非常经常使用的语句，for 循环用于迭代序列（即列表，元组，字典，集合或字符串），会将序列里面的值依次取出，有些时候我们需要循序一次取值多个元素就不行了，所以这篇文章来分享下Python for 循环每次从列表中取指定个数元素方法：我们可以使用range() 函数获取列表长度然后指定步长配合列表索引取值的方式来实现，下面是示例代码： 示例代码 range() 函数简…...- 塵風
- 0
- 0
- 547
-
Python获取字典的前x个元素
Python获取字典的前*个元素我们可以使用itertools中的islice函数实现或者是sorted函数、Counter(dict).most_common()函数实现，再Python中列表实现这样的需求就很简单，我们可以直接通过切片获取，不过字典没有切片，我们就先取出所有 keys，再用拿到的key去取value，在组成一个新的字典就可以了。 注意： sorted函数、Counter(dic…...- 塵風
- 0
- 0
- 1k
-
Python虚拟环境使用
虚拟环境是独立的Python环境，在虚拟环境中通过安装第三方库，不会影响到本地的Python环境或者是其他虚拟环境，这样可以再不同项目对库的版本有不同需求的时候方便我们的使用。 笔记来源内容： 虚拟环境和包 — Python 3.9.13 文档 参考请注意python版本是否相同，其他版本的文档我没看过。 网上还找到了更加详细的虚拟环境相关内容，感兴趣可以自行前往查看： 最全的Python虚拟环境…...- 塵風
- 0
- 0
- 1.4k
-
Python爬虫：设置随机User-Agent模块fake-useragent
Python爬虫：设置随机User-Agent模块fake-useragent介绍和使用。 模块简介 GitHub地址 https://github.com/hellysmile/fake-useragent UA数据来源 目前1.5x的版本我看GitHub介绍数据是从 https://user-agents.net/ 下载的。下面的使用的部分示例是1.2或者1.3版本新增的功…...- 塵風
- 0
- 0
- 3.4k
-
fake-useragent模块报错：rror occurred during loading data. Trying to use cache server解决方法
rror occurred during loading data. Trying to use cache server报错原因： fake-useragent模块需要在线下载包含useragent信息的json文件，但是由于国内网络的特殊原因，现在如果直接使用，会出现如下报错提示： rror occurred during loading data. Trying to use cache s…...- 塵風
- 0
- 0
- 856
-
Python reversed 函数 – 对序列进行逆序操作
Python reversed 函数是一个Python内置函数，它可以对序列进行逆序操作。 序列可以是列表、元组、字符串等，通过使用reversed()函数，我们可以快速简便地将序列中的元素进行逆序排列。我们也可以用它来实现for循环反向遍历。 reversed()函数语法 reversed(sequence) 参数 sequence即是要进行逆序操作的序列( tuple, string…...- 塵風
- 0
- 0
- 396
-
Python获取两个列表的交集
python获取两个列表的交集方法分享：记录了三个Python获取两个列表的交集的方法，它们分别使用：列表转集合、for循环、列表推导式配合lambda函数实现，具体的示例代码如下： 方法一 列表转集合 推荐 集合操作符& 将两个列表转换为set集合，然后使用集合操作符&求解两个set集合的交集 # -*- coding: utf-8 -*- list1 = ['…...- 塵風
- 0
- 0
- 903
-
￥优惠劵使用时效：无法使用使用时效：
之前
使用时效：永久有效优惠劵ID：×