-
python模块requests参数stream
使用python requests模块下载大文件时，建议使用strea模式． 默认情况下是false，他会立即开始下载文件并存放到内存当中，倘若文件过大就会导致内存不足的情况． 当把get函数的stream参数设置成True时，它不会立即开始下载，当你使用iter_content或iter_lines遍历内容或访问内容属性时才开始下载。需要注意一点：文件没有下载之前，它也需要保持连接。 iter_…...
塵風- 0
- 0
- 750
-
Python获取字典的前x个元素
Python获取字典的前*个元素我们可以使用itertools中的islice函数实现或者是sorted函数、Counter(dict).most_common()函数实现，再Python中列表实现这样的需求就很简单，我们可以直接通过切片获取，不过字典没有切片，我们就先取出所有 keys，再用拿到的key去取value，在组成一个新的字典就可以了。 注意： sorted函数、Counter(dic…...- 塵風
- 0
- 0
- 1k
-
Python glob模块和主要方法
概述 glob是python自己带的一个文件操作相关模块，查找文件目录和文件，类似于Windows下的文件搜索。 glob模块会将查找到的文件目录或文件的搜索结果返回到一个列表中。 支持的通配符： 支持：*，?，[]，这三个通配符 *代表匹配0个或多个字符?代表匹配任意一个字符[]匹配指定范围内的字符如：[0-9]匹配所有数字[a-z]匹配所有字母[1,2,3]仅匹配1，2，3三个数字[！1,2,…...- 塵風
- 0
- 0
- 1.8k
-
python Queue(进程队列)
在Python中我知道队列模块有： from queue import Queue此模块适用于线程间通信，但不能用于进程间通信。from multiprocessing import Queue此模块用于对进程，但是不能用于进程池。 下面笔记记录的就是：from multiprocessing import Queue 用于进程间通信的队列。 部分内容来源以及相关资料： Python 队列（Que…...- 塵風
- 0
- 0
- 875
-
Python入门学习资料推荐
我一直有建议身边和网上的一些朋友学Python(Python的应用范围很广，会编程可以很好的提高我们的工作效率，对一些工作进行批量、自动化的处理)，再加上肯定也有一些网上的小伙伴想学习不会找或者是想找合适的资料的，我以后也要分享Python相关的东西，在这之前就先把这个入门的问题解决了，今天就顺便推荐下我觉得好的Python入门学习资料。 下面我推荐的教程主要推荐是黑马程序员和白月黑羽这两家的。 …...- 塵風
- 0
- 0
- 563
-
Python列表合并的6种方法
Python列表合并的6种方法分享，下面我共列举了6中合并列表的方法，在单个或者少量（3个内?）我们可以直接使用运算符+或者+=或者extend就可以轻松的实现合并，如果列表数量太多，可以考虑使用chain，详细的介绍和示例代码大家往下看吧。 准备数据 首先我们准备三个列表作为测试学习使用数据，下面的代码中不在重复。 # 以三个全是名字元素的列表作为测试数据 name_list_1 = […...- 塵風
- 0
- 0
- 702
-
Pycharm批量添加引号
Pycharm批量添加引号和选中多行进行编辑技巧记录分享： Pycharm中批量添加单引号或者是双引号我们可以通过pycharm中的搜索替换中正则表达式功能或者是批量选择多行的方式进行添加，非常简单和高效，在我们写代码的时候可以很好的帮助我们提高效率，不用一个个去点击添加，就比如我们复制浏览器header要做个dict的时候。 PS：网上说Pycharm中有自带的快捷键，我找了下并没有找到，也就没…...- 塵風
- 0
- 0
- 2.1k
-
Python爬虫requests参数timeout以及retrying的使用
timeout参数的使用 在某些网络情况不好或者服务器端异常的情况会出现请求慢或者请求异常的情况，这个时候我们需要给请求设置一个超时时间，而不是让程序一直在等待结果。写一个简单的例子： import .requests response = requests.get('https://www.linfengnet.com/', timeout=3) print(response…...- 塵風
- 0
- 0
- 1.1k
-
Python Counter()函数介绍 – 统计值出现的次数
Python Counter()函数介绍 Counter()函数 是collections模块(Python标准库中的一个模块)中的里面的一个类，作用是计算出字符串或者列表等中不同元素出现的个数，返回值可以理解为一个字典，所以对传回来的统计结果的操作都可以当作对字典的操作(Counter类继承dict类，所以它能使用dict类里面的方法) Note: 字符串还有一个内置的count()，只能统计字…...- 塵風
- 0
- 0
- 3.4k
-
python os.path.dirname(__file__)
os.path.dirname() 是python os.path 模块的一种方法： 作用： 返回文件路径(只是路径 不包含文件名) os.path.dirname(path) # 返回路径path的目录名称 os.path.dirname(__file__) # 直接返回当前文件路径 os.path.dirname()注意点： os.path.dirname() 和os.path.basenam…...- 塵風
- 0
- 0
- 939
-
Python爬虫：设置随机User-Agent模块fake-useragent
Python爬虫：设置随机User-Agent模块fake-useragent介绍和使用。 模块简介 GitHub地址 https://github.com/hellysmile/fake-useragent UA数据来源 目前1.5x的版本我看GitHub介绍数据是从 https://user-agents.net/ 下载的。下面的使用的部分示例是1.2或者1.3版本新增的功…...- 塵風
- 0
- 0
- 3.4k
-
Python使用 pytesseract 进行图片识别
在编写爬虫的时候，如果遇见参数图片化的情况的(例如登录验证码)，就需要对图片验证码进行识别，我们就可以使用pytesseract。 pytesseract简介 pytesseract是一款用于光学字符识别（OCR）的python工具，即从图片中识别出和“读取”其中嵌入的文字。 底层使用的是Google的Tesseract-OCR 引擎（Tesseract是一个开源文本识别 (OCR) 引擎（注意：…...- 塵風
- 0
- 0
- 2.3k
-
HTTP请求头字段Sec-Fetch-Dest介绍
Sec-Fetch-Dest是一个用于HTTP请求头的字段 (全名应该是"Security Fetch Destination"，意思是安全获取目标) ，用于指示浏览器请求的目标资源类型以及请求的目的和处理方式。该字段通常由浏览器自动生成，并在发送请求时包含在HTTP请求中。它有助于服务器和浏览器之间更好地理解请求的目的和处理方式。 Sec-Fetch-Dest字段值 Sec-…...- 塵風
- 0
- 0
- 2k
-
Python支持中文变量名吗？
Python已经支持中文变量名 Python3.x 已经支持全面 Unicode 编码，支持使用中文作为变量名。（支持是支持，实际使用不使用是另外一回事哈哈，有时候用中文会有一些莫名其妙的问题...） 例如： 博主简介 = "博主是个超级无敌大帅哥" print(f"{博主简介}") # 博主是个超级无敌大帅哥 python文档2.3.标识符和关键字截图： …...- 塵風
- 0
- 0
- 1.1k
-
Python获取两个列表的交集
python获取两个列表的交集方法分享：记录了三个Python获取两个列表的交集的方法，它们分别使用：列表转集合、for循环、列表推导式配合lambda函数实现，具体的示例代码如下： 方法一 列表转集合 推荐 集合操作符& 将两个列表转换为set集合，然后使用集合操作符&求解两个set集合的交集 # -*- coding: utf-8 -*- list1 = ['…...- 塵風
- 0
- 0
- 891
-
Python拼接URL：urllib.parse urljoin使用
Python拼接URL可以使用urllib.parse中的urljoin方法，urllib是Python中一个用于URL 处理的模块，urllib.parse 用于解析 URL，在之前分享的Python从路径|URL中获取文件名、文件后缀的方法中提到过使用其中的urlparse方法解析URL，感兴趣的可以去看看。 urllib.parse模块的的urlparse和urljoin刚好是两个相反的功能…...- 塵風
- 0
- 0
- 1k
-
Python for循环同时遍历两个列表
Python for循环同时遍历两个列表我们可以使用Python zip函数来实现， zip() 函数简介 zip() 函数是 Python 内置函数之一，zip() 函数用于将可迭代的对象作为参数，将对象中对应的元素打包成一个个元组，然后返回由这些元组组成zip对象。 在Python2中，zip() 函数返回的是列表，在Python3中，则是返回上述所说的zip对象，这样可以减少内存。如果需要列…...- 塵風
- 0
- 0
- 429
-
Python wmi模块 获取电脑CPU、网卡、硬盘等信息
模块介绍 WMI介绍 Windows Management Instrumentation 翻译过来是Windows 管理规范，简称WMI，是基于 Windows 的操作系统上管理数据和操作的基础结构。 尽管可以编写 WMI 脚本或应用程序来自动执行远程计算机上的管理任务，但 WMI 还会向操作系统和产品的其他部分提供管理数据。 例如，System Center Operations Manage…...- 塵風
- 0
- 0
- 816
-
Python pip命令大全
Python pip 使用命令大全分享 官方文档 地址：https://docs.python.org/3/installing/index.html 命令大全 安装模块 pip install 模块名 通常，如果已经安装了模块，再次安装 它再次不会有任何效果。如需要升级 请使用升级命令。 不加版本号 默认安装模块当前最新版本。 安装指定版本 pip install 模块名==1.xx 指定源安装…...- 塵風
- 0
- 0
- 400
-
Python requests获取状态码
Python requests获取状态码可以通过status_code获取，例如： r = requests.get('https://httpbin.org/get') print(r.status_code) # 打印状态码 但是：requests默认不会获取301/302状态码。使用上述代码如果请求了一个被301/302跳转的URL，也会返回跳转后的状态码，如果是正常请求…...- 塵風
- 0
- 0
- 1.5k
-
￥优惠劵使用时效：无法使用使用时效：
之前
使用时效：永久有效优惠劵ID：×