scrapy exception 异常——迹忆客-ag捕鱼王app官网

不规则事件称为异常。 在 scrapy 中，由于缺少配置、从项目管道中删除项目等原因会引发异常。以下是 scrapy 中提到的异常及其应用的列表。

dropitem

item pipeline 利用此异常在任何阶段停止处理项目。 它可以写成

exception (scrapy.exceptions.dropitem)

closespider

此异常用于使用回调请求停止爬虫。 它可以写成

exception (scrapy.exceptions.closespider)(reason = 'cancelled')

它包含名为 reason(str) 的参数，该参数指定关闭的原因。

例如，以下代码显示了这种异常用法

def parse_page(self, response): 
   if 'bandwidth exceeded' in response.body: 
      raise closespider('bandwidth_exceeded') 

ignorerequest

调度程序或下载程序中间件使用此异常来忽略请求。 它可以写成

exception (scrapy.exceptions.ignorerequest)

notconfigured

它表示缺少配置情况，应该在组件构造函数中引发。

exception (scrapy.exceptions.notconfigured)

如果禁用以下任何组件，则可以引发此异常。

• 扩展
• 项目管道
• 下载器中间件
• 蜘蛛中间件

notsupported

当不支持任何功能或方法时会引发此异常。 它可以写成

exception (scrapy.exceptions.notsupported)