scrapy 请求(requests) 和 响应(responses)——迹忆客-ag捕鱼王app官网

scrapy 可以使用 request 和 response 对象来抓取网站。 请求对象通过系统传递，使用蜘蛛执行请求并在返回响应对象时返回请求。

request 对象

request 对象是生成响应的 http 请求。 它有以下类

class scrapy.http.request(url[, callback, method = 'get', headers, body, cookies, meta,
   encoding = 'utf-8', priority = 0, dont_filter = false, errback])

下表显示了 request 对象的参数

将附加数据传递给回调函数

当响应作为其第一个参数下载时，将调用请求的回调函数。

例如

def parse_page1(self, response): 
   return scrapy.request("http://www.something.com/some_page.html", 
      callback = self.parse_page2)  
def parse_page2(self, response): 
   self.logger.info("%s page visited", response.url) 

如果要将参数传递给可调用函数并在第二个回调中接收这些参数，则可以使用 request.meta 属性，如以下示例所示

def parse_page1(self, response): 
   item = demoitem() 
   item['foremost_link'] = response.url 
   request = scrapy.request("http://www.something.com/some_page.html", 
      callback = self.parse_page2) 
   request.meta['item'] = item 
   return request  
def parse_page2(self, response): 
   item = response.meta['item'] 
   item['other_link'] = response.url 
   return item

使用 errbacks 捕获请求处理中的异常

errback 是一个可调用函数，在处理请求时出现异常时调用。

下面的例子演示了这一点

import scrapy  
from scrapy.spidermiddlewares.httperror import httperror 
from twisted.internet.error import dnslookuperror 
from twisted.internet.error import timeouterror, tcptimedouterror  
class demospider(scrapy.spider): 
   name = "demo" 
   start_urls = [ 
      "http://www.httpbin.org/",              # http 200 expected 
      "http://www.httpbin.org/status/404",    # webpage not found  
      "http://www.httpbin.org/status/500",    # internal server error 
      "http://www.httpbin.org:12345/",        # timeout expected 
      "http://www.httphttpbinbin.org/",       # dns error expected 
   ]  
   
   def start_requests(self): 
      for u in self.start_urls: 
         yield scrapy.request(u, callback = self.parse_httpbin, 
         errback = self.errback_httpbin, 
         dont_filter=true)  
   
   def parse_httpbin(self, response): 
      self.logger.info('recieved response from {}'.format(response.url)) 
      # ...  
   
   def errback_httpbin(self, failure): 
      # logs failures 
      self.logger.error(repr(failure))  
      
      if failure.check(httperror): 
         response = failure.value.response 
         self.logger.error("httperror occurred on %s", response.url)  
      
      elif failure.check(dnslookuperror): 
         request = failure.request 
         self.logger.error("dnslookuperror occurred on %s", request.url) 
      elif failure.check(timeouterror, tcptimedouterror): 
         request = failure.request 
         self.logger.error("timeouterror occurred on %s", request.url) 

request.meta 特殊键

request.meta 特殊键是 scrapy 识别的特殊元键列表。

下表显示了 request.meta 的一些键

request 子类

我们可以通过子类化请求类来实现我们自己的自定义功能。 内置请求子类如下

formreques 子类

formrequest 类通过扩展基本请求来处理 html 表单。 它有以下类

class scrapy.http.formrequest(url[,formdata, callback, method = 'get', headers, body, 
   cookies, meta, encoding = 'utf-8', priority = 0, dont_filter = false, errback])

以下是参数

• formdata - 它是一个字典，具有分配给请求正文的 html 表单数据。

注意 - 其余参数与请求类相同，并在请求对象部分进行了解释。

除了请求方法之外，formrequest 对象还支持以下类方法

classmethod from_response(response[, formname = none, formnumber = 0, formdata = none, 
   formxpath = none, formcss = none, clickdata = none, dont_click = false, ...])

下表为上述类的参数

以下是一些请求使用示例

示例

使用 formrequest 通过 http post 发送数据

下面的代码演示了当你想在你的蜘蛛中复制 html 表单 post 时如何返回 formrequest 对象

return [formrequest(url = "http://www.something.com/post/action", 
   formdata = {'firstname': 'john', 'lastname': 'dave'}, 
   callback = self.after_post)]

使用 formrequest.from_response() 模拟用户登录

通常，网站使用元素来提供预填充的表单字段。

当我们希望在抓取时自动填充这些字段时，可以使用 formrequest.form_response() 方法。

以下示例演示了这一点。

import scrapy  
class demospider(scrapy.spider): 
   name = 'demo' 
   start_urls = ['http://www.something.com/users/login.php']  
   def parse(self, response): 
      return scrapy.formrequest.from_response( 
         response, 
         formdata = {'username': 'admin', 'password': 'confidential'}, 
         callback = self.after_login 
      )  
   
   def after_login(self, response): 
      if "authentication failed" in response.body: 
         self.logger.error("login failed") 
         return  

response 对象

它是一个指示 http 响应的对象，该响应被馈送到蜘蛛程序进行处理。 它有以下类

class scrapy.http.response(url[, status = 200, headers, body, flags])

response 对象的参数如下表

response 子类

我们可以通过子类化响应类来实现您自己的自定义功能。 内置响应子类如下

textresponse 对象

textresponse 对象用于二进制数据，例如图像、声音等，它们具有对基本 response 类进行编码的能力。 它有以下类

class scrapy.http.textresponse(url[, encoding[,status = 200, headers, body, flags]])

以下是参数 -

• encoding - 这是一个带有编码的字符串，用于对响应进行编码。

注意 - 其余参数与响应类相同，并在响应对象部分进行了解释。

下表显示了 textresponse 对象除了响应方法之外还支持的属性

下表显示了 textresponse 对象除了响应方法之外还支持的方法

htmlresponse 对象

它是一个通过查看 html 的 meta httpequiv 属性来支持编码和自动发现的对象。 它的参数与响应类相同，在响应对象部分有解释。 它有以下类

class scrapy.http.htmlresponse(url[,status = 200, headers, body, flags])

xmlresponse 对象

它是一个支持通过查看 xml 行进行编码和自动发现的对象。 它的参数与响应类相同，在响应对象部分有解释。 它有以下类

class scrapy.http.xmlresponse(url[, status = 200, headers, body, flags])