scrapy 第一个 spider——迹忆客-ag捕鱼王app官网

spider 是一个类，它定义了从中提取数据的初始 url、如何跟踪分页链接以及如何提取和解析 items.py 中定义的字段。 scrapy 提供了不同类型的爬虫，每一种都有特定的用途。

在 first_scrapy/spiders 目录下创建一个名为“first_spider.py”的文件，我们可以在其中告诉 scrapy 如何找到我们要查找的确切数据。 为此，您必须定义一些属性 -

• name - 它定义了蜘蛛的唯一名称。
• allowed_domains - 它包含蜘蛛抓取的基本 url。
• start-urls - 蜘蛛开始爬行的 url 列表。
• parse() - 这是一种提取和解析抓取数据的方法。

以下代码演示了蜘蛛代码的样子

import scrapy  
class firstspider(scrapy.spider): 
   name = "first" 
   allowed_domains = ["dmoz.org"] 
   
   start_urls = [ 
      "http://www.dmoz.org/computers/programming/languages/python/books/", 
      "http://www.dmoz.org/computers/programming/languages/python/resources/" 
   ]  
   def parse(self, response): 
      filename = response.url.split("/")[-2]   '.html' 
      with open(filename, 'wb') as f: 
         f.write(response.body)