scrapy item——迹忆客-ag捕鱼王app官网

scrapy 进程可用于使用蜘蛛从网页等来源提取数据。 scrapy 使用 item 类来生成输出，其对象用于收集抓取的数据。

定义 item

我们可以使用类定义语法以及如下所示的字段对象来声明 item

import scrapy 
class myproducts(scrapy.item): 
   productname = field() 
   productlink = field() 
   imageurl = field() 
   price = field() 
   size = field() 

item 字段

item 字段用于显示每个字段的元数据。 由于字段对象的值没有限制，可访问的元数据键不包含任何元数据的引用列表。 字段对象用于指定所有字段元数据，您可以根据项目中的要求指定任何其他字段键。 可以使用 item.fields 属性访问字段对象。

使用 item

当我们使用这些 item 时，可以定义一些常用功能。 有关更多信息，请单击此。

扩展 item

可以通过说明原始 item 的子类来扩展这些 item。 例如

class myproductdetails(product): 
   original_rate = scrapy.field(serializer = str) 
   discount_rate = scrapy.field()

我们可以使用现有字段元数据通过添加更多值或更改现有值来扩展字段元数据，如以下代码所示

class myproductpackage(product): 
   name = scrapy.field(product.fields['name'], serializer = serializer_demo)

item 对象

可以使用以下类指定项目对象，该类提供给定参数的新初始化项目

class scrapy.item.item([arg])

item 提供构造函数的副本并提供由字段中的项目提供的额外属性。

field 对象

可以使用以下类指定字段对象，其中 field 类不发出附加过程或属性

class scrapy.item.field([arg])