扫码一下
查看教程更方便
scrapy web 服务——迹忆客-ag捕鱼王app官网
可以通过 json-rpc 控制正在运行的 scrapy 网络爬虫。 它由 jsonrpc_enabled 设置启用。 该服务通过 json-rpc 2.0 协议提供对主要爬虫对象的访问。 访问爬虫对象的端点是
http://localhost:6080/crawler
下表包含一些显示 web 服务行为的设置
| 序号 | 设置 | 描述 | 默认值 |
|---|---|---|---|
| 1 | jsonrpc_enabled | 这是指布尔值，它决定是否启用 web 服务及其扩展。 | true |
| 2 | jsonrpc_logfile | 这是指用于记录对 web 服务发出的 http 请求的文件。 如果未设置，将使用标准的 scrapy 日志。 | none |
| 3 | jsonrpc_port | 这是指 web 服务的端口范围。 如果设置为 none ，则端口将被动态分配。 | [6080, 7030] |
| 4 | jsonrpc_host | 这是指 web 服务应侦听的接口。 | '127.0.0.1' |
