scrapy 安装与设置——迹忆客-ag捕鱼王app官网

在本章中，我们将讨论如何安装和设置 scrapy。 scrapy 必须与 python 一起安装。

可以使用 pip 安装 scrapy。 要安装，请运行以下命令

$ pip install scrapy

windows

注意 - windows 操作系统不支持 python 3。

第 1 步 - 从 python 安装 python 2.7

通过将以下路径添加到 path 来设置环境变量

c:\python27\;c:\python27\scripts\; 

我们可以使用以下命令检查 python 版本

> python --version

第 2 步 - 安装 openssl。

在环境变量中添加 c:\openssl-win32\bin。

注意 - openssl 预装在除 windows 之外的所有操作系统中。

第 3 步 - 安装 visual c 2008 可再发行组件。

第 4 步 - 安装 pywin32。

第 5 步 - 为 2.7.9 之前的 python 版本安装 pip。

我们可以使用以下命令检查 pip 版本

> pip --version

第 6 步 - 要安装 scrapy，请运行以下命令

> pip install scrapy

anaconda

如果我们的机器上安装了 anaconda 或 miniconda，请运行以下命令使用 conda 安装 scrapy

conda install -c scrapinghub scrapy

scrapinghub 公司支持 linux、windows 和 os x 的官方 conda 包。

注意 - 如果我们在通过 pip 安装时遇到问题，建议使用上述命令安装 scrapy。

ubuntu 9.10 及以上

ubuntu 操作系统预装了最新版本的 python。 使用 scrapinghub 提供的 ubuntu 软件包 aptgettable。 使用包 -

第 1 步 - 我们需要将用于签署 scrapy 包的 gpg 密钥导入 apt 密钥环

$ sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 627220e7

第 2 步 - 接下来，使用以下命令创建 /etc/apt/sources.list.d/scrapy.list 文件

$ echo 'deb http://archive.scrapy.org/ubuntu scrapy main' | sudo tee  /etc/apt/sources.list.d/scrapy.list

第 3 步 - 更新包列表并安装 scrapy

$ sudo apt-get update && sudo apt-get install scrapy

archlinux

我们可以使用以下命令从 aur scrapy 包安装 scrapy

$ yaourt -s scrapy

mac os x

使用以下命令安装 xcode 命令行工具

$ xcode-select --install 

不要使用系统 python，而是安装一个与系统其余部分不冲突的新更新版本。

第 1 步 - 安装自定义软件。

第 2 步 - 设置环境 path 变量以指定应在系统包之前使用自制程序包

$ echo "export path = /usr/local/bin:/usr/local/sbin:$path" >> ~/.bashrc

第 3 步 - 为确保更改已完成，请使用以下命令重新加载 .bashrc

$ source ~/.bashrc 

第 4 步 - 接下来，使用以下命令安装 python

$ brew install python

第 5 步 - 使用以下命令安装 scrapy

$ pip install scrapy