配置参数

1. 系统层面： E:\Python 3.6.2\Lib\site-packages\scrapy\templates\project,
2. 用户层面：~/.config/scrapy.cfg ($XDG_CONFIG_HOME) 及 ~/.scrapy.cfg ($HOME) 作全局设置
3. 项目定义： 在scrapy项目根路径下的 scrapy.cfg .

优先权：项目定义>用户层面>系统层面

Scrapy也会读取并通过环境变量来设置. 目前支持的有:

• SCRAPY_SETTINGS_MODULE
• SCRAPY_PROJECT
• SCRAPY_PYTHON_SHELL

scrapy.cfg 文件是在项目的根目录，其中包括项目名称与项目设置。

[settings]default = [name of the project].settings[deploy]#url = http://localhost:6800/project = [name of the project]

Scrapy命令行

在爬虫项目外运行scrapy：

C:\Users\Administrator>scrapyScrapy 1.5.0 - no active projectUsage:  scrapy  [options] [args]Available commands:  bench         Run quick benchmark test  fetch         Fetch a URL using the Scrapy downloader  genspider     Generate new spider using pre-defined templates  runspider     Run a self-contained spider (without creating a project)  settings      Get settings values  shell         Interactive scraping console  startproject  Create new project  version       Print Scrapy version  view          Open URL in browser, as seen by Scrapy  [ more ]      More commands available when run from project directoryUse "scrapy  -h" to see more info about a command

在项目文件内运行scrapy：

F:\PycharmProjects\tutorial>scrapyScrapy 1.5.0 - project: tutorialUsage:  scrapy  [options] [args]Available commands:  bench         Run quick benchmark test  check         Check spider contracts  crawl         Run a spider  edit          Edit spider  fetch         Fetch a URL using the Scrapy downloader  genspider     Generate new spider using pre-defined templates  list          List available spiders  parse         Parse URL (using its spider) and print the results  runspider     Run a self-contained spider (without creating a project)  settings      Get settings values  shell         Interactive scraping console  startproject  Create new project  version       Print Scrapy version  view          Open URL in browser, as seen by ScrapyUse "scrapy  -h" to see more info about a command

创建项目

scrapy startproject myproject

该命令将会在 myproject 目录中创建一个Scrapy项目。

接下来，进入到项目目录中:

cd myproject

控制项目

创建一个新的spider:

scrapy genspider mydomain mydomain.com

有些Scrapy命令(比如 crawl)要求必须在Scrapy项目中运行。

有些命令在项目里运行时的效果有些许区别，以fetch命令为例，如果被爬取的url与某个特定spider相关联， 则该命令将会使用spider的动作(spider-overridden behaviours) (比如spider指定的 user_agent)。一般来说， fetch 命令就是用来测试检查spider是如何下载页面。

工具命令行

通过运行命令来获取关于每个命令的详细内容:

scrapy  -h

您也可以查看所有可用的命令:

scrapy -h

Scrapy提供了两种类型的命令。

全局命令:

• fetch: 它使用Scrapy downloader 提取的 URL。

• runspider: 它用于而无需创建一个项目运行自行包含蜘蛛(spider)。

• settings: 它规定了项目的设定值。

• shell: 这是一个给定URL的一个交互式模块。

• startproject: 它创建了一个新的 Scrapy 项目。

• version: 它显示Scrapy版本。

• view: 它使用Scrapy downloader 提取 URL并显示在浏览器中的内容。

项目命令:

• crawl: 它是用来使用蜘蛛抓取数据；

• check: 它检查项目并由 crawl 命令返回；

• list: 它显示本项目中可用蜘蛛(spider)的列表；

• edit: 可以通过编辑器编辑蜘蛛；

• parse:它通过蜘蛛分析给定的URL；

• bench: 它是用来快速运行基准测试(基准讲述每分钟可被Scrapy抓取的页面数量)。

自定义命令：

• 可以在Scrapy项目中通过COMMANDS_MODULE设置构建一个自定义项目命令。COMMANDS_MODULE = 'mycmd.commands'

startproject

• 语法: scrapy startproject
• 是否需要项目: no

在 project_name 文件夹下创建一个名为 project_name 的Scrapy项目。

例子:

$ scrapy startproject myproject

genspider

• 语法: scrapy genspider [-t template] <name> <domain>
• 是否需要项目: yes

在当前项目中创建spider。

这仅仅是创建spider的一种快捷方法。该方法可以使用提前定义好的模板来生成spider。您也可以自己创建spider的源码文件。

例子:

$ scrapy genspider -l  # 查看爬虫模板列表Available templates:  basic  crawl  csvfeed  xmlfeed$ scrapy genspider -d basic  # 查看爬虫basic的文本内容import scrapyclass $classname(scrapy.Spider):    name = "$name"    allowed_domains = ["$domain"]    start_urls = (        'http://www.$domain/',        )    def parse(self, response):        pass$ scrapy genspider -t basic example example.com  # 以basic为模板创建example，加上--force参数表示覆盖Created spider 'example' using template 'basic' in module:  mybot.spiders.example

crawl

• 语法: scrapy crawl <spider>
• 是否需要项目: yes

使用spider进行爬取。

例子:

$ scrapy crawl myspider[ ... myspider starts crawling ... ]

check

• 语法: scrapy check [-l] <spider>
• 是否需要项目: yes

运行contract检查，检查爬虫是否合规。

例子:

当某个爬虫文件出现错误时，会报错，包括语法错误。爬虫时通过name唯一标识。

def parse(self, response):  # 语法不完整

F:\PycharmProjects\tutorial>scrapy check exampleTraceback (most recent call last):  File "e:\python 3.6.2\lib\runpy.py", line 193, in _run_module_as_main    "__main__", mod_spec)  File "e:\python 3.6.2\lib\runpy.py", line 85, in _run_code    exec(code, run_globals)··········································································

list

• 语法: scrapy list
• 是否需要项目: yes

列出当前项目中所有可用的spider。每行输出一个spider。

例子:

$ scrapy listspider1spider2

edit

• 语法: scrapy edit <spider>
• 是否需要项目: yes

使用 EDITOR 中设定的编辑器编辑给定的spider

该命令仅仅是提供一个快捷方式。开发者可以自由选择其他工具或者IDE来编写调试spider。

例子:

$ scrapy edit spider1  # windows下似乎无效

fetch

• 语法: scrapy fetch <url>
• 是否需要项目: no

使用Scrapy下载器(downloader)下载给定的URL，并将获取到的内容送到标准输出。

该命令以spider下载页面的方式获取页面。例如，如果spider有 USER_AGENT 属性修改了 User Agent，该命令将会使用该属性。

因此，您可以使用该命令来查看spider如何获取某个特定页面。

该命令如果非项目中运行则会使用默认Scrapy downloader设定。

支持的选项：

• --spider = SPIDER：绕过 spider 自动检测，强制使用特定的spider
• --headers：打印响应的 HTTP 头，而不是响应的正文
• - -no-redirect：不遵循 HTTP 3xx 重定向（默认是遵循它们）

F:\PycharmProjects\tutorial>scrapy fetch --nolog http://www.example.com/some/page.html··································································································F:\PycharmProjects\tutorial>scrapy fetch --nolog --headers http://www.example.com/> Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8> Accept-Language: en> User-Agent: Scrapy/1.5.0 (+https://scrapy.org)> Accept-Encoding: gzip,deflate>< Cache-Control: max-age=604800< Content-Type: text/html< Date: Mon, 11 Jun 2018 06:05:55 GMT< Etag: "1541025663+gzip"< Expires: Mon, 18 Jun 2018 06:05:55 GMT< Last-Modified: Fri, 09 Aug 2013 23:54:35 GMT< Server: ECS (dca/249E)< Vary: Accept-Encoding< X-Cache: HIT

view

• 语法: scrapy view <url>
• 是否需要项目: no

在浏览器中打开给定的URL，并以Scrapy spider获取到的形式展现。 有些时候spider获取到的页面和普通用户看到的并不相同。 因此该命令可以用来检查spider所获取到的页面，并确认这是您所期望的。

例子：

$ scrapy view http://www.example.com/some/page.html[ ... 开启浏览器 ... ]

shell

• 语法: scrapy shell [url]
• 是否需要项目: no

以给定的URL(如果给出)或者空(没有给出URL)启动Scrapy shell。 查看 Scrapy终端(Scrapy shell) 获取更多信息。

支持的选项：

• --spider = SPIDER：绕过 spider 自动检测，强制使用特定的spider

• -c code：评估 shell 中的代码，打印结果并退出

• --no-redirect：不遵循 HTTP 3xx 重定向（默认是遵循它们）;这只影响您可以在命令行上作为参数传递的 URL ;一旦你在shell中，默认情况下 fetch（url）仍然会遵循HTTP重定向。

例子:

$ scrapy shell http://www.example.com/some/page.html[ ... scrapy shell starts ... ]

parse

• 语法: scrapy parse <url> [options]
• 是否需要项目: yes

获取给定的URL并使用相应的spider分析处理。如果您提供 --callback or -c 选项，则使用spider的该方法处理，否则使用 parse 。

支持的选项:

• --spider=SPIDER: 跳过自动检测spider并强制使用特定的spider
• --a NAME=VALUE: 设置spider的参数(可能被重复)
• --callback or -c: spider中用于解析返回(response)的回调函数
• --pipelines: 在pipeline中处理item
• --rules or -r: 使用 CrawlSpider 规则来发现用来解析返回(response)的回调函数
• --noitems: 不显示爬取到的item
• --nolinks: 不显示提取到的链接
• --nocolour: 避免使用pygments对输出着色
• --depth or -d: 指定跟进链接请求的层次数(默认: 1)
• --verbose or -v: 显示每个请求的详细信息

例子：

F:\PycharmProjects\tutorial>scrapy parse http://www.example.com/ -c parse_item2018-06-11 14:29:41 [scrapy.utils.log] INFO: Scrapy 1.5.0 started (bot: tutorial)2018-06-11 14:29:41 [scrapy.utils.log] INFO: Versions: lxml 4.1.1.0, libxml2 2.9.5, cssselect 1.0.1, parsel 1.2.0, w3lib 1.18.0, Twisted 17.9.0, Python 3.6.2 (v3.6.2:5fd33b5, Jul  8 2017, 04:14:34) [MSC v.1900 32 bit (Intel)], pyOpenSSL 17.3.0 (OpenSSL 1.1.0g  2 Nov 2017), cryptography 2.1.3, Platform Windows-10-10.0.15063-SP0······················································································>>> STATUS DEPTH LEVEL 0 <<<# Scraped Items  ------------------------------------------------------------[]# Requests  -----------------------------------------------------------------[]

settings

• 语法: scrapy settings [options]
• 是否需要项目: no

获取Scrapy的设定

在项目中运行时，该命令将会输出项目的设定值，否则输出Scrapy默认设定。

例子:

F:\PycharmProjects\tutorial>scrapy settings --get BOT_NAMEtutorialF:\PycharmProjects\tutorial>scrapy settings --get DOWNLOAD_DELAY0

runspider

• 语法: scrapy runspider <spider_file.py>
• 是否需要项目: no

在未创建项目的情况下，运行一个编写在Python文件中的spider。

例子:

$ scrapy runspider myspider.py[ ... spider starts crawling ... ]

version

• 语法: scrapy version [-v]
• 是否需要项目: no

输出Scrapy版本。配合 -v 运行时，该命令同时输出Python, Twisted以及平台的信息，方便bug提交。

bench

0.17 新版功能.

• 语法: scrapy bench
• 是否需要项目: no

运行benchmark测试。 Benchmarking 。

自定义项目命令

您也可以通过 COMMANDS_MODULE 来添加您自己的项目命令。您可以以 scrapy/commands 中Scrapy commands为例来了解如何实现您的命令。

COMMANDS_MODULE

Default: '' (empty string)

用于查找添加自定义Scrapy命令的模块。

例子:

COMMANDS_MODULE = 'mybot.commands'