File tree Expand file tree Collapse file tree 4 files changed +8
-18
lines changed Expand file tree Collapse file tree 4 files changed +8
-18
lines changed Original file line number Diff line number Diff line change 7
7
8
8
## 1. 快速开始
9
9
10
- > 你可以使用以下两种方式来快速开始
10
+ > 你可以使用以下两种方式来快速开始:
11
11
12
12
### 1.1. 方式一:ayugespidertools
13
13
14
- > 通过跑通本库 ` Github ` 中的 ` GIF ` 示例
15
-
16
- 具体请点击跳转至 [ AyugeSpiderTools] ( https://github.com/shengchenyang/AyugeSpiderTools ) 查看
14
+ 通过跑通本库 ` Github ` 中的 ` GIF ` 示例,具体请点击跳转至 [ AyugeSpiderTools] ( https://github.com/shengchenyang/AyugeSpiderTools ) 查看。若不是很熟悉 ` Scrapy ` 库,可选择先查看本文档中的示例教程。
17
15
18
16
### 1.2. 方式二:DemoSpider
19
17
20
- > 通过另一个的演示项目 ` DemoSpider ` 来选择复现某些场景
21
-
22
- 最好的学习方法是通过 ` Github ` 上的 [ DemoSpider] ( https://github.com/shengchenyang/DemoSpider ) 示例,您可以使用它快速复现某些场景下的功能。
18
+ 另一种较方便的方式是:通过演示项目 [ DemoSpider] ( https://github.com/shengchenyang/DemoSpider ) 来快速复现某些场景及功能。
23
19
24
20
本库 ` ayugespidertools ` 的 [ github README.md] ( https://github.com/shengchenyang/AyugeSpiderTools#readme ) 中所有功能,都可以在 ` DemoSpider ` 中找到示例。
25
21
26
- ` DemoSpider ` 项目位于: https://github.com/shengchenyang/DemoSpider , 您可以在项目的自述文件中找到有关它的更多信息。
22
+ 您可以在项目的自述文件中找到有关它的更多信息。
27
23
28
24
## 2. 应用场景介绍
29
25
Original file line number Diff line number Diff line change @@ -103,7 +103,7 @@ pip install ayugespidertools[all]
103
103
### 值得知道的事情
104
104
105
105
- ` ayugespidertools ` 是依赖于 ` Scrapy ` 开发的,对其在爬虫开发中遇到的常用操作进行扩展。
106
- - 可以从最新源码中构建,构建方法请参考本文 ` How-To-Build-Your-Own-Library ` 部分。
106
+ - 可以从最新源码中构建,构建方法请参考本文 [ How-To-Build-Your-Own-Library] ( ../diy/myself.md ) 部分。
107
107
108
108
### 使用虚拟环境(推荐)
109
109
Original file line number Diff line number Diff line change 1
1
# AyugeSpiderTools 一目了然
2
2
3
- ` AyugeSpiderTools ` 是 ` Scrapy ` 的功能扩展模块,对其 ` spider ` ,` item ` ,` middleware ` ,` pipeline ` 等模块中的常用功能进行模板化生成和配置。比如生成常见的 ` spider ` ,运行 ` sh ` 和 ` settings ` 配置等脚本和固定项目文件结构;也对其不同模块进行功能扩展,比如给 ` spider ` 挂上 ` Mysql engine ` 的单例句柄可用于 ` yield ` 入库前的去重方式之一,给 ` pipeline ` 添加自动生成 ` Mysql ` 存储场景下所依赖的数据库、数据表、数据字段及注释,也可以解决常见的(字段编码,` Data too long ` ,存储字段不存在等等)错误场景。还有很多功能,请在其 ` Github ` 上查看。
4
-
5
- > ` AyugeSpiderTools ` 相关信息:
6
-
7
- ``` shell
8
- 1. 具体请查看对应链接:[AyugeSpiderTools](https://github.com/shengchenyang/AyugeSpiderTools)
9
- ```
3
+ [ AyugeSpiderTools] ( https://github.com/shengchenyang/AyugeSpiderTools ) 是 ` Scrapy ` 的功能扩展模块,对其 ` spider ` ,` item ` ,` middleware ` ,` pipeline ` 等模块中的常用功能进行模板化生成和配置。比如生成常见的 ` spider ` ,运行 ` sh ` 和 ` settings ` 配置等脚本和固定项目文件结构;也对其不同模块进行功能扩展,比如给 ` spider ` 挂上 ` Mysql engine ` 的单例句柄可用于 ` yield ` 入库前的去重方式之一,给 ` pipeline ` 添加自动生成 ` Mysql ` 存储场景下所依赖的数据库、数据表、数据字段及注释,也可以解决常见的(字段编码,` Data too long ` ,存储字段不存在等等)错误场景。还有很多功能,请在其 ` Github ` 上查看。
10
4
11
5
## 注意:
12
6
@@ -178,4 +172,4 @@ eg: ayuge gendpier -t async demom_async baidu.com
178
172
179
173
## 下一步是什么?
180
174
181
- 接下来的步骤是 [ 安装 AyugeSpiderTools] ( https://docs.scrapy.org/en/latest/intro/ install.html#intro-install ) , [ 按照 Scrapy 的教程 ] ( https://docs.scrapy.org/en/latest/intro/tutorial.html#intro-tutorial ) 学习如何使用 ` Scrapy ` 并 [ 加入 Scrapy 社区] ( https://scrapy.org/community/ ) 。谢谢你的关注!
175
+ 接下来的步骤是[ 安装 AyugeSpiderTools] ( install.md ) , 按照 [ Scrapy 教程 ] ( https://docs.scrapy.org/en/latest/intro/tutorial.html#intro-tutorial ) 学习如何使用 ` Scrapy ` 并加入 [ Scrapy 社区] ( https://scrapy.org/community/ ) 。谢谢你的关注!
Original file line number Diff line number Diff line change 2
2
3
3
` AyugeSpiderTools ` 设置允许您自定义所有 ` Scrapy ` 及 ` AyugeSpiderTools ` 组件的行为,包括核心、扩展、管道和蜘蛛本身。
4
4
5
- 若您还不清楚 ` Scrapy ` 设置的知识,请跳转至 https://docs.scrapy.org/en/latest 查看教程。
5
+ 若您还不清楚 ` Scrapy ` 设置的知识,请跳转至 [ Scrapy 文档 ] ( https://docs.scrapy.org/en/latest ) 查看教程。
6
6
7
7
以下内容主要介绍本库在具体场景下的配置示例:
8
8
You can’t perform that action at this time.
0 commit comments