查看完整版本: 四步教会您制作采集器

四步教会您制作采集器

[size=3]很多朋友在论坛上发贴询问采集器的制作方法和一些细节问题。为了使得更多的站长更加方便地使用SupeSite的采集功能，特作此教程。

首先简单说一下制作采集器的基本原理和思路：

1、确定您要采集哪个页面的新闻，将这些页面的地址填入到“索引页面url地址（图4和5）”；[/size]
[size=3]2、确定在这些页面您要采集的内容区域，因为不是一个网页所有的内容都要采集回来，而是采集一个网页的一部分内容，所以您必须告诉程序您要采集的区域，也就是“列表区域识别规则”；（图4和5）[/size]
[size=3]3、第2步确定区域之后，还要告诉程序您要采集的文章链接，也就是“文章链接url识别规则”。（图4和5）[/size]
[size=3]4、现在已经确定了大的采集框架，接下来要告诉程序在一个文章页面，文章的标题，文章的来源和作者分别是什么。然后就是一篇文章内容的范围，也就是说一个文章页面内，真正您需要采集的范围，就是“文章内容识别规则”。最后设置分页的区域和分页的链接地址。（图6）。[/size]
[size=3]5、以上4个步骤已经确定了采集的范围，如果您需要过滤标题和内容，请根据您的要求设置“内容页面整理设置”。[/size]
[size=3][color=indigo]以上几个步骤确定范围都是通过查看页面源码，进行设置的，截取的方法需要一些经验，练习2－－3次就可以领悟到了。[/color]

接下来介绍采集器的基本原理和步骤：
[b][color=red]第一[/color][/b]：打开后台的采集器，点击“添加新机器人”。（图1）
[b][color=red]第二[/color][/b]：填写基本设置：（图2）
      这里需要特别指出的有两个地方：单次采集个数和采集页面编码。单次采集个数尽量设置较小的数字，以免超时。[color=indigo]采集页面编码是您采集网页的编码，并不是您站点的编码。这里切记！！
[/color]      查看采集页面编码的方法：点击网页头部的“查看”，然后点击“源文件”，然后找到类似“<meta http-equiv="Content-Type" c />” ，charset后面的就是这里需要填写的“采集页面编码”。（图3）
[b][color=red]第三[/color][/b]：列表页面采集设置：（图4）和（图5）
      这里设置的是采集页面的url地址，采集内容的区域范围，采集文章标题的url地址。
      采集页面的url地址有两种设置方法：手动输入（图4）和自动增长（图5）。手动输入需要您自己将所需采集的地址逐行输入。自动增长[/size][size=3]只需填入采集页面的地址和页面页码。详见图5。用[page]代替分页变量。
      采集内容的范围代替，采集文章的标题用[url]代替。
[b][color=red]第四[/color][/b]：内容页面采集设置：（图6）
      这里需要设置的采集规则有：文章标题，文章来源（选填），文章作者（选填），文章内容，分页设置（选填）。文章标题用[subject]代替，文章来源用[from]代替，文章作者用[author]代替，文章内容用[message]代替，分页区域用[pagearea]代替，分页链接用[page]代替。
      之后的过滤设置可以根据您的需要和采集页面的具体情况进行填写。[/size]
[size=3]      设置完毕之后点击提交，然后点击“开始采集”（图7），图8是采集的过程，采集完毕之后点击“查看结果”（图9），如果您的采集规则正确，可以得到图10的页面，最后将采集的内容导入资讯。这里说明一点：[color=indigo]采集的内容只能够导入资讯这个频道。[/color][/size]

[[i] 本帖最后由 安笛 于 2007-1-17 16:10 编辑 [/i]]
附件[img]http://www.discuz.net/images/attachicons/image.gif[/img] [url=http://www.discuz.net/attachment.php?aid=108946&k=fce45a129c7e933610c3e6b448fa835c&t=1221463715&nothumb=yes][color=#0000ff]1.JPG[/color][/url] [i](28.93 KB)[/i] 2007-1-17 16:08
[img]http://www.discuz.net/attachments/month_0701/1_fuifjQK0BsO4.jpg[/img]
[img]http://www.discuz.net/images/attachicons/image.gif[/img] [url=http://www.discuz.net/attachment.php?aid=108947&k=dd0aa1a38985ade3272011ca96152c43&t=1221463715&nothumb=yes][color=#0000ff]2.JPG[/color][/url] [i](14.81 KB)[/i] 2007-1-17 16:08
[img]http://www.discuz.net/attachments/month_0701/2_2lam7AhlbAf6.jpg[/img]
[img]http://www.discuz.net/images/attachicons/image.gif[/img] [url=http://www.discuz.net/attachment.php?aid=108948&k=c0ad19caf5dceeec7de957f2ed27ec15&t=1221463715&nothumb=yes][color=#0000ff]3.JPG[/color][/url] [i](17.12 KB)[/i] 2007-1-17 16:08
[img]http://www.discuz.net/attachments/month_0701/3_6YfKaYw1aWHn.jpg[/img]
[img]http://www.discuz.net/images/attachicons/image.gif[/img] [url=http://www.discuz.net/attachment.php?aid=108949&k=f54747060fce0368d8315f580dfdd4c7&t=1221463715&nothumb=yes][color=#0000ff]4.JPG[/color][/url] [i](40.18 KB)[/i] 2007-1-17 16:08
[img]http://www.discuz.net/attachments/month_0701/4_ohnML1WdMOrP.jpg[/img]
[img]http://www.discuz.net/images/attachicons/image.gif[/img] [url=http://www.discuz.net/attachment.php?aid=108950&k=9f5b96b559f33681cbb01a46705e9ef2&t=1221463715&nothumb=yes][color=#0000ff]5.JPG[/color][/url] [i](36.52 KB)[/i] 2007-1-17 16:08
[img]http://www.discuz.net/attachments/month_0701/5_oQWdwB27vXjO.jpg[/img]
[img]http://www.discuz.net/images/attachicons/image.gif[/img] [url=http://www.discuz.net/attachment.php?aid=108951&k=525865081f17053472a0f099e120a54e&t=1221463715&nothumb=yes][color=#0000ff]6.JPG[/color][/url] [i](56.37 KB)[/i] 2007-1-17 16:08
[img]http://www.discuz.net/attachments/month_0701/6_6rqT6OaPr3vt.jpg[/img]
[img]http://www.discuz.net/images/attachicons/image.gif[/img] [url=http://www.discuz.net/attachment.php?aid=108952&k=3f0840dfff97d800f909b12bb6e7ecc6&t=1221463715&nothumb=yes][color=#0000ff]7.JPG[/color][/url] [i](11.15 KB)[/i] 2007-1-17 16:08
[img]http://www.discuz.net/attachments/month_0701/7_vB1Lc9nQZJCG.jpg[/img]
[img]http://www.discuz.net/images/attachicons/image.gif[/img] [url=http://www.discuz.net/attachment.php?aid=108953&k=d573822349724e2e8409809e87503f1a&t=1221463715&nothumb=yes][color=#0000ff]8.JPG[/color][/url] [i](33.16 KB)[/i] 2007-1-17 16:08
[img]http://www.discuz.net/attachments/month_0701/8_xLtgITBy4y0b.jpg[/img]
[img]http://www.discuz.net/images/attachicons/image.gif[/img] [url=http://www.discuz.net/attachment.php?aid=108954&k=4f6c42c93a2c2f3943c69c391b414f2f&t=1221463715&nothumb=yes][color=#0000ff]9.JPG[/color][/url] [i](8.31 KB)[/i] 2007-1-17 16:08
[img]http://www.discuz.net/attachments/month_0701/9_0OxqHG9JcRTL.jpg[/img]
[img]http://www.discuz.net/images/attachicons/image.gif[/img] [url=http://www.discuz.net/attachment.php?aid=108955&k=6d0eea2d7150f61abe1134ef2df29333&t=1221463715&nothumb=yes][color=#0000ff]10.JPG[/color][/url] [i](18.5 KB)[/i] 2007-1-17 16:08
[img]http://www.discuz.net/attachments/month_0701/10_whNyqiHFApcB.jpg[/img]

如果一定要用500以上的字来解释“晦涩”这个词，那么LZ是做到了的。

偶啥时才能熬出头啊.现在金钱好少，好少，慢慢做吧。

楼猪。。。你额头有朝天骨。。。 眼里有灵光。。。仙人转世。。。神仙下凡。。。我终于等到你发帖了。。。别动。。。虽然我泄露了天机。。。灾劫难免。。。可这是我命中注定。。。就算我要冒着进小黑屋的危险。。。也要帮你up一下。。。

AD一下：情缘科技有限公司-虚拟主机，域名注册，软件开发，网站建设，网站SEO优化，企业4006电话业务-（http://www.xiugoo.cn）

楼主，你写得实在是太好了。我惟一能做的，就只有把这个帖子顶上去这件事了

孜孜不倦，吾等楷模 …………