作者:andsky
个人主页: http://www.andsky.com 转载请注明出处谢谢!
采集其实和以前我们用过的小偷原理是一样的只不过增加了入库功能
下面我先说一下采集的要点
1、明确要采集的页面
2、分析页面链接
3、得到页面链接,抓取文章页内容
4、入库
下面我真对以上几个步骤把用PHP语言用到的几个函数写一下
首先要取得链接页面内容
用file_get_contents函数这个在一些PHP的书里介绍的好像不多
用法 $link=file_get_contents( $page);
$page为我们在采的链接页
$link为我们取得链接页面的内容
下面接着要开始分析文章页面的URL地址了,难的其实也就在这里的正则表达式
用到的函数preg_match_all
用法
preg_match_all("/^
1<a href='\"(.*)\"'>(.*)<\/a>/", $link, $links);
2其实我觉得这样并不好不如用preg_match,大家自己看看这个吧
3
4得到了链接下面就要对文章页面的标题,内容进行抓取了
5
6在这里要说明的一下其实
7$links[2]以经是标题了
8$links[1]是链接
9
10这里我们主要先对 $links[1]进行分析因为它以经是一个数组所以我们进行分析时要用到for或什么的,这里不多说
11
12接下来取得文章页内的内容用到的函数还是file_get_contents
13这次不同的是我们要用explode对文章进行分析
14也就是我们现在用的什么标题开始,结束,内容,开始结束之类的
15$text=file_get_contents( $links[1][1])
16$text是我们获得的第一个链接
17具体用法
18$title=explode("标题开始", $text);
19$get_title=explode("标题结束", $title[1]);
20$t_title= $get_title[0];
21
22下面分析内容
23$content=explode("内容开始", $tet_title[1]);
24$get_content=explode("内容结束", $tet_title[0]);
25$c_conetnt= $get_content[0];
26
27
28到这里也就差不多了,接下来就是入库了,大家根据自己的实际情况
29
30
31第一次写技术文章,写的不对的地方请指正
32
33AD一下
34
35采集非官方支持版
36http://www.andsky.com/bbs/index.php?cateid=30</a>