“小网站本不需要维护,只是因为你的程序太笨了,所以你成了无休止的网站维护者。”—沉默的海
前言
经常有朋友在Q群(75604923)里问起采集的相关问题,每次针对个人回答的时候,总是无法说得很全面,很多朋友表示不满意,今天发表此文,详细介绍一下采集程序的设计思路。其实“沉默的海”本是一名业余ASP爱好者,ASP综合技术水平应该说是一个“二把刀”。但对于采集程序的编写,应该说还有点研究,因为我是因为采集程序才迷上编程、迷上ASP,也是从这里开始了自己的编程之路。
一、 采集程序的作用。
这个问题也许不用多说,每个站长可能都感觉特别的需要,因为我们精力必竟有限,不象那些大的网络公司,有专门的新闻记者和网络写手。这样以来,要想使自己的网站内容丰富起来,借签别的网站上的内容无疑成了一个最好的办法,也就是这个原因,数以千计的站长不知不觉中成了“复制粘贴”的操作手,在和站长朋友的聊天中得知,多数站长每天做的工作就是“复制粘贴”。这是一个多么枯燥的工作啊,但,为了自己的希望也不得不去做这些最让人讨厌的事情。
这样以来,采集程序成为站长们必不可少的一个工具,给站长们带来了很多的便利,即使我们的网站内容得到了丰富,又节省了很多的精力和时间。(和也许可以作为采集程序示例网站,无需要任何更新,网站永远都是新的。)
但,有多站长却又不会自己设计采集程序,从网上下载的程序要么是收费的,要么是功能不全的,往往不能让人满意。即便是收费的,用起来也不是十分方便,因为需要很多手工的操作。
“沉默的海”认为:采集程序要想真正发挥其方便快捷的优势,最好的一个办法是针对自己的网站量身设计,而后和网站集成在一起,成为网站的一部分,只有这样,才能算是一个成功的采集程序。
可是,采集程序怎么做呢?难吗?
二、 采集程序怎么做。
“沉默的海”认为,采集程序设计一点都不难,只要有一些ASP编程常识,我觉得一天之内学会它,是没有问题的。(相信我的话,你就把文章看完,我保证不会让你失望;不相信我的话也请你看完,我保证看完后你会相信我的话。)
采集程序的基本原理其实很简单:包括两个步骤:
1、 下载目标网页;
大家知道,采集程序帮我们做的工作其实就是“复制和粘贴”,那么要把一个网站复制下来,首页你需要把网页打开啊,这个过程其实就是下载目标网页,只不过我们不是人工下载,而是利用程序来完成它。
这里有“核心技术”:XMLHTTP,它可以把网页下载以备下一步的使用。
2、 提取网页中我们需要的内容;
上一步我们完成了第一步:下载网页。
但并不是所有下载的内容都是我们需要的,所以还要做的工作就是,提取我们需要的内容,去除不需要的,存入数据库。这一步的主要技术是:正则表达式。
三、 做什么样的采集程序。
做了以上两步,应该说一个完整的采集程序已经完成了。它可以采集到我们需要的内容,而后存入数据库,供我们使用。可是,这是我们真正需要的吗?显然不是,因为我们既然要用采集程序来支持我们的网站,那就要用它来完成几乎所以的工作。我认为:如果你的网站加了采集程序,那么即使长年不维护,网站依然是新的,这样才算是成功的。
上面的采集程序显然做不到,因为你还得启动采集程序,然后把数据导入网站的数据库,然后生成html,等等等等,还有很多工作需要我们来做。我们理想中的采集程序是不需要人工来做任何工作的,所以在完成采集程序之后我们还要做一些配套的程序,以保证采集程序的运行,和与网站的完美集成。
1、 自动启动采集程序;
2、 将采集数据直接写入网站数据库;
3、 配套生成html等后续工作。
做了以上三点,我们才可以说自己做了一套还算可以的采集程序,那么我们具体应该怎么做呢,请看《采集程序设计经验交流(二)—下载网页》。
申请创业报道,分享创业好点子。点击此处,共同探讨创业新机遇!