早期的搜索引擎利用网络爬虫程序来访问URL，通过它来抓取网页的页眉和标题，并把这些信息进行组织后存放到中央服务器。但网络爬虫在对某个站点发出请求后要等几秒才能收到响应。最理想的情况下，搜索引擎一天可以完成对数万个网站信息的收集。而12到14天之后，搜集到的信息一定程度上就会“过期”。此外，当爬虫访问后网页也有可能会改变，而且它也会错过部分网页。所以对于这时期的网络爬虫来说，百万级网页已经是极限。而该公司的研发人员知道，1995年12月，那时的Web已经远远超出这个数字了。

莫尼尔后来开发出了多线程Web爬虫Scooter，它运行在先进的64位Unix服务器上。Scooter在ping了某个站点后不必等它响应并继续ping其它站点，它会跟踪每个调用并作为一个独立的线程进行响应。其它的爬虫程序一次只能处理某个站点，而Scooter一次就能访问上千个站点并收集相应的信息。Scooter不但能收集到页眉和页面，还能够收集到完整的网页。莫尼尔表示，AltaVista对网页的索引首次覆盖到整个网络。

Scooter首次爬行活动就找到了1,600万个网页，当时来说是个非常惊人的数字。而在两个月后的第二次爬行找到了2,500万个网页。从AltaVista可以折射出网络的快速增长。据Netcraft 4月的调查显示，现在全球共有1.14亿个活动站点，并且每个站点都有成千上万个子网页。

不太知名的Ｗｅｂ软件

以下出场的对网络的贡献也非常的大，但它甚至还不如AltaVista有名，它就是XMLHttpRequest对象。

XMLHttpRequest在1999年作为微软IE 5.0的一部分首度亮相。在XMLHttpRequest出现之前，浏览器只能进行静态显示，就像一个哑终端窗口。数以百万计的用户看到的都是同样的网页，没有任何一个网页像现在一样是针对用户定制的。

XMLHttpRequest的出现改变了这种状况。最初出现的是ActiveX控件，它为浏览器和服务器间开辟了后台通讯的渠道，数据通过后台进行传输。而在XMLHttpRequest出现之前，用户想获得不同数据的唯一方式只有访问不同的网页。

随着2001年IE 6.0的推出，XMLHttpRequest开始作为一个更加通用的API以而不只是ActiveX控件出现。它遵循网络标准，并力求通过HTTP协议和只使用JavaScript（或微软的Jscript）进行浏览器编码使得数据在服务器和客户端之间以XML或动态HTML格式传输。

这些API调用的模式成某Google Map的基础，Google Map能够针对每个终端用户的地图信息请求进行响应。IE高级产品经理皮特·莱佩吉（Pete LePage）称其为“Web 2.0秘密的根源”。Google、Zimbra等都赶上了使用Request对象的大潮，其因特网的形态就是近来很热的Ajax。

万维网联盟（W3C）也正致力于使它成为一项标准。

简单概念　复杂代码

网络惩戒复杂但褒奖简洁。但它不只是奖励简洁的软件，那些内在复杂外在简洁的软件也会享受同等待遇。