网络爬虫(又被称为网页蜘蛛,网络机器人,搜索引擎蜘蛛,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动的抓取万维网信息的程序或者脚本,另外一些不常使用的名字还有蚂蚁,自动索引,模拟程序或者蠕虫。