专利名称：分布式爬虫集群系统专利类型：发明专利发明人：杨溥,郭军,徐蔚然申请号：CN200910080437.X申请日：20090318公开号：CN101499096A公开日：20090805
摘要：本发明公开了一种分布式爬虫集群系统，包括以下部件：网页爬抓器，超链接锁存储器，网页锁存储器以及超链接给予器。通过应用本发明所描述的系统，可以有效地解决分布式系统资源的占有矛盾问题；可以为开发分布式爬虫系统提供通用的设计架构；可以十分方便快捷地实现爬虫的集群系统；可以极大幅度地提高爬虫的爬抓速度。
申请人：北京邮电大学
地址：100876 北京市海淀区西土城路10号
国籍：CN
更多信息请下载全文后查看
因篇幅问题不能全部显示，请点此查看更多更全内容