专利名称：一种基于分布式的网络自适应分类爬虫方法专利类型：发明专利
发明人：王之琼,信俊昌,汪宇,闫东蕾,雷盛楠,王司亓,唐俊日,
隋玲
申请号：CN202010868327.6申请日：20200826公开号：CN111984848A公开日：20201124
摘要：本发明公开一种基于分布式的网络自适应分类爬虫方法，属于网络爬虫和反爬虫技术领域，该方法首先是采用支持向量基SVM对各信息源网站进行反爬虫技术的精确分类；然后根据反爬虫手段的分类结果选择与之相抗衡的爬虫策略，最后基于分布式的自适应爬虫技术进行数据爬取，对分类模型进行评估。该方法可以用于舆情大数据的获取。这样根据反爬虫技术的不同分类，能更加精准有效的采用与之相抗衡的爬虫技术破解，快速获取信息源的数据。极大程度上减少了不必要的测试被反爬手段规避掉的风险。
申请人：东北大学
地址：110819 辽宁省沈阳市和平区文化路3号巷11号
国籍：CN
代理机构：沈阳东大知识产权代理有限公司
代理人：李在川
更多信息请下载全文后查看
因篇幅问题不能全部显示，请点此查看更多更全内容