如何网络数据抓取和特征提取
发布网友
共1个回答
热心网友
用ForeSpider数据采集系统就可以的。我用ForeSpider采集过百度，可以通过输入关键词，采集搜索结果里面的数据，或者通过软件的数据挖掘功能，直接挖掘特征数据。并且可以记录每个结果是出自于百度结果列表中的什么位置。可以下载软件免费使用，不*功能和时间的。
在通用性爬虫中，ForeSpider爬虫的采集速度和采集能力是最强的，支持登录、Cookie、Post、https、验证码、JS、Ajax、关键词搜索等等技术的采集，采集效率在普通台式机上，可以达到500万条数据/每天。这样的采集速度是一般的通用性爬虫的8到10倍。
对于大量的网站采集需求而言，ForeSpider爬虫可以在规则模板固定之后，开启定时采集。支持数据多次清洗。
对于关键词搜索的需求而言，ForeSpider爬虫支持关键词搜索和数据挖掘功能，自带关键词库和数据挖掘字典，可以有效采集关键词相关的内容。
