产品和服务公开市场招投标项目信息,进行分类汇总分析,辅助数据爬虫服务爬取指定区域的政府招投标网站上公开的招标和中标信息。公司发展方向、行业、产品等方面的决策。审计分类工具数据展示门户分析报告模板管理后台对爬取的项目信息将审计过的可用的根据市场业务的需初期对企业内部服进行分类和审计,项目招投标数据进求,可以定制分析务,后期公众号等按行业分类,查重,行汇总分析,多种的模板,自动输出,提供云服务,为其合规校验入库。方式展示。数据说话。他企业提供咨询。Platformfunction平台功能总体功能结构2.1、平台总体由六部分组成,包括数据爬虫服务,数据存储子系统、数据分析系统、数据展示子系统,后台管理子系统,微信公众号子系统。数据采集数据校验存储数据分析预警数据展示企业云服务数据展示门户平台公众号服务平台基于mysql的关系型数据中心安全信体系招标项目信息中标项目信息行业分类信息国家及各地政行业最平台用其他信息审府政策新动态信息信息户信息用户定制消息推送信息......核息规则制定基于mogoDB的大数据存储数据爬虫服务数据爬虫服务2.2、数据爬虫服务从政府采购网站、政府电子政务网站、主流媒体网站抓取相关信息,经过初步分类,存储到大数据平台。数据爬虫服务功能说明编号123456789功能描述主动触发,根据定制目标信息网站列表,定时主动检测是否有新信息发布分析目标网站url,获取要抓取的项目信息或政策等信息的url清单将url存储到消息队列中,可采用kafaka或activeMQ等爬虫服务从消息队列中获得url,根据不同网站适配器,进行数据的爬取进行信息的检查审核,关键信息是否缺失,对缺失的信息进行标记进行数据的简单分类,主要是三类项目、政策和行业大部分的数据记录通过检查未通过检查的记录存入指定错误明细表通过hivesql写入hbase中,同时写入分析服务消息队列中一份10记录日志
全文预览
