舆情监控系统

一. 系统概述

1. 关于维思比

维思比科技是国内领先的企业内容管理解决方案供应商,为中关村高新技术和国家双软认证企业,并通过了ISO9001质量管理体系认证,在金融、电信、政府、IT、教育等众多行业拥有良好的声誉和品牌影响力。

 

维思比科技的技术研发中心拥有众多的搜索引擎领域专业人才,致力于搜索引擎技术及相关产品的研发,以企业内容管理应用为导向,以全文检索、搜索引擎、中文语言知识处理三大核心技术,为客户提供优质专业的产品、服务和解决方案。

 

维思比科技拥有一支朝气向上、具有创新拼搏精神的团队。通过多年的努力,客户遍布全国各地,其中有多个世界五百强企业,及国内主要的软件厂商和集成商,主要客户包括诺基亚、宝马中国、中国移动、长沙市知识产权局、广西省公安厅、用友软件、九成集团、中国石化协会、中投证券、赶集网等。

 

维思比科技的公司理念是“人才为本,科技为先”,坚持“品质第一,服务至上”的服务宗旨,以创新实干的姿态,高效而团结的精神,凭借多年累积的技术实力及丰富的经验,为每一个客户提供专业、贴切、快捷、规范的服务。

 

 

 

2. 背景介绍

近年来,我国互联网无论从用户规模、业务应用、技术实现等方面都发生巨大变化。仅1998年至2007年,我国互联网用户数就从117.5万发展到近13700万,互联网站从3700个发展到843000个,不完成统计,大中城市各类网站已达2000多个,互联网已经演化为一个虚拟社会,成为一块正在加速膨胀的思想阵地,越来越多的人们愿意通过这类渠道表达自己的真实想法。在加强互联网管理的同时,通过先进技术手段,开展互联网信息的汇集整理和分析研判,从网络上海量的信息中发掘出对政府有价值的信息,对于全面了解社情民意,为领导决策提供支持和依据,做好各项工作具有重要意义。

面对海量信息,各政府机关目前互联网信息监控采用的是人工手动搜索,通过使用各类搜索工具逐个输入关键词的方式进行搜索甄别分析,效率较低。因此需要一套互联网舆情监控分析系统开展互联网信息的汇集整理和分析,把握网上信息舆论动向,及时掌握、分析网上舆论动态,全面了解社情民意,为领导决策提供舆情信息服务,维护各大中城市在互联网虚拟社会的话语权。

 

3. 产品概述

维思比科技作为国内搜索技术产品化的开创者,一直在该领域拥有先进的理念、成熟的技术和先进的信息检索、数据抽取识别和文本挖掘技术。维思比科技搜索引擎产品通过在多个互联网运营项目上的成功应用,积累了丰富的行业实践经验。

维思比科技结合互联网垂直领域的业务应用需求,依托自身搜索引擎产品和中文信息处理技术,推出全面的互联网舆情信息监控。

互联网舆情信息监控(NMS)是维思比科技针对政府、公安、军队推出的互联网信息搜索、分析监控,痕迹留存、来源追踪产品。可以有效地帮助政府部门掌握互联网的信息、舆论动向,热点新闻内容自动发现,通过预警机制可以预设敏感词汇,系统在发现可疑内容自动通过email或短信进行通知到达。该产品已经在多个政府部门和公安机关成功应用。

互联网舆情信息监控平台通过信息化手段增强对大中城市涉及互联网舆情信息进行有效管理,实现对大中城市网站信息发布以及互联网上涉及本市的信息进行全面掌控,尤其是敏感内容、违规内容和突发事件等信息。实现对互联网信息(新闻、论坛、博客等)实时监测、采集、内容提取及排重和排序;并且对获取的信息进行全面检索、主题检测、专题聚焦、主题演化分析、话题传播分析;按照业务需求定制信息分类规则和排序;为用户辅助编辑提供信息服务,如信息预警、自动形成网络信息报告、追踪已发现的信息焦点等。及时发现不良信息,实现早发现、早报告、早处理,有效引导网上舆论,疏导热点,减少互联网涉及本地舆情不良信息的传播,净化网络环境,维护网络正常秩序和政府在互联网的话语权。

4. 应用模型

l 政府部门网络舆情监控

l 行业情报信息采集

l 企业竞争性情报系统

l 广告公司的危机公关

l 军队、机要部门泄密监控

l 公安部门案情侦破与侦查

 

 

 

 

 

 

二. 技术框架

从上图中可以看到,维思比科技互联网舆情信息监控构建于J2EE平台,继承了它跨平台和安全的特性。整个系统架构拥有很强的扩展性,并对用户开放web service接口以方便二次开发。

三. 舆情 功能模块结构

维思比科技互联网舆情监控产品包含四个功能子系统:舆情数据采集子系统、舆情数据处理子系统、舆情分析子系统、舆情门户应用子系统。

系统对信息的处理过程:

 

1) 舆情数据采集子系统

舆情数据采集子系统的数据采集对象主要是互联网网站和网页,数据源主要有两种,一是通过指定范围的网站对其进行定向抓取采集,支持新闻、博客、论坛、微博采集;另一种是通过baidu、google、搜狗等十余种搜素引擎根据关键词进行全网的数据采集。在单服务器状态下,支持对1000个以上的站点/栏目进行采集监控。

在数据采集过程中,自动去除广告及干扰信息、文章去重与相似度分析、自动生成摘要和关键词等多项中文语言处理技术。同时通过网页结构分析技术以及网页视觉分析技术,系统能够在不需要进行任何采集配置的情况下,自动识别出标题、作者、时间、正文等信息单元。能够大大降低人工配置网站模板的工作量,能够自适应网站改版。

此外,数据采集子系统还能够针对网页中的图片、文档资源文件进行采集下载,具有生成网页图片和快照、实现网站自动登录、利用代理服务器下载、JS自动识别判断、分布式采集等多项功能。

在舆情数据采集子系统中采用了模版技术,系统内置数百个网站的模版,使得用户的配置过程相当简便,采集配置简单、易学;采集界面可视化、人性化。

 

2) 舆情数据处理子系统

舆情数据处理子系统主要是针对采集子系统采集的数据进行整理、处理。主要功能包括:

舆情数据管理:包括对于数据的整理、编辑、删除、新增等维护工作,支持通过关键词的自动分类,支持无限极分类体系。

门户信息配置:系统可以自动生成前端门户平台的信息,管理员也可以通过后台配置将需要重点呈现的信息置于门户中去,同时,管理员也可以对门户的一些频道、热词、专题进行管理和设置。

简报管理模块:通过设置舆情简报模版,可以按天、按月、自动生成舆情简报,也可以手动选择信息生成简报,同时对于已生成的简报提供可视化的编辑界面,用户可以编辑撰写。

 

3) 舆情分析子系统

舆情分析子系统功能分为统计和分析两部分。

统计主要是对于舆情内容的统计,信息站点分布统计、时间统计、具有折线图、柱状图、饼图多种表现方式。

舆情分析功能包括,自动聚类、热词发现;正负面信息研判;事件发展趋势分析;热点人名、地名分析;

4) 舆情门户应用子系统

舆情门户应用子系统是根据客户的行业特点与行业需求,定制的一个舆情展示、呈现平台,通过该平台可以将舆情系统中收集到的信息、分析结果、生成的简报、以图文方式进行展现,提供给用户和各级领导浏览、下载。

并支持舆情预警功能,可以通过手机短信、电子邮件、弹窗提示等方式,向用户进行预警。

四. 舆情核心技术优势与功能特色

1) 微博监测

舆情支持通过自己设定的关键词,监测微博的信息,支持腾讯微博、新浪微博等。

2) 实体识别

基于先进的自动分词系统,不需人工干预,能够从语料库中自动抽取出实体信息,包括人名、地名、机构名,抽取的实体可用于关联关系挖掘,以发现和分析实体之间的关联性,以用于舆情信息的分析研究。

3) 主题识别及跟踪

通过分析、统计功能,自动识别主题,并能根据主题进行事件跟踪,管理员也可以自己创建主题。

主题分析后,系统可以从多方面,多维度对舆情进行跟踪:

 

 

4) 热点发现

5) 主题态度研判

根据敏感词库,结合自动摘要、自动关键词提取、中文分词技术,实现进行主题的态度研判。

6) 自动预警、三级预警功能

通过分析结果,进行红、橙、黄三级预警,并通过邮件、短信或其他方式给用户进行预警提示。

7) 自动与手动简报功能

可以通过系统设置简报模版,及简报生成时间,自动生成舆情简报。

对于生成的简报,系统也提供了可视化的编辑功能。

另外,系统也支持根据用户不一样,生成不同的简报以供不同部门人员浏览下载。

8) 全网监控

舆情不仅可以针对特定网站进行监控,也可以利用google、baidu、yahoo等通用搜索引擎的结果结合本身的技术,进行全网监控,达到舆情监控的全面性。

9) 分布式系统支持

舆情支持分布式系统部署,这样可以提高整个系统的页面抓取能力,进而提高系统对于监控网站数量的支持。

 

10) 基于Web的应用管理平台

维思比科技舆情产品绝大部分功能都可以通过后台管理界面进行维护工作,包括前期的网页抓取和索引等。管理用户可以通过控制台监控系统运行状态,内存使用信息,包括抓取数据量、性能和效率等等。

  • 舆情监控系统已关闭评论
  • 803 views
    A+
发布日期:2017年03月18日  所属分类:产品与服务