如何利用数据分析技术做好舆情挖掘
随着互联网技术的发展和新媒体应用的创新，人们越来越倾向于通过微博、微信、抖音短视频等社交媒体来表达自己的观点、传播自己的需求、分享各类信息。
如今，任何搬上的互联网的话题都有网友在下面表达看法，提出各自的建议和意见，有时甚至会掀起不小的“互联网风浪”。
舆论当下，收集、处理和挖掘其中的价值，洞察各式各样的观点、情绪、口碑和民情，可以为企业提供商业数据和情报，帮助企业更智能地做决策；还可以为政府挖掘社会现状和舆论民情，提高社会治理的整体水平。
一、舆情分析的特点
1. 数据冗杂
首先，从数据基本属性来看，舆情信息包括文本、图形、视频、音频等，都属于非结构化数据。其次，数据量大、数据源多。随着近几年网络社交媒体的快速发展，公开社交平台越来越多，相比较于十年前，人们可以在更多的平台上发表自己的看法。
舆情分析的数据源需要覆盖到互联网上几乎全部的公开信息，不仅有国内的媒体及社交平台，还有国外的各家媒体和社交平台。
2. 需求量大
常见的互联网行业、金融行业、房地产行业、教育行业、餐饮行业、各类消费品行业等都是重点关注舆情分析，具备强大公关能力的行业。
同时，在政府部门，随着电子政务的发展，舆情监测和舆情分析能力也得到了很大的重视。舆情监测和分析系统为各级各部门政府机构，第一时间提供各类社会舆情资讯。
说到底，“数据是金矿”，舆情监测、分析和管理最大的效用就是对互联网公开信息的大数据分析和价值挖掘，为政府和企业的智能决策提供辅助，达到较大的社会效益和经济效益。
因此，各行各业都需要舆情分析。
3. 附加值高
上一点说到，数据是金矿，舆情分析的结果可以帮助政府和企业在一些事情上达到较大的社会效益和经济效益。
舆情分析能够为政府和企业提供多维度的数据分析和高附加值的信息洞察，具体来说：
1）负面消息挖掘
舆情监测的核心点便是负面消息的数据挖掘，如果不能及时准确的找到负面信息，任由其发酵壮大，后果是不堪设想的。政府的公信力遭到严重质疑，企业的经济利益遭受巨大的损失，整个社会状况也会遭受不小的动荡。
2）口碑信息挖掘
比如，某茶饮品牌新推出一款茶饮品，企业最关注的往往是销量和口碑。一个好的口碑可以带来整体销量的大幅度提升，这也是为什么口碑营销在当下这么火爆的原因。
有针对性的对于某一产品进行口碑监测，可以帮助企业改善产品，及时调整市场营销策略，提升产品的满意度。
3）竞品信息挖掘
针对目前市面上现存的或潜在的竞品企业，进行信息监测、情报挖掘，分析其背后的数据价值，通常可以帮助企业较好的掌握市场竞争的主动权。
4）重大事件分析
无论是网络热点事件还是产品营销事件，通过对事件的传播分析，监测事件的发展脉络，挖掘其背后的舆论爆炸点，掌握事件的传播途径，可以为快速处理事件和传播效果分析提供数据依据。
5）民生信息挖掘
对于政府部门来说，最看重的就是民生舆情监测。通过对网络热点事件的舆情监测，可以了解到公众对其的评论、情绪、传播方式，对于政府部门引导和控制舆情提供了良好的决策辅助。
尤其是在今年年初新冠疫情爆发的那段时间，民生舆情监测达到了一个巅峰。
4、技术复杂
舆情监测与分析，不仅需要强大的数据收集和处理能力，还需要强大的数据挖掘能力，面临着不小的技术挑战，主要有以下几个技术难点：
1）全面性
舆情监测与分析需要覆盖到几乎所有的互联网信息，数据采集系统要保证数据全面收集、不遗漏，强大的数据采集系统是舆情监测的基础保障。
2）及时性
互联网环境下，舆论信息传播速度极快，舆情监测与分析就是在与互联网速度赛跑。政府和企业都需要第一时间掌握好舆情动态，实时预警、快速分析、及时响应。
3）精确性
除了要具备及时性，更要精准检索目标数据。面对海量的舆情数据，舆情数据分析系统不仅要找到相关信息，还要排除无效信息的干扰，最大程度匹配到监测数据。
4）丰富性
舆情数据分析系统除了基本的数据精准甄判之外，还需要具备更强大的数据信息挖掘能力。比如，需要对数据信息进行标签挖掘、地域判断、信息分类等等，最大化挖掘出数据信息背后的附加值。
二、传统数据分析技术助力舆情分析
首先，我们来看下传统的数据分析过程：数据采集一数据清理一数据变换一数据挖掘一模型评估一可视化展示。
由于舆情分析的及时性，数据需要从互联网上实时采集。分析结果要实时输出呈现，整个数据挖掘过程需要穿插于整个信息流之中。
舆情信息以流式输入到数据分析系统中，通过ETL处理标准化的数据，进入到数据挖掘的过程，利用各个机器学习算法模型进行分析和评估。
挖掘结果经过可视化处理后，以实时数据分析报告或实时数据大屏的形式呈现给用户。
此外，整个数据分析系统需要具备动态干预能力，来保证数据挖掘规则和模型的前后一致性。相较于传统数据分析的静态过程，舆情数据的分析和挖掘是一个不间断、实时的过程。
三、数据分析新技术带来舆情分析新发展
1. SaaS产品助力
随着自媒体的壮大，网络传播速度的增长，互联网舆情的热度不断发酵。舆情分析SaaS产品，能够帮助政府和企业更快的搭建自己的舆情分析系统，快速入场舆情分析。
传统的舆情分析，场景和模式相对单一，网络舆情分析的精细度要求更高，越来越差异化、个性化。在SaaS产品的标准模式之下，针对不同行业、不同场景实现基于平台的精细化运营变得越来越重要。
政府和企业利用好平台工具，打造舆情分析闭环系统，构建精细化运营的产品矩阵，才能真正挖掘到舆情分析背后的超高附加值。
2. 实时数据大屏助力
随着数据可视化技术的发展，数据大屏近几年越来越盛行，尤其是在数据监测方面受到政府和企业的重点关注。数据大屏最大的一个特点就是：数据实时、预计及时、响应迅速。
比如在良渚古城遗址的舆情分析大屏中，展现的是景区游客热搜、微博热搜和应急指挥信息处理三个部分的内容。通过对于网络舆情的监测，进行景区应急指挥的及时响应和安全保障。
图源：袋鼠云EasyV
3. AI深度分析助力
随着AI在近几年的快速发展，各类技术框架和分析手段地出现，为舆情分析和挖掘提供了新技术、新手段、新工具。
不仅仅局限于分词、实体识别、情绪判断、关键词提取等基础的文本分析，比如主动事件发现、智能预警预判、智能信息检索等技术也走进人们的视野。
与此同时，AI技术的发展加速了模型算法的工程实现，新模型新算法可以取代舆情服务中的人工部分，来降低不少的舆情分析成本。
