【摘要】在网络大数据抓取过程中，面对各种中文干扰语句，慧科讯业在“文本挖掘”领域中有着独特的技术优势。本期慧科讯业AI大数据媒体监测时间，慧科带大家一起来解读如何实现这一技术的。

本文A：北京正义路

文本B：北京正义之路

文本A：西单发生车辆追尾事故

文本B：安华桥西单行道发生事故

……

在网络大数据抓取过程中，面对这种中文干扰语句，慧科讯业在“文本挖掘”领域中有着独特的技术优势。

本期小编带大家一起来解读。

文本挖掘(Text Mining)是一个分析海量、异构、分布的文档数据内容，抽取文本信息，从非结构化文本信息中获取用户需要和有用的信息的过程。

全媒体大数据文本挖掘技术最直接的作用就是协助企业发现并掌握潜在的有用信息。

例如，网络媒体上用户的关注点赞、发的图片，用户购买商品写评论等等这些具体的用户行为到底经过了哪些处理就变成了你常看到的《奶茶品牌全媒体数据报告》《P2P行业金口碑榜》《网络流行语传播热度报告》……？

首先由机器程序尽可能全面地抓取在线相关海量信息，慧科讯业的信息源覆盖全媒体平台，深入行业细分领域，力求全面准确。然后通过一系列预处理与分析过程，包含分词、句法分析、实体识别、情感分析、话题分类、语义关联分析、事件聚类、及趋势预测等关键的挖掘任务，对以下问题作出深入的解答：

行业内，用户们最关注的品牌是什么

人们如何认知我的品牌

什么因素影响购买

人们的购买场景是什么

用户们的评论中有哪些趋于一致的内容

营销活动后的市场反应如何

……

提取出这些信息后，慧科讯业会通过图表、文档等形式把得到的数据信息实时呈现给客户，也可整理成数据报告形式，为客户提供一系列更加详尽、专业的数据报告和解决方案。

中文语义中，中文语义的复杂性决定了中文语义智能识别需要很多的基础技术和长时间的业务积累，才能在准确性和完整性上达到平衡。

中文中存在大量的倒装、多义、反讽、口语等“非正常”文本。现在的网络信息中，又经常会有网络流行语等大量新兴词汇产生。

例如“敏感”一词带有的情感意义，在不同行业中的极性不同。比如，在汽车行业提到“操控敏感灵活”是正面词，但在化妆品中提到“皮肤敏感发炎”就是负面词，这就需要结合具体的场景，才能给出正确的结果。

又例如，被人们常常乐道的“呵呵”一词的语义，在网络上已经从原来的单纯含义，成为了新的一代的含蓄表达不满的常用词。

此外，随着互联网媒体、社交媒体的快速发展，信息和数据更是快速的积累和流动，更需要高超计算处理速度和复杂模型来提炼相关信息，挖掘真实的信息。慧科讯业有专职的语言学编辑团队维护行业知识；同时也不断地为研究院提供标注数据供其训练人工智能分析模型，以适应快速变化的信息世界。

有别于一般的大数据应用，慧科讯业作为全球领先的全媒体大数据智能商业情报专家，在中文自然语言处理方面积累了丰富的经验，多年来一直致力研发语言学及人工智能技术，并为了更好地服务两岸四地的客户，对普通话和粤语的分析大力投入，使其在中文语意分析上更胜人一筹。

慧科讯业独家研发的“排版转换技术”系统 (ENMPS)，将大量繁、简体中文内容转化至一个易于搜索及具弹性的数据库。慧科讯业的“雅博中文全文检索系统”(IPOC)，融合了语意学与上下文理的脉络关系逻辑，用户可以用词语、词句进行检索，搜索的灵活性及准确性均大增。

与此同时，慧科讯业注重技术的发展，成立了独立的慧科研究院，目前团队人员均为毕业于中国、香港、英国、德国、丹麦及加拿大等知名高校，95%以上具有硕士或博士学位，专注中文智能化的分析，即在大数据的基础上对中文自然语义进行智能的解析与挖掘，聚焦的研究方向有文本挖掘与社会媒体分析、自然语义分析与知识图谱、情感分析、深度学习与机器学习等。

慧科讯业文本挖掘技术的优势远远不止于此，内涵和应用也远远不止于此，不断进步的文本挖掘技术确保了慧科讯业的产品和服务具有“情报准、全、快、干净”的核心竞争优势。更多的魅力之处，慧科讯业邀请您前来接触和了解。

随着越来越多的传统行业接入互联网，文本挖掘的应用更加广泛，如电子商务、电子政务、电子医疗健康、国家安全与公共安全、反恐、物联网、移动计算、互联网金融等等。通过具有竞争优势的文本挖掘技术，慧科讯业为客户提供的一系列智能商业情报解决方案的应用场景变得越来越广泛，越来越具有权威性。马上来试试看？

关于我们

慧科讯业（Wisers）1998年成立于香港，是全球领先的全媒体大数据智能商业情报专家。慧科讯业基于近20年的海量媒体数据积累，凭借先进的人工智能技术，通过科学的分析建模，为全球超过2500家客户提供创新的各类舆情监测、消费者洞察、社交媒体洞察、数字营销以及品牌管理、风险管理等等产品服务和解决方案。慧科讯业始终致力于媒体大数据的商业应用，助力企业及机构客户，提升品牌价值、优化传播与营销效果、强化声誉管理、发掘市场情报、防范商业风险、辅助战略决策等。

企业如何随时随地掌握舆情动态？如何利用媒体大数据助力提升品牌数字营销及传播效果？欢迎关注微信公众号“慧科讯业“，或拨打热线电话4/0/0-0/9/6/9-7/9/7了解更多来自慧科讯业的先进产品和服务。