网络机器人吧社区

机器学习应用实例如何识别标题党?

沈浩老师 2018-11-08 15:49:15

本文由沈浩老师门下硕士研究生李莹璇撰写与编译

相信你也遇到过这样的情况:怀着犹如探秘般万分期待的心情,点开一篇文章,结果却发现又一次中了“标题党”的诱饵,成功上钩。这种现象,在国际有一个形象的名Clickbait”。


“Clickbait”则被定义为引诱人进入某网站的标题诱饵。Facebook、谷歌自2014年末就开始了对“标题诱饵”的识别,并且在最近宣布减少该类新闻出现在新闻摘要中。因此,准确的识别出作者所写的文章是不是标题诱饵就显得尤为重要。

标题诱饵一般有哪些特征
 先让我们来看看一些点击量较高的、典型的标题党:
·   关于新iPhone,10件苹果公司不会告诉你的的事
·   接下来发生的一切将会让你大跌眼镜
·   90年代的演员是什么样子的
·   特朗普说了奥巴马和克林顿什么
·   成为一个好的数据科学家必备的9个技能
·   拥有iphone如何提高你的性生活
从这些标题中我们似乎可以寻找到某些模式。趣味性和模糊性是这些标题的主要特点,看到这些标题,我们就不自觉的想点开看看这些文章到底要说什么。当然,通常情况下,文章的内容会让你很失望。

一些小的网站依靠标题陷阱获得流量,就连一些较为受欢迎的新闻网,如Buzzfeed也被冠以标题陷阱集散地的称号, 正如“今日头条”在App store的遭遇一样,随着谷歌和Facebook对这类文章采取的一系列措施惩罚,这种现象还会持续多久?

识别标题诱饵
不同于其他应用机器学习的文章,这篇文章将不包括机器学习的基础,我们直接进入主体的分析部分。

1
创建数据集
为了识别clickbaits,我们必须先从一些新闻网站抓取一些标题,并创建两个相对的数据集:一个为clickbait标题数据集,包含十万条数据;另一个为non-clickbait标题数据集,包含五千条数据,以此形成一个监督学习问题,即用non-clickbaits数据集对clickbaits进行类别判断。
2
数据集特征分析及模型训练
在创建好数据集之后,我们将对不同的数据集进行特征分析,并用机器学习算法进行识别模型的训练。
01
   词频-逆向文本频率(TF-IDF)
TF-IDF是一种用户信息检索与数据挖掘的常用加权技术,用以评估一个字词在一个文件集或一个语料库中的重要程度。在这个方法中,我分别对字符和单词进行分析,并且运用  n-gram模型的(1,1),(1,2),(1,3)。接着,我们用scikit-learn这一用于机器学习的python模块来实现以上算法。

字符分析器如下:
词语分析器如下:
TF-IDF向量分析器非常强大,能清楚的告诉我们哪些字符、单词在clickbaits中的出现的频率最大,如下图所示:
同样,在non-clickbaits中出现频率最高的字符、单词为:
接下来,我使用了两种不同的机器学习算法, 逻辑回归和梯度增加,并用以下指标评估模型算法:
·   ROC曲线下的面积
·   准确度
·   召回率
·   F1-分数

为了避免过度拟合,我使用5折分层抽样。
下图展示了如何实现随机抽样。在分层抽样的情况下,预测集合训练集具有相同的正、负标签比例。

经过一些简单的模型参数调整,上述两种机器学习模型的各指标得分如下:
 
逻辑回归:
ROC曲线下的面积= 0.987319021551
精确度= 0.950326797386
召回率= 0.939276485788
F1得分= 0.944769330734
ROC曲线:

梯度增加:
ROC曲线下的面积= 0.969700677962
精确度= 0.95756718529
召回率= 0.874677002584
F1得分= 0.914247130317
ROC曲线:
02
   Word2Vec
Word2Vec模型在自然语言处理中很受欢迎,总是为我们提供伟大的见解。Word2Vec从本质上来说就是一个矩阵分解的模型,简单地说,矩阵刻画了每个词和其上下文的词的集合的相关情况

在本文中,我们用Word2Vec来表示相似或意义非常接近的单词,如下图所示:

同样,我们也可以使用word2vec代表句子:

我们将每个单词(每个句子/标题)作为一个200维的向量。可视化word2vec的最好办法是将这些向量运用t-SNE方法分解在两维的坐标系中,如下图:

从上图我们看到,我们只用word2vec就明显的区分出了clickbaits和non-clickbaits的特征,这意味着,在这一算法上使用一个机器学习模型将会极大的改善我们的分类。

我们使用与上文相同的两个机器学习模型处理数据集,模型的各指标得分如下:

逻辑回归:
ROC曲线下的面积= 0.981149604411
精确度= 0.936280884265
召回率= 0.93023255814
F1得分= 0.933246921581
ROC曲线:

梯度增加:
ROC曲线下的面积= 0.981312768055
精确度= 0.939947780679
召回率= 0.93023255814
F1得分= 0.935064935065
ROC曲线:
我们可以看到在梯度增加模型中,各项指标得分明显提高。

为了进一步提高评估,我们结合TF-IDF和Word2Vec两种算法进行特征识别,并根据这些特征进行自动识别clickbaits的机器模型训练,可以看到模型分数显著提高。
一个严肃的结论
停止使用标题陷阱。

对新闻工作者来说,这些标题可能会给你带来额外的阅读量,但随着几大互联网巨头的联合行动,这类现象不会持续很长时间。    
注:本文原题为:关于“Clickbaits”,你不知道的10件事


原文来自:Abhishek Thakur


原创声明 | 本文为原创作品,版权归“沈浩老师”公众号所有,转载请注明出处。




沈浩老师

——————
中国传媒大学新闻学院教授、博士生导师
中国传媒大学调查统计研究所所长
大数据挖掘与社会计算实验室主任

中国市场研究行业协会会长


欢迎关注


欢迎关注俺任会长的市场研究协会

微信号:CMRA_2001

数艺智训
DAtraining

欢迎关注:灵动数艺

——数艺智训


数据艺术家
TableauHome

欢迎关注:博易智讯(Bizinsight)

——数据艺术家




Copyright © 网络机器人吧社区@2017