补白：北京字节跳动科技有限公司，旗下的产品包含内容分发渠道：今天头条；火遍网络的抖音；涵搞笑社区：内在段子、火山小视频、内在漫画；以及悟空问答、TopBuzz、musical.ly、Faceu、图虫、懂车帝等多款产品。
信息来历：今天头条资深算法架构师曹欢欢博士，初次揭露今天头条的算法原理，以期推动整个作业问诊算法、建言算法。经过让算法通明，来消除各界对算法的误解。
3分钟了解今天头条引荐算法原理_腾讯视频
以下为曹欢欢关于《今天头条算法原理》的共享内容：
本次共享将首要介绍今天头条引荐体系概览以及内容剖析、用户标签、评价剖析，内容安全等原理。
一、体系概览
引荐体系，假如用方式化的办法去描绘实践上是拟合一个用户对内容满意度的函数，这个函数需求输入三个维度的变量。
第一个维度是内容。头条现在现已是一个归纳内容渠道，图文、视频、UGC小视频、问答、微头条，每种内容有许多自己的特征，需求考虑怎样提取不同内容类型的特征做好引荐。第二个维度是用户特征。包含各种爱好标签，作业、年纪、性别等，还有许多模型刻划出的隐式用户爱好等。第三个维度是环境特征。这是移动互联网年代引荐的特色，用户随时随地移动，在作业场合、通勤、旅行等不同的场景，信息偏好有所偏移。
结合三方面的维度，模型会给出一个预估，即估测引荐内容在这一场景下对这一用户是否适宜。
这儿还有一个问题，怎么引进无法直接衡量的方针？
引荐模型中，点击率、阅览时刻、点赞、谈论、转发包含点赞都是能够量化的方针，能够用模型直接拟合做预估，看线上进步状况能够知道做的好欠好。但一个大体量的引荐体系，服务用户许多，不能彻底由方针评价，引进数据方针以外的要素也很重要。
比方广告和特型内容频控。像问答卡片便是比较特其他内容方式，其引荐的方针不完满是让用户阅览，还要考虑招引用户答复为社区奉献内容。这些内容和一般内容怎么混排，怎样操控频控都需求考虑。
此外，渠道出于内容生态和社会职责的考量，像低俗内容的镇压，标题党、低质内容的镇压，重要新闻的置顶、加权、强插，低等级账号内容降权都是算法自身无法完结，需求进一步对内容进行干涉。
下面我将简略介绍在上述算法方针的基础上怎么对其完结。
前面说到的公式y = F(Xi ,Xu ,Xc)，是一个很经典的监督学习问题。可完结的办法有许多，比方传统的协同过滤模型，监督学习算法Logistic Regression模型，依据深度学习的模型，Factorization Machine和GBDT等。
一个优异的工业级引荐体系需求十分灵敏的算法试验渠道，能够支撑多种算法组合，包含模型结构调整。由于很难有一套通用的模型架构适用于一切的引荐场景。现在很流即将LR和DNN结合，前几年Facebook也将LR和GBDT算法做结合。今天头条旗下几款产品都在沿袭同一套强壮的算法引荐体系，但依据事务场景不同，模型架构会有所调整。
模型之后再看一下典型的引荐特征，首要有四类特征会对引荐起到比较重要的作用。
第一类是相关性特征，便是评价内容的特点和与用户是否匹配。显性的匹配包含关键词匹配、分类匹配、来历匹配、主题匹配等。像FM模型中也有一些隐性匹配，从用户向量与内容向量的间隔能够得出。
第二类是环境特征，包含地理方位、时刻。这些既是bias特征，也能以此构建一些匹配特征。
第三类是热度特征。包含大局热度、分类热度，主题热度，以及关键词热度等。内容热度信息在大的引荐体系特别在用户冷启动的时分十分有用。
第四类是协同特征，它能够在部分程度上协助处理所谓算法越推越窄的问题。协同特征并非考虑用户已有前史。而是经过用户行为剖析不同用户间类似性，比方点击类似、爱好分类类似、主题类似、爱好词类似，乃至向量类似，然后扩展模型的探究才干。
模型的练习上，头条系大部分引荐产品选用实时练习。实时练习省资源而且反应快，这对信息流产品十分重要。用户需求行为信息能够被模型快速捕捉并反应至下一刷的引荐作用。咱们线上现在依据storm集群实时处理样本数据，包含点击、展示、保藏、共享等动作类型。模型参数服务器是内部开发的一套高功能的体系，由于头条数据规划添加太快，类似的开源体系稳定性和功能无法满意，而咱们自研的体系底层做了许多针对性的优化，供给了完善运维东西，更适配现有的事务场景。
现在，头条的引荐算法模型在世界规模内也是比较大的，包含几百亿原始特征和数十亿向量特征。全体的练习进程是线上服务器记载实时特征，导入到Kafka文件行列中，然后进一步导入Storm集群消费Kafka数据，客户端回传引荐的label结构练习样本，随后依据最新样本进行在线练习更新模型参数，终究线上模型得到更新。这个进程中首要的推迟在用户的动作反应延时，由于文章引荐后用户纷歧定立刻看，不考虑这部分时刻，整个体系是简直实时的。
但由于头条现在的内容量十分大，加上小视频内容有千万等级，引荐体系不或许一切内容悉数由模型预估。所以需求规划一些召回战略，每次引荐时从海量内容中挑选出千等级的内容库。召回战略最重要的要求是功能要极致，一般超时不能超越50毫秒。
召回战略品种有许多，咱们首要用的是倒排的思路。离线保护一个倒排，这个倒排的key能够是分类，topic，实体，来历等，排序考虑热度、新鲜度、动作等。线上召回能够敏捷从倒排中依据用户爱好标签对内容做切断，高效的从很大的内容库中挑选比较靠谱的一小部分内容。
二、内容剖析
内容剖析包含文本剖析，图片剖析和视频剖析。头条一开端首要做资讯，今天咱们首要讲一下文本剖析。文本剖析在引荐体系中一个很重要的作用是用户爱好建模。没有内容及文本标签，无法得到用户爱好标签。举个比方，只需知道文章标签是互联网，用户看了互联网标签的文章，才干知道用户有互联网标签，其他关键词也相同。
另一方面，文本内容的标签能够直接协助引荐特征，比方魅族的内容能够引荐给重视魅族的用户，这是用户标签的匹配。假如某段时刻引荐主频道作用不抱负，呈现引荐窄化，用户会发现到详细的频道引荐（如科技、体育、文娱、军事等）中阅览后，再回主feed,引荐作用会更好。由于整个模型是打通的，子频道探究空间较小，更简略满意用户需求。只经过单一信道反应进步引荐准确率难度会比较大，子频道做的好很重要。而这也需求好的内容剖析。
上图是今天头条的一个实践文本case。能够看到，这篇文章有分类、关键词、topic、实体词等文本特征。当然不是没有文本特征，引荐体系就不能作业，引荐体系最前期应用在Amazon,乃至沃尔玛年代就有，包含Netfilx做视频引荐也没有文本特征直接协同过滤引荐。但对资讯类产品而言，大部分是消费当天内容，没有文本特征新内容冷启动十分困难，协同类特征无法处理文章冷启动问题。
今天头条引荐体系首要抽取的文本特征包含以下几类。首要是语义标签类特征，显式为文章打上语义标签。这部分标签是由人界说的特征，每个标签有清晰的含义，标签体系是预界说的。此外还有隐式语义特征，首要是topic特征和关键词特征，其间topic特征是关于词概率散布的描绘，无清晰含义；而关键词特征会依据一些一致特征描绘，无清晰调集。
别的文本类似度特征也十分重要。在头条，从前用户反应最大的问题之一便是为什么总引荐重复的内容。这个问题的难点在于，每个人对重复的界说不相同。举个比方，有人觉得这篇讲皇马和巴萨的文章，昨日现已看过类似内容，今天还说这两个队那便是重复。但关于一个重度球迷而言，尤其是巴萨的球迷，恨不能一切报导都看一遍。处理这一问题需求依据判别类似文章的主题、行文、主体等内容，依据这些特征做线上战略。
相同，还有时空特征，剖析内容的发生地址以及时效性。比方武汉限行的作业推给北京用户或许就没有含义。终究还要考虑质量相关特征，判别内容是否低俗，色情，是否是软文，鸡汤？
上图是头条语义标签的特征和运用场景。他们之间层级不同，要求不同。
分类的方针是掩盖全面，期望每篇内容每段视频都有分类；而实体体系要求精准，相同姓名或内容要能清晰区别终究指代哪一个人或物，但不必掩盖很全。概念体系则担任处理比较准确又归于抽象概念的语义。这是咱们开端的分类，实践中发现分类和概念在技能上能互用，后来一致用了一套技能架构。
现在，隐式语义特征现已能够很好的协助引荐，而语义标签需求继续标示，新名词新概念不断呈现，标示也要不断迭代。其做好的难度和资源投入要远大于隐式语义特征，那为什么还需求语义标签？有一些产品上的需求，比方频道需求有清晰界说的分类内容和简略了解的文本标签体系。语义标签的作用是查看一个公司NLP技能水平的试金石。
今天头条引荐体系的线上分类选用典型的层次化文本分类算法。最上面Root，下面第一层的分类是像科技、体育、财经、文娱，体育这样的大类，再下面细分足球、篮球、乒乓球、网球、田径、游水…，足球再细分国际足球、中国足球，中国足球又细分中甲、中超、国家队…，比较独自的分类器，运用层次化文本分类算法能更好地处理数据歪斜的问题。有一些破例是，假如要进步召回，能够看到咱们连接了一些飞线。这套架构通用，但依据不同的问题难度，每个元分类器能够异构，像有些分类SVM作用很好，有些要结合CNN，有些要结合RNN再处理一下。
上图是一个实体词辨认算法的case。依据分词成果和词性标示选取候选，期间或许需求依据知识库做一些拼接，有些实体是几个词的组合，要承认哪几个词结合在一起能映射实体的描绘。假如成果映射多个实体还要经过词向量、topic散布乃至词频自身等去歧，终究核算一个相关性模型。
三、用户标签
内容剖析和用户标签是引荐体系的两大柱石。内容剖析触及到机器学习的内容多一些，比较而言，用户标签工程应战更大。
今天头条常用的用户标签包含用户感爱好的类别和主题、关键词、来历、依据爱好的用户聚类以及各种笔直爱好特征（车型，体育球队，股票等）。还有性别、年纪、地址等信息。性别信息经过用户第三方交际账号登录得到。年纪信息一般由模型猜测，经过机型、阅览时刻散布等预估。常驻地址来自用户授权拜访方位信息，在方位信息的基础上经过传统聚类的办法拿到常驻点。常驻点结合其他信息，能够估测用户的作业地址、出差地址、旅行地址。这些用户标签十分有助于引荐。
当然最简略的用户标签是阅览过的内容标签。但这儿触及到一些数据处理战略。首要包含：一、过滤噪声。经过逗留时刻短的点击，过滤标题党。二、抢手赏罚。对用户在一些抢手文章（如前段时刻PG One的新闻）上的动作做降权处理。理论上，传达规模较大的内容，置信度会下降。三、时刻衰减。用户爱好会发生偏移，因而战略更倾向新的用户行为。因而，跟着用户动作的添加，老的特征权重会随时刻衰减，新动作奉献的特征权重会更大。四、赏罚展示。假如一篇引荐给用户的文章没有被点击，相关特征（类别，关键词，来历）权重会被赏罚。当然一起，也要考虑大局布景，是不是相关内容推送比较多，以及相关的封闭和dislike信号等。
用户标签发掘全体比较简略，首要仍是刚刚说到的工程应战。头条用户标签第一版是批量核算结构，流程比较简略，每天抽取昨日的日活用户曩昔两个月的动作数据，在Hadoop集群上批量核算成果。
但问题在于，跟着用户高速添加，爱好模型品种和其他批量处理使命都在添加，触及到的核算量太大。2014年，批量处理使命几百万用户标签更新的Hadoop使命，当天完结现已开端牵强。集群核算资源严重很简略影响其它作业，会集写入散布式存储体系的压力也开端增大，而且用户爱好标签更新推迟越来越高。
面临这些应战。2014年末今天头条上线了用户标签Storm集群流式核算体系。改成流式之后，只需有用户动作更新就更新标签，CPU价值比较小，能够节约80%的CPU时刻，大大下降了核算资源开支。一起，只需几十台机器就能够支撑每天数千万用户的爱好模型更新，而且特征更新速度十分快，根本能够做到准实时。这套体系从上线一向运用至今。
当然，咱们也发现并非一切用户标签都需求流式体系。像用户的性别、年纪、常驻地址这些信息，不需求实时重复核算，就依然保存daily更新。
四、评价剖析
上面介绍了引荐体系的全体架构，那么怎么评价引荐作用好欠好？
有一句我以为十分有才智的话，“一个作业无法评价就无法优化”。对引荐体系也是相同。
事实上，许多要素都会影响引荐作用。比方侯选调集改变，召回模块的改善或添加，引荐特征的添加，模型架构的改善在，算法参数的优化等等，纷歧一举例。评价的含义就在于，许多优化终究或许是负向作用，并不是优化上线后作用就会改善。
全面的评价引荐体系，需求齐备的评价体系、强壮的试验渠道以及易用的经历剖析东西。所谓齐备的体系便是并非单一方针衡量，不能只看点击率或许逗留时长等，需求归纳评价。曩昔几年咱们一向在测验，能不能归纳尽或许多的方针组成仅有的评价方针，但仍在探究中。现在，咱们上线仍是要由各事务比较资深的同学组成评定委员会深化谈论后决议。
许多公司算法做的欠好，并非是工程师才干不行，而是需求一个强壮的试验渠道，还有快捷的试验剖析东西，能够智能剖析数据方针的置信度。
一个杰出的评价体系树立需求遵从几个准则，首要是统筹短期方针与长时刻方针。我在之前公司担任电商方向的时分观察到，许多战略调整短期内用户觉得新鲜，可是长时刻看其实没有任何助益。
其次，要统筹用户方针和生态方针。今天头条作为内容分创造渠道，既要为内容创造者供给价值，让他更有庄严的创造，也有职责满意用户，这两者要平衡。还有广告主利益也要考虑，这是多方博弈和平衡的进程。
别的，要注意协同效应的影响。试验中严厉的流量阻隔很难做到，要注意外部效应。
强壮的试验渠道十分直接的长处是，当一起在线的试验比较多时，能够由渠道主动分配流量，无需人工交流，而且试验完毕流量当即收回，进步办理功率。这能协助公司下降剖析本钱，加速算法迭代效应，使整个体系的算法优化作业能够快速往前推动。
这是头条A/B Test试验体系的根本原理。首要咱们会做在离线状态下做好用户分桶，然后线上分配试验流量，将桶里用户打上标签，分给试验组。举个比方，开一个10%流量的试验，两个试验组各5%，一个5%是基线，战略和线上大盘相同，别的一个是新的战略。
试验进程中用户动作会被收集，根本上是准实时，每小时都能够看到。但由于小时数据有动摇，一般是以天为时刻节点来看。动作收集后会有日志处理、散布式计算、写入数据库，十分快捷。
在这个体系下工程师只需求设置流量需求、试验时刻、界说特别过滤条件，自界说试验组ID。体系能够主动生成：试验数据比照、试验数据置信度、试验定论总结以及试验优化主张。
当然，只需试验渠道是远远不行的。线上试验渠道只能经过数据方针改变估测用户体会的改变，但数据方针和用户体会存在差异，许多方针不能彻底量化。许多改善依然要经过人工剖析，严重改善需求人工评价二次承认。
五、内容安全
终究要介绍今天头条在内容安全上的一些行动。头条现在现已是国内最大的内容创造与分发凭条，有必要越来越重视社会职责和作业领导者的职责。假如1%的引荐内容呈现问题，就会发生较大的影响。
因而头条从创建伊始就把内容安全放在公司最高优先级行列。建立之初，现已专门设有审阅团队担任内容安全。其时研制一切客户端、后端、算法的同学总共才不到40人，头条十分重视内容审阅。
现在，今天头条的内容首要来历于两部分，一是具有老练内容生产才干的PGC渠道
一是UGC用户内容，如问答、用户谈论、微头条。这两部分内容需求经过一致的审阅机制。假如是数量相对少的PGC内容，会直接进行危险审阅，没有问题会大规模引荐。UGC内容需求经过一个危险模型的过滤，有问题的会进入二次危险审阅。审阅通往后，内容会被真实进行引荐。这时假如收到一定量以上的谈论或许告发负向反应，还会再回到复审环节，有问题直接下架。整个机制相对而言比较健全，作为作业领先者，在内容安全上，今天头条一向用最高的规范要求自己。
共享内容辨认技能首要鉴黄模型，咒骂模型以及低俗模型。今天头条的低俗模型经过深度学习算法练习，样本库十分大，图片、文本一起剖析。这部分模型更重视召回率，准确率乃至能够献身一些。咒骂模型的样本库相同超越百万，召回率高达95%+，准确率80%+。假如用户常常出言不讳或许不妥的谈论，咱们有一些赏罚机制。
泛低质辨认触及的状况十分多，像假新闻、黑稿、题文不符、标题党、内容质量低等等，这部分内容由机器了解是十分难的，需求很多反应信息，包含其他样本信息比对。现在低质模型的准确率和召回率都不是特别高，还需求结合人工复审，将阈值进步。现在终究的召回已达到95%，这部分其实还有十分多的作业能够做。头条人工智能试验室李航教师现在也在和密歇根大学共建科研项目，建立流言辨认渠道。
以上是头条引荐体系的原理共享，期望未来得到更多的主张，协助咱们更好改善作业。
参阅来历：36氪
原文作者：朵朵066
上一年今天运营文章2023:《100个思想模型系列》014.破捆绑思想模型(0)2023:杰夫·贝佐斯带领亚马逊成功的18条规律(0)2023:假如你是新提升的运营leader，这篇文章送给你(0)2023:像麦肯锡高管相同高质量剖析问题？(0)2023:七个决议计划的心智模型，一个比一个有用(0)
微信扫一扫 
支付宝扫一扫 
