QQ会员活动运营渠道（AMS），是QQ会员增值运营事务的重要载体之一，承当海量活动运营的Web系统。在曩昔四年的时刻里，AMS日恳求量从200-500万的阶段，一向添加到日恳求3-5亿，最高CGI日恳求到达8亿。在这个过程中，AMS在架构方面发生了大幅度的调整和变迁，咱们走过了一段十分难忘的技能进程。
本文将会共享QQ会员活动运营渠道的架构规划实践，期望对做技能的同学有所协助。
一、海量活动运营的应战和咱们的应对思路
一个产品事务的开展总是离不开运营二字，而运营的体现办法许多会体现到活动需求上，越是重运营的产品事务，一般会发生越多的活动运营开发需求。
当咱们说起“活动”，许多人的榜首反应会觉得这是一个并不会有许多技能难度的一个东西。一般来说，假如咱们只做1-2个活动，那的确是没有太多技能难度的，可是，假如咱们将这个量级进步到做1000个活动，乃至更多的时分，这就成为一个的技能难题。
1. 活动运营事务的应战和难题
（1）腾讯SNG增值事务面对海量活动运营开发的应战
腾讯的增值产品部在QQ会员系统、游戏运营、个性化等各个事务上都需求继续高强度的运营性活动来促进用户的拉新、活泼和留存，这儿自身现已发生了十分多的运营需求。而且，自2014年开端，跟着移动互联网迈向老练阶段，手Q渠道上的手游运营需求大迸发，一个月需求上线的活动呈现数倍的添加。
（2）活动开发的杂乱性
开发一个活动自身需求必定的作业量。尤其是大型的推行活动，这类型的活动对功用和功用的要求比较高。一个典型的大型活动一般稀有千万的用户参加，因而，对功用要求比较高，假如再触及到“秒杀”或许“抢购”类型的高并发功用时，关于根底支撑系统是一个强力的应战。
活动功用许多，包含礼包、抽奖、共享、约请、兑换、排行、付出等，这些不同的参加和体现办法，也会触及更多的后端接口通讯和联调。例如，咱们的游戏运营事务触及上百款游戏，而不同的游戏对应不同的服务接口，就游戏相关的通讯接口，就触及上千个。
还有一个十分重要的问题，便是活动运营的安全和牢靠性。由于，咱们的活动，大多触及较重要的什物奖品发放，如iphone、ipad等高价值礼包，对安全要求很高。
（3）活动运营开发人力难题
传统手工开发办法，一般活动也需求1周的开发周期，而典型大型活动更是需求1-2周开发周期，开发和测验作业量深重。而且，许多活动是在指定节假日推行，一般有严厉上线时刻要求。在急迫而且快速添加的运营需求面前，人力十分有限。
现在，全年活动上线超越4300个。
2. 活动实质和咱们的办法论
经过对不同事务的活动办法的剖析和笼统，咱们发现事实上绝大部分活动都能够用一组“条件”和“动作”的办法进行笼统和封装，然后构成通用的“条件”（Rule）和“动作”（Operation）活动组件，不同条件和动作的组合运用，变成活动逻辑的完结。然后，咱们期望经过渠道化和结构驱动开发的办法，将这些组件一致封装。一起，在结构和渠道层面，为活动组件的运转供给高牢靠、高功用、具有过载维护和水平扩展才干的结构支撑环境。
活动组件只需求封装自身事务逻辑，中心功用结构主动支撑，然后完结活动运营开发的完全主动化。
AMS所需求承当的使命，便是完结这个规划。需求面对的，首要是处理三个方面的问题：
（1）建造高效活动开发办法（运营开发主动化）。
（2）建立高牢靠性和高可用性的运营支撑渠道。
（3）保证活动运营事务的安全。
二、构建高效活动运营开发办法
2012年头，也便是在AMS发生之前的活动开发办法，相对比较随意，也并没有一套严厉和完好的结构支撑，组件的复用程度不行高。因而，咱们开发一个活动，常常需求耗时1周多。其时，开发活动的其间一个特色便是“各自为营”，每个运营开发同学，各自发生了一批前端和后端组件，CGI层也发生了许多不同规矩的进口。这些各自完结的组件，结构比较杂乱，不成系统，维护起来也比较困难。最重要的是，这样的组件关于活动开发来说，运用杂乱，复用率低，以至于开发功率也比较低。
在其时，活动运营需求也呈现了必定程度上的堆积，许多需求没有人力支撑，产品同学也觉得咱们上线活动比较慢。
1. 系统架构分层和一致
依据这个问题，咱们其时想到的榜首个处理计划，便是整合前端和后端组件，从头建立一个结构明晰和一致的系统。将这个系统的接口分层、复用、简化的准则，逐渐构建一个完好的系统。而且，从咱们开发的视点来说，最重要的意图，是为削减活动开发的作业量，解放开发人员，进步研制功率。
咱们的前端组件经过一个叫Zero的结构一致整合，前端每一个功用以组件的办法呈现，一致维护和复用。CGI层则进行了代码重构，施行结构驱动式开发，将每一个事务逻辑功用，收归到一个仅有的进口和一致的系统中。中心功用结构主动支撑，已有活动功用组件可直接装备运用。假如没有新的功用接入，运营开发只需求装备一份简略的参数，就能够完结后端功用逻辑，不再需求写代码。关于根底支撑服务，则以渠道化的办法进行办理，做一致接入和维护。
当咱们做完系统结构的调整后，咱们总算完结，经过一份活动装备，来操控前端和后端的组件组合。每一个条件、发货等动作，都能够随意动态组合，参加条件经过“与”、“或”、“非”等组合办法，挑选对应的动作，完结活动功用逻辑。
从那时开端，活动开发变得简略了不少，需求写的代码大幅度削减，底子变成“填写参数”的作业。一个活动项意图代码从之前的1000-2000行，变成了不到100行。
例如，如下图中，原本需求写不少逻辑代码的收取礼包，在前端只变成了一行参数。
明晰的结构进步了系统可维护性，更为重要的是，活动开发功率也得到了极大的进步。
在开发人力不变的状况下，咱们活动开发的功率完结了大幅进步，产品的需求积压的状况，得到有用的缓解。
2. 高可视化开发办法（主动化运营）
可是，到了2014年，跟着“移动互联网“的快速开展和逐渐老练，咱们也迎来了”手游大迸发“年代。由于手游的开发周期更快，简直每个月都有许多款新的手游上线，很快手游活动运营的需求呈现了迸发式的添加。AMS承当的活动需求，敏捷从每个月上线60多个上升到200个的量级，在此布景下，开发人力再次绰绰有余，需求的积压问题进一步加重。
已然说到开发人力，就有必要介绍一下咱们当时的活动项目办法。咱们腾讯是一家老练的互联网公司，研制流程的每一个环节（规划、重构、开发、体会/测验、发布），都由不同独立人物完结。一个一般的移动端活动项目耗时，依照最最快速、最抱负的办法核算：规划1天，重构1天，开发2天，体会/测验1天，也至少需求5天作业日 ，也便是研制周期至少1周时刻。抱负是夸姣的，实践总是严酷的。在实践项目施行过程中，由于各种资源协谐和外部要素影响，一般无法到达如此完美的合作，因而，一个一般活动的研制周期，往往都超越1周。
遽然新增100多个需求，不论关于任何团队来说，都是一个巨大的压力。
所以，咱们不得不选用别的一种思路，来看待活动运营，是否能够测验不投入开发人力？咱们称之为“主动化运营“， 主动化的实质，便是构建满足强壮的渠道和东西支撑，让运营同学自己完结活动开发。
前面，咱们说到，开发一般活动时，每一个功用点现已变成了一份简略的装备，而活动开发的作业，便是将这个装备的活动参数填入到页面按钮上。假如，咱们完结一个可视化东西，将这个填写装备的作业，变成拖拽按钮的功用，这样就能够完全离别“写代码“的作业。
毕竟的成果，是咱们做一个可视化拖拽的活动模板系统。运营同学只需求经过恰当的训练，就能学会怎么运用。首要，运营同学将活动规划图上传，模板系统主动切图（完结重构作业），然后，装备活动功用，经过拖拽按钮功用组件（实质上是一个div通明蒙层），刺进到页面中。然后点击体会和发布，毕竟完结活动上线。由于咱们的功用组件是早就经过严厉测验，才供给给运营同学运用，一般不需求技能测验同学来做测验。
由于从那时开端，运营同学开端大规划代替开发、重构、测验的作业，可是，她们是一群不了解技能细节的人，这儿也无形添加了活动的上线危险。因而，除了这个活动模板的完结之外，咱们还依据AMS渠道的特性，建立了一系列的支撑渠道和东西。
简而言之，便是为了避免“人为的失误“，人的失误不能靠人自身来避免，而要靠渠道和程序来保证和检测。因而，咱们建造了强壮而且智能的装备查看系统和活动数据监控。举个比如，原本资源池里有100个礼券，可是，运营同学误装备为200个，这个时分渠道就会检测而且提示运营同学，这儿装备不正确。
主动化运营给咱们带来了研制流程等级的优化，在活动研制流程中，我削减了重构、开发和测验的流程，使得活动项目研制周期大幅度缩短，活动项目研制功率呈现质的腾跃。手游运营需求的积压问题，得到底子和完全的处理。
咱们的高效活动开发办法的构建完结，也促进咱们的AMS渠道事务规划快速的添加。咱们一个月上线的活动项目数，在2015年10月时，上线活动超越400个，而其间有80%以上归于运营同学“开发“的模板活动。
三、牢靠性与功用支撑建造
咱们经过构建高效的活动开发办法，促进咱们AMS运营渠道的事务规划和流量规划，都在曩昔的三年多时刻里，呈现了100倍的添加，一起在线的活动超越1000个。与此一起，AMS渠道的牢靠性和安稳性，也成为至关重要的目标之一，渠道假如出问题，影响面变得很广。
AMS渠道的架构分为四个层级，分别为：进口层、事务逻辑层、服务层、存储层（CKV的NoSQL存储），还有一个离线服务和监控系统。
1. 牢靠性
活动运营事务，对渠道的牢靠性十分灵敏，由于这儿触及到许多高价值礼包的发放，部分还触及付出环节，安稳名列前茅。
在保证可用性方面，咱们做几个方面的作业：
一切服务与存储，无状况路由（L5）。这样做的意图，首要是为了避免单点危险，便是避免某个服务节点挂了，整个服务就瘫痪了。实践上，即便像一些具有主备性质（主机器挂了，支撑切换到备份机器）的接入服务，也是不行牢靠的，究竟只要2台，它们都挂了的状况，仍是或许发生的。咱们后端的服务，一般都以一组机器的办法供给服务，彼此之间没有状况联系，支撑随机分配恳求。支撑平行扩容。遇到大流量场景，支撑加机器扩容。主动除掉反常机器。在咱们的路由服务，发现某个服务的机器反常的时分，支撑主动除掉，等它康复之后，再从头加回来。监控告警。实时计算成功率，成功率低于某个阀值，告警告诉服务负责人。
在告警监控方面，AMS渠道的建造更为严厉，咱们力求多渠道告警（rtx、微信、邮件、短信），多维度监控（L5、模块间调用、主动化测验用例、AMS事务监控维度等）。即便某些监控维度失效，咱们相同能够榜首时刻发现问题。当然，咱们也会操控告警的周期和算法，做到尽量削减打扰，一起，又能实在发现系统问题。
牢靠性别的的一个应战，便是过载维护。不论咱们系统具有多少机器，在某些特殊场景下，毕竟有过载的危险，例如“秒杀“和”守时敞开“之类的推行面前。AMS当时一起在线的活动超越1000，现已太多了，这些活动中，偶然总会有大流量推行，而且事务方乃至底子没有周知到咱们。不论在何种场景下，咱们有必要做到AMS渠道自身不能”雪崩“，假如集群挂掉，就影响全量用户，而做过载维护仅仅扔掉掉了部分用户恳求，大部分用户仍是能够取得正常的服务。
在过载维护方面，咱们采取了一些并不杂乱的办法：
渠道进口的过载维护。经过事务特性和机器运营经历，设置Apache最大服务进程/线程数，保证在这一个数目下，机器不会呈现宕机或许服务挂掉。后端许多发货接口的维护。AMS渠道的背面触及数以百计的后端服务接口，他们功用良莠不齐。经过AMS渠道内部限流，维护微小的后台接口。由于，假如将它们压垮了，就会形成某类型的接口完结不可用。服务降级。旁路掉非要害途径，例如数据上报服务。中心服务独立布置，物理阻隔。鸡蛋不能放在同一个篮子里，物理阻隔的意图，便是避免事务之间相互影响，维护其他服务正常作业。
2. 秒杀场景的事务维护
秒杀在活动运营中，是比较常见的一种参加办法，它带来的应战除了流量冲击的问题，还会带来高并发下的事务逻辑安全问题。这个时分，咱们有必要引进恰当的锁机制，来躲避这些问题。它和线程安满是同一类型的问题。
首要是用户的session锁，也便是说，同一个子活动功用中，同一个用户，在前一次发货恳求完毕之前，制止第二个恳求。之所以要这样做，是由于，假如同一个用户建议两个并发恳求，在一个临界时刻内，或许导致礼包多发。
例如下图中的A用户，在榜首个恳求成功写入参加成功标志位之前，第二恳求是能够经过“条件判别“，依然能够进入发货环节，这样的话，就或许会让A用户取得2个礼包。
还有一个锁是依据多个用户的秒杀维护锁，场景是相似的，Session锁，仅仅变为多个并发用户，恳求同一个礼包，相同在判别礼包余量数意图临界时刻里，有或许发生“超发“（礼包多发了）。
问题很明显，选用锁当然就能够处理，可是，选用何种的锁机制，又是一个值得考虑的问题。由于，事务场景不同，挑选的处理计划天然不同。咱们从三个不同的思路，来评论秒杀的完结机制。
行列服务。这是相对比较简略的一种完结思路，咱们直接将秒杀的恳求放入行列中的，逐一履行行列里的恳求，就像强即将多线程变成单线程。可是，在高并发的场景下，恳求十分多，很或许一会儿将行列内存“撑爆”，然后系统又堕入到了反常状况。或许规划一个极大的内存行列，也是一种计划，可是，系统处理完一个行列内恳求的速度，一般无法和张狂涌入行列中的恳求数比较。也便是说，行列内的恳求会越堆集越多，而且排在行列后边的用户恳求，要等好久才干取得“呼应“，无法做到实时反应用户恳求。失望锁思路。失望锁具有激烈的独占和排他特性，用户恳求进来今后，需求测验去获取一个锁资源，取得锁资源的恳求可履行发货，获取失利的则测验等候下一次争夺。可是，在高并发场景下，这样的争夺恳求十分多，而且不断添加，导致这种恳求积压在服务器。绝大部分恳求一向无法争夺成功，一向在等候（相似线程里的“饿死“）。用户也相同无法取得实时呼应和反应。达观锁思路。相关于“失望锁”选用更为宽松的加锁机制，选用带版别号 （Version）更新。完结便是，这个数据一切恳求都有资历去修正（履行发货流程），但会取得一个该数据的版别号，只要版别号契合的才干更新成功（版别不相符，也便是意味着现已被某个恳求修正成功了），其他用户恳求马上回来抢购失利，用户也能取得实时反应。这样的优点，是既能够完结锁的机制，又不会导致用户恳求积压。
咱们事务锁选用的是达观锁的完结办法，由于咱们的一个发货流程一般耗时超越100ms，在高并发下，都简单发生恳求积压，导致咱们无法做到实时反应。咱们的完结，保证不论用户是否恳求秒杀成功，都能在500ms内取得实时反应。而且，咱们将这个完结广泛运用到各个秒杀和抢购活动中，从前支撑过5w/s的秒杀活动，体现十分平稳和安全。
四、事务安全系统建造
跟着事务规划的添加，AMS渠道每天发出去的发货操作也越来越多。在非节假日每天发货5000多万，在顶峰的时分，发货超越2亿。一起，这儿活动中含有许多高价值的东西，例如ipad、iphone、高价值虚拟道具，乃至还有一些活动推行运用现金礼包（财付通到账）。
如此，咱们的事务安全比一般的互联网产品的要求更高，更严厉。
1. 传统安全冲击维度和歹意用户
老练的互联网公司一般都会有自己的安全团队，一般经过数据建模的办法，建立出一个歹意用户黑名单的数据库，然后继续维护这些歹意账号和IP等信息，更新数据。然后，咱们这个服务接入到里边去。歹意作业室手持很多的账号和IP，而咱们经过这个歹意数据库，将它们阻拦掉。
可是，数据建模的算法不论怎么精密，为了避免误杀实在用户，总会存在冲击率的问题，它们一般无法阻拦下悉数歹意恳求，总会有少量的漏网之鱼。
而咱们所考虑的，便是在这个根底上，结合事务，添加新的安全维护战略。或许会有许多人会想，追加参加门槛是否能够取得进一步的维护作用呢？例如，在传统安全冲击战略的根底上，再加上事务约束，例如将活动参加条件设置为超级会员（20元一个月的付费会员），这样的话，咱们以更高的门槛来阻拦歹意恳求。
在曾经很长一段时刻里，我都以为这种办法应该是靠谱的，由于进步了参加的门槛。直到有一次，咱们捕获到一批好几万的歹意QQ号码（都是一些号码很长的废物号码），它们居然悉数都是超级会员，歹意作业室居然花费了不少钱给它们注册20块钱一个月的超级会员。从那个时分开端，我开端理解，付费会员身份约束，也是不牢靠的。
超级会员的身份带给这些歹意号码更多的便当，反而能够给它们获取更多高价值礼包的时机，将取得东西兑现成金钱，然后覆盖掉歹意作业室的“出资本钱”。
2. 事务安全支撑系统建造
AMS建造多个维度，全方面的安全支撑才干。咱们将这些安全建造，又分为四个维度：
进口安全：和用户对接的CGI进口，过滤歹意和进犯恳求，维护事务逻辑安全等。人的失误：开发和运营同学在办理端的误操作或许装备过错，人的失误不能靠人去保证，而应该建造渠道等级的权限办理和智能检测，让人不简单“失误”。运营监控：多维度建造对事务状况的监控，保证快速发现问题。审计安全：将灵敏的权限充沛收归、办理、监控，保证可控可追溯。
关于咱们：
小韶光茶社（Tech Teahouse），由Tencent SNG增值产品部技能团队创立，用于技能共享和沟通。
始发于微信大众号： 小韶光茶社
上一年今天运营文章2022:播放量暴升近5000w，民间手工竟在快手玩出了新花样(0)2022:抖音直播带货3天起号！新手小白带货怎么进步直播间人气？(0)2022:抖音直播带货最新规矩！当心直播间被限流封号(0)2022:一款调味酱畅销20万单，美食职业呈现品类添加新时机？(0)2022:抖音直播间权重怎么快速进步？3招让你直播间火起来(0)
微信扫一扫 
支付宝扫一扫 
