快手作为全球领先的直播平台，在业务形态不断拓展的过程中，也经历了直播架构的不断演进，从全面采用第三方方案到现在的自建源站，自研链接麦解决方案，自建超高密转码集群，构建了一套高稳定性的直播架构体系，全程把控端到端体验，并不断打磨各个技术维度到用户体验。本文来自郭亮9号北京站的精彩分享。

文/郭亮

整齐的 /

大家好，我叫郭亮，目前负责快手的直播架构和算法团队。很高兴今天有机会和大家分享《快手直播平台架构的演进》。首先简单介绍一下快手直播平台的现状；然后，我将详细介绍快手直播平台在过去一两年的成果和架构的演进，以及用户体验、QoS、QoE、成本等；最后，针对5G+AI下音视频技术的发展趋势，与大家共同探讨。

一、 快手直播平台现状

快手拥有超过2亿的DAU，超过1亿的直播DAU，每天超过1500万的短视频上传。作为全球领先的直播平台，它拥有最多的活跃用户、每日直播间和同时在线观众。面对如此庞大的用户规模，如何打造一流的直播平台，实现一流的直播体验，是我们团队一直在深挖的话题。

在快手，无论是直播间数还是观众数都非常高。这是由于快手一直坚持的普惠原则，在分发策略上对中小主播的重视，以及用户间信任关系的长期积累，活跃主播的数量在平台上远超其他平台；其次，快手@快手的业务场景多种多样。多元化业务，包括连麦、PK、聊天室、KTV、游戏直播等，覆盖当前音视频技术的各种主流子场景。此外，快手覆盖的用户群非常广泛，用户分布在乡镇，网络环境复杂多样，这对直播的清晰度和流畅度提出了很大的挑战。为了应对多样化的业务场景和复杂的网络环境，保障直播的用户体验，快手在直播系统上进行了大规模的投入和优化，并在架构上不断迭代，自主开发的协议和算法。.

目前业界常见的直播架构是这样的：各个CDN厂商基于标准的RTMP协议提供流、录制、分发等服务。同时，一些第三方RTC服务商也会提供连麦和PK方案。从集成的角度来看，快手理论上只要将业务集成到第三方标准服务中，同时完成UI和业务层的开发，就可以搭建一个完整的系统。我们一开始也采用了类似的方法。满足企业的基本需求。但是随着系统规模的扩大，我们对用户体验的要求也越来越高。该解决方案将具有典型的桶效应。主要痛点是：

●故障不能独立调度：采用CDN分发，预先设置了锚点推送到某个CDN。当本地 CDN 的可用性或质量下降时，无法通过自主调度无缝切换到其他 CDN，从而导致该区域内的用户无法观看主机的直播，这将极大地影响服务的可用性。

●转码质量无法统一一、扩展难、成本高：业界有多种转码方案，质量和成本参差不齐。为了保证用户体验，一个可能的做法是要求各公司统一快手的结构和质量，这无疑存在工程量大、需求响应周期长的问题。很多CDN厂商提供的转码都是用软件实现的，成本非常高，不能灵活扩展。经过详细研究和深思熟虑，在快手的业务和体量下，自建源站+转码集群是最优方案。

●流媒体质量差，难以优化：现有的RTMP流媒体框架基于TCP，在弱网络传输方面存在诸多先天弱点。一旦主播被卡住，所有的观众都会被卡住，所以我们首先要保证主播流媒体的稳定性。此外，直播和连麦也需要网络层面的统一传输策略。否则，两者的竞争将直接影响直播和连麦的质量，自相残杀。因此，采用统一的上游推送协议势在必行。和上面的转码方式一样，依靠第三方统一上行优化基本上是不可行的。快手拥有比较强大的音视频传输算法团队，

●扩展性差：采用第三方解决方案面临无法快速迁移和扩展的问题。快手在高速发展时期，业务需求迭代频繁，业务类型快速增长。高扩展性是快速业务迭代的基础。

基于以上考虑，快手迫切需要开发更适合快手业务和技术形态的直播源站架构和私有传输协议，结合自研算法的实现，为用户提供优质的直播体验。

下面通过快手直播技术平台发展的三个阶段，详细介绍快手直播平台的演进过程。

二、 快手直播平台技术演进1. 快手直播平台1.0

快手直播平台的1.0重点解决了两个不足。缺点之一是快手不能使用自研的推流协议。对此，快手自建了源站，使用自己的私有协议KTP推流。基于自建源站，快手具备CDN调度能力，对容灾和风险的控制会非常强，解决了第二个短板。

A.始发站稳定性设计

快手对稳定性的要求很高，自建源站必须具备高可靠、高并发、易迁移等特点。高可靠性主要体现在必须有一定的冗余度，可以自动无痛降级到CDN，保证专线故障、流量突增等各种异常情况下在线服务的稳定性。单个 CDN 质量下降；高并发主要体现在对单源站扩展的支持上。一个源站可以快速稳定地扩容到两倍以上。还支持横向扩展，可以支持快速新建源站快手直播，同时具备机房支持和分发能力。高并发扩展可以很好的支持各种突发流量；易迁移体现在快手是首个兼容多种公有云基础设施平台的自建源站，可以很好的规避各种风险，包括稳定性和质量风险、业务风险等，可以同时兼容多个公有云平台的基础设施。

B.基于KTP的推流

KTP协议是快手开发的传输协议，支持直播、RTC实时音视频通信、短视频上传等业务。去年，快手的周超博士分享了关于【快手多媒体传输算法优化实践】的详细讨论。KTP是快手自研的基于UDP的传输协议，用于优化快手直播、PK/连麦等服务的体验。该协议主要包括网络控制部分和源信号联合优化部分，包括拥塞控制、与视频清晰度和流畅度相关的联合优化。对这个协议感兴趣的同学可以参考上面链接的介绍。通过将PK与各种公共协议进行比较，

C.CDN智能调度

自建源站赋予快手CDN调度能力，即每个CDN都需要来自快手自建源站进行回源拉取。快手源站通过控制每个CDN的流量比例，达到质量和成本的最佳折衷。但是，快手 体积巨大，需要同时使用多个 CDN。每个CDN的质量和价格参差不齐，经常会出现一些不可预知的突发事件。因此，通过人工调度，显然是不能接受的。快手通过自主研发的智能CDN调度系统，准确捕捉CDN与用户的动态变化，让CDN资源得到更合理的利用，故障的查看时间大大减少，

2、 快手直播平台2.0

快手直播架构1.0、一方面采用自研协议KTP提高质量；另一方面，通过CDN的智能调度算法，在一定程度上保证了稳定性。快手2.0的直播平台主要解决连接麦克风的问题。由于业务不断提出各种需求，对体验有很高的要求，如果采用第三方解决方案，产品迭代速度会受到很大影响。在快手直播平台2.0阶段，快手专注于自研RTC解决方案。在RTC场景下，快手希望做到端到端时延小于400毫秒，丢包性好，无感知特性，

A. 音频优化

音频处理方面快手除了自带的3A算法外，还做了回声消除和去噪，以达到高音质。另一方面，快手也有KTV的功能。类似于全民卡拉OK点歌和唱吧的混响效果，完全满足。同时，部分效果器针对不同的卡拉OK组进行了专业的音效调整。

在音频算法方面，快手设计了自适应码率算法，对不同网络下主包和冗余包的比例、切换时机等进行了微调。在控制层面，它支持音乐场景和Dual模式，通话场景两种模式无缝切换。

B、基于KTP的连麦

快手的连麦也是基于KTP协议的。与直播一样，KTP 也进行了网络控制和源频道的联合优化。不过，相比直播，连麦对时延的要求更为严格。KTP针对连麦等RTC场景进行了深度优化，包括网络状态感知流量控制算法（NATC）和编码质量感知码率。自适应算法（QARC），支持动态码率、帧率、FEC/ARQ等，还支持多人多链路联合优化、ICE、LTRP等技术。与国内一线RTC竞品相比，基于KTP的方案在连麦整体质量（清晰度、延迟、流畅度）和网络响应速度等方面优势明显。

另一个需要考虑的问题是直播和连麦之间的平衡，这取决于方案的选择。一种PK连麦采用第三方方案，倾向于在服务端混流，另一种采用主机端混流方案。.

在服务器端混流的问题之一是成本比较高，扩展性差。另一个是在快手的业务场景中，切换直播和麦克风的时候体验不好。在主机端，客户端需要推送一个延迟较大的直播流，同时推送一个低延迟的实时麦克风流。这时候，直播和连麦两股流，自然形成了较量。如何平衡两者的关系，也直接影响到直播和连麦的质量。在KTP中，实时动态交换直播和连麦流的网络状态信息和流控状态信息，共同做出最优决策。

到目前为止，快手基本上所有解决方案都是自研的，包括快手源站、KTP、直播/连麦等快手直播平台2.0 完成。

3、 快手直播平台3.0

接下来介绍快手直播平台3.0，该版本重点介绍快手的直播伴侣、转码集群和游戏多码率适配。

我想和大家分享一下快手上的游戏分类数据。目前快手游戏直播日活3500万（2019年10月快手游戏直播日活增至4000万）快手直播，每月播出。游戏主播数量超过200万。用户对游戏直播的刚性需求使其成为日益重要的场景，我们团队需要对这个场景进行深度优化。

A. 现场伴侣

首先要介绍的是快手的直播伴侣。Live 支持多终端（PC、iOS、），以及多种投屏模式，支持超清、高清、标清多速流。这些类似于虎牙、斗鱼等职业游戏直播。

此外，快手还拥有丰富的主播工具，如语音播报、主题挂件、问答、榜单等，让快手Live 拥有非常丰富的产品形态。

B. 超高密直播转码集群

为了保证清晰度，游戏场景的原始码率一般都比较高，分辨率要求为1080p@60fps。但是，如果让每个观众都看蓝光或超高清流，很多用户会因为网络带宽不足而出现卡顿，或者手机性能不足导致解码和渲染卡顿。此外，带宽成本将非常高。同时，随着算法的演进，在转码过程中应用窄带高清算法可以达到降低码率、提高质量的效果。而且由于云厂商普遍采用软件转码方案，成本非常高。在快手这样一个体量的前提下，

在转码方案的选择上，我们做了大量的研究和实验，并与业界的最佳实践做了很多详细的对比（感谢沉月石博士的经验分享）。如下图所示，可以看出每种方案都有自己的优缺点。

一般来说，软件解决方案质量最好，成本也很高；ASIC或FPGA方案的转码质量目前无法满足我们的要求；基于GPU的方案，虽然画质比软件稍差，但密度高，画质低。成本优势和成熟的产品解决方案。

经过多次权衡，快手最终选择了GPU方案。这时，我们面临着两种GPU解决方案的选择：VS。英特尔。当时，英特尔的 P4 和英特尔的至强 E3 是两个可选的解决方案。经过几轮优化，两者的转码质量相差不大。但是，由于我们的源站是建在云端的，所以云厂商有大量的P4卡储备用于AI计算。由于 E3 主要用于云端的媒体处理，因此 AI 应用并不广泛。虽然其成本相对较低，但云厂商并没有储备。所以我们的P4方案使用的是云厂商提供的设备，但是E3方案需要部署在自建IDC，需要我们IDC到云厂商的大容量专线。专线的稳定性和容量都是重要的因素。要考虑的因素。经过仔细评估，快手综合考虑质量、成本和稳定性，决定采用E3+P4的混合方案。

当然，这些解决方案不能直接使用。结合快手的业务特点，我们联合英特尔做了很多针对性的优化。下图是我们上线后的一个简单情况：转码峰值2万多路；成本仅为软件成本的四分之一；画质媲美X264；完善的 () 机制。比如在硬件出现问题的情况下，无论是单卡故障，机房故障，还是专线故障，都可以几乎无缝降级，确保用户在线体验不受影响。

目前快手也在研究下一代硬件转码方案，下一代产品还在研发中。T4 HEVC的转码质量不错，但是密度不够高，成本也达不到我们现在的水平。要求。FPGA和ASIC解决方案的编码质量需要进一步优化。我们还将继续关注硬件转码解决方案领域，包括结合AI和图像处理能力，支持下一代编码标准，为下一代快手直播转码系统提供最优解决方案。 .

C. 多速率适配

通过多路转码码流，我们可以在终端上使用多码率自适应技术，根据用户终端设备、网络状况等动态选择最佳码率档位，获得最佳码率。

不同于点播场景，直播的多码率面临诸多新挑战。例如，实时生成实时流。在带宽估计方面，会面临网络空闲导致数据不足导致估计不准确的问题；为了保证直播的实时性，客户端的缓存一般比较小，所以网络的抗抖动能力不如点播场景；另外，快手的直播是基于KTP的，支持直播的动态码率和帧率适配，而这些信息在客户端是不可见的。当客户端卡住时，很难判断是卡住还是流媒体带宽不足造成的。此外，传统的直播多码率适配基于HTTP分片分发方案（如DASH/HLS），主要问题是延迟大、国内CDN支持差、扩展性差。

为了应对这些新问题，不同于DASH和HLS，快手提出了一种基于流协议的多速率自适应架构，大大降低了端到端的延迟。此外，为了实现网络感知，我们的传输算法团队还设计了多状态多目标码率自适应策略，为不同的用户提供不同的分辨率、延迟和流畅度。适应策略。我们将在深圳站更详细地介绍该协议的开发和上线过程。欢迎有兴趣的同学关注。

以上就是快手直播平台至今的演进。

我们团队目前正在对传输算法、音频算法、实时音视频通信、下一代转码平台进行深度优化。比如在传输算法方向，我们团队今年与清华大学合作发表了三篇CCF-A高质量学术论文，其中两篇与清华大学传媒学院合作的ACM MM（上）共同探索基于质量感知的自适应问题和直播调度；以及与清华网络合作的期刊TON（IEEE/ACM on），基于控制论理论和排队论，研究了多码率自适应问题，优化了流畅清晰的观看。另外，对于快手孵化的新业务，比如小游戏，

三、 快手直播平台的未来发展

最后，简单说一下5G+AI下直播技术的发展趋势，来聊一聊。5G网络下，带宽越来越高，时延越来越低；在硬件基础设施上，机器的计算能力越来越强，基于AI的各种算法也越来越强，可以在线支持更复杂的算法。所以基础体验会有很大的提升，你会在快手上看到更清晰流畅的直播。一方面，这源于编解码技术的不断演进，比如H264到H265，再到现在的H266，正处于标准制定阶段；另一方面，结合AI技术、视频处理、编解码器提高了视频的主观质量。最后是网络条件的改善，包括基础设施的完善和5G时代的到来。同时，更先进的算法和协议的实现将提升直播的体验。

除了现有的传统直播方式，5G+AI将为直播带来更多想象空间。比如快手最近上线的一个功能：头像3D直播。在之前的直播或者一些电影拍摄中，都是通过可穿戴设备来模拟人的动作，并加入配音演员来达到类似的效果。现在快手已经通过技术摆脱了对设备的依赖。通过普通摄像头或PC电脑摄像头，可以识别人脸、表情和肢体，做出更拟人化的动作。不愿意露脸的维度和主播，体验提升比较大。

同时，我们也在研发自己的语音转换技术，摆脱对声优的依赖，让快手任何人的声音都可以转换成目标的声音。我们也希望这些技术能够尽快成熟，提升整个虚拟直播的体验。

5G时代，无处不在的无线网络让人们可以随时随地看电视。快手这方面的探索也在进行中。今年“十一”大阅兵，快手以特殊视角进行了7个频道70小时的直播，总观众人数突破10亿。我们让更多的用户通过小屏幕体验国内正在发生的事情，就像我们最新的口号“在快手，看真实的中国”。

以上就是我演讲的全部内容。希望与大家一起探讨5G+AI技术浪潮下直播架构的后续演进。