多人线上K歌房的实现难点解析

在今年Facebook F8大会上,Facebook宣布了将在Instagram Direct上开放一对一与群组视频聊天功能,这种新功能可以帮助用户使用实时视频聊天来相互连接,即使是他们没能相聚在一起。毫无疑问,社交领域的一线平台开始越来越重视实时音视频技术在社交领域的应用。

不过,在Instagram正准备增加视频社交功能之前,我们国内的某款已上市社交应用,已经基于实时音视频基础能力,开始拓展新的玩法了。而且,据说上线后,立刻成为用户们正向体验的功能,用户活跃与留存双破新高。这个新功能就是“一起KTV”。

热门新功能如何玩?

在社交领域,有人是靠颜值上位,有人则是以声线取胜,“一起KTV”正是为后者准备的。具体场景及功能如下:

  • 房主建立房间后,开启KTV功能,上麦;

  • 房主在线点歌,歌曲与KTV歌房中常见MV一样,包括画面、字幕伴奏;

  • 观众可以申请上麦,进行点歌、演唱;

  • 上麦的观众在演唱时可自主调节伴奏与人声音量;

  • 房主可控制歌曲暂停、切歌。

我们可以通过下面这个视频,先来感受一下什么是一起KTV。

与直播秀场有什么差别?

你可能想问:听上去就是直播秀场,这有什么差别么?其实,两者之间在功能和体验都存在差别。

在功能方面如表格所示,秀场直播主播演唱时,观众可以文字参与评论、互动,也可以上麦。但观众上麦后只能聊天,不能上台演唱。而一起KTV的伴奏曲库存放于线上,任何观众都可以在线点歌、演唱。

从体验角度讲,秀场直播只是主播的个人秀。秀场相当于是主播的“独乐乐”。而一起KTV更接近线下KTV体验。每个人都可以点歌,都有机会演唱,是一种互动体验的升级。

实现一起KTV需要迈过的门槛

一起KTV与我们曾分享过的“赛事直播”场景很像,都是基于实时音视频技术的基本能力拓展而来的。从表面来看,一起KTV功能很简单,但其中存在一些难点:

歌曲控制同步

“一起KTV”强调的是要“一起”唱,主播可以邀请多个听众上麦,你方唱罢,我登场,每个人都有机会站在聚光灯下。

在这个过程中,“话筒”会按顺序传递给不同连麦观众,主播仍然可以控制歌曲的播放,如切歌、暂停等操作。但如果采用RTMP传输,网络延时较高。那么网络情况较好情况下,当主播暂停歌曲或切歌后,可能连麦演唱的观众在3~4秒后才会发现,或者歌曲已经开始,下一个演唱者还没能开唱。如果网络情况差,延迟可能会超过10秒。

高音质、高画质

每个站上台演唱的人都想展现自己真正的技术。如果无法以高质量音质传输,无疑会影响用户体验。同时,该场景下的MV画面相当于连麦中的视频画面,卡顿、模糊等问题同样存在。开发者如果希望通过自研实现,需要基于UDP协议进行传输,并在边缘节点的部署、主干网络拥塞、弱网传输等方面做出优化策略。

与此同时,如我们在《实时音视频中的低延时》中所说,高音质、高画质与低延时是处于天秤两端的变量,开发者除了要对网络传输进行优化,还需要尽可能优化编解码算法,降低音视频在端上的延时。

声网如何实现?

声网已经推出 一起KTV场景解决方案,开发者可以点击这里查看详细开发文档。我们的 一起KTV场景解决方案实现逻辑如上图所示:

  • 房主开启“一起KTV”功能后成为演唱者;

  • 房主端从第三方在线曲库读取MV歌曲数据;

  • 观众上麦申请被房主通过后,可在线点歌,并开始排麦;

  • 通过声网SDK,房主的歌声与MV伴奏在本地经过混音、编码,基于私有UDP协议传输至Agora SD-RTN™;

  • Agora SD-RTN™通过私有UDP协议将房主K歌歌声与MV画面传输给观众;

  • 轮到播放上麦观众所点的歌时,观众成为演唱者,除了没有歌曲控制权限外,歌曲演唱、混音、编码、传输流程与房主一致。

声网Agora 一起KTV场景解决方案可以为开发者的优势包括:

高质量的音视频体验

在音频方面,声网SDK提供了自研的音视频编解码技术,支持192kbps 44.1KHz采样的高音质音频,如线下KTV一样,真实展现演唱者的歌声。在视频方面,声网SDK支持720p、1080p高清画质传输,保证MV画面在客户端上的清晰度。

低延时的音画同步

在声网Agora SD-RTN™实时通讯网络的支持下,音视频数据通过私有UDP协议以较低延时传输,实现房主、观众、连麦者之间的音视频同步。同时,SD-RTN™的软件定义优化路由选择最优路径,自动避免网络拥塞,并规避骨干网络故障的影响。

目前,SD-RTN™在全球部署近200个网络节点,并支持超过200个国家及地区,可以协助各类应用出海,参与全球市场竞争。

支持人声控制、伴奏控制

除了通过声网的实时通讯网络实现基础的KTV功能,基于声网的信令系统,一起KTV场景解决方案还可以提供包括音量调节、切歌、演唱者切换等主播控制功能。

更多开放性接口

基本的演唱功能已经不能满足产品经理的需求,怎么办?声网SDK提供了多个开放接口,开发者可通过他们与第三方或自研库结合,实现更多变的混响音效或其它特性。

目前,声网一起KTV场景解决方案已经上线,欢迎进入声网开发者社区浏览详细开发文档。


声网Agora有奖征文活动 正在进行中,只要分享你与声网SDK相关的开发经验博文,即有机会获得Cherry红轴机械键盘、T恤等声网定制奖品。详情请戳这里

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 160,108评论 4 364
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,699评论 1 296
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 109,812评论 0 244
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 44,236评论 0 213
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,583评论 3 288
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,739评论 1 222
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,957评论 2 315
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,704评论 0 204
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,447评论 1 246
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,643评论 2 249
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,133评论 1 261
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,486评论 3 256
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,151评论 3 238
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,108评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,889评论 0 197
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,782评论 2 277
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,681评论 2 272