Android投屏Sink端实现研究

最近想实现一个功能：将手机屏幕画面通过wifi投屏到另一台Android大屏设备上进行同屏显示。
因为之前没有了解过投屏，所以首先想到的是实现两个APP，分别装到手机与Android设备上，手机APP实时录屏，将录屏视频数据通过wifi传给Android设备进行播放。此方案有一些问题：
1.每个手机都需要安装APP，不方便
2.录屏的话可能会有延后，不实时
3.完全从零开发这个功能，很复杂
因为存在问题，所以去查询是否有现成的方案。经过了解，发现很多手机都自带投屏功能，比如小米8。打开手机-设置-连接与共享-投屏，即可将手机投屏到支持相关协议的其它设备上，这里用到的是一种无线投屏技术：Miracast。

目前有三种主流投屏技术： AirPlay、DLNA、Miracast。
AirPlay 一般只适用于认证过的苹果设备，目前支持这一技术的主要是苹果自己的设备
DLNA 只是能将手机的照片和视频投送到大屏幕中
Miracast 可通过无线方式分享视频画面，也有类似于AirPlay 的镜像功能，可将手机屏幕内容直接投放到高清电视屏幕里，而且该协议除了屏幕投屏，还支持反向控制

相对而言，Miracast比较符合要求，可保证大部分Android手机能实现投屏。我们可以将手机投屏到Windows10电脑上面，提前体验一下Miracast的功能，因为Windows10本身支持Miracast。首先将手机与Win10电脑连接到同一个wifi，在电脑中打开系统自带的“连接”应用程序，然后打开手机的投屏功能，启动搜索，如果一切正常，会搜索到电脑，手机上点击连接即可开启投屏，如果电脑支持蓝牙，还可以把手机的声音通过蓝牙实时传送到电脑端，这样我们可以在电脑屏幕上同屏欣赏手机里的电影了。

下面开始步入正题，探究Miracast是如何实现投屏的。

在Miracast中，将设备分为两类，一类称为传送端(Source)，另一类称为接收端(Sink)。Source用于encode并输出TS流；Sink用于decode并显示TS流，相当于Server/Client架构中，Source是Server，用于提供服务；Sink作为Client，用于显示。
这里手机作为Source，Android设备作为Sink，我们需要在Android设备中实现Sink功能。

Wi-Fi Display架构图

从Android4.2开始，Android支持Miracast投屏协议，一般在"设置-投屏"进行操作，将手机屏幕镜像到大屏设备上，这里手机只是作为Miracast协议的Source端，而Android中的Sink端实现，Android4.2.2之后被谷歌去掉了，所以Sink端需要我们自己去实现。
Miracast也可以叫WiFiDisplay，二者的关系，采用官方说法：
WiFiDisplay(WFD)是WiFi联盟在已有技术的基础上，为了加速视/音频的传输分享而提出来的一个新概念。WiFi联盟对此成立了一个认证项目：Miracast-- 用来认证一个设备是否支持WiFiDisplay功能。
Android中提供了操作WFD的接口，但是SDK中有部分接口被隐藏，我们可以通过反射来使用相关代码。
Miracast需要依赖Wi-Fi P2P，即需要先通过wifi将两个设备进行直连，Android4.0 以上已支持Wi-Fi P2P。
Source和Sink之间通过Wi-Fi P2P建立连接的过程，包括建立一个Group Owner和一个Client，Source作为Group Owner，Sink作为Client。
Wi-Fi P2P连接成功后，Source和Sink将建立一个Miracast Session，其基于TCP连接，使用RTSP协议进行管理和控制工作。
RTSP完成协商后，就可以开始传输音视频数据，Sink会建立UDP连接，使用RTP协议，Source端的视音频数据将经由MPEG2TS编码后通过RTP协议传给Sink，Sink将解码收到的数据，并最终显示出来。
基于以上的知识，实现Androkd Sink端，需要的过程：
1.创建Wi-Fi P2P连接
2.创建RTSP通信，并处理RTSP协议
3.创建RTP/RTCP连接，接收音视频数据/数据流控制
4.播放音视频数据
以上过程，需要按顺序来处理，只有前面过程处理成功了才能进行下一步

详细过程如下(由于代码过多，只列举关键代码与过程)：

一、需要的权限
android.permission.ACCESS_NETWORK_STATE
android.permission.ACCESS_WIFI_STATE
android.permission.CHANGE_WIFI_STATE
android.permission.INTERNET

二、建立Wi-Fi P2P连接

1.WifiP2pManager初始化
Channel initialize(Context srcContext, Looper srcLooper, ChannelListener listener)
  在使用WiFi P2P功能时必须先调用这个方法，用来通过WiFi P2P框架注册我们的应用
  初始化操作来获取一个Channel对象，用于以后和WiFi P2P框架保持通信
2.开启WDF功能
由于 WifiP2pManager的部分函数与WifiP2pWfdInfo类在SDK中被隐藏，需要使用反射来调用
WifiP2pManager、android.net.wifi.p2p.WifiP2pWfdInfo
重要属性设置如下：
  wifiP2pWfdInfo.setWfdEnabled(true);
  wifiP2pWfdInfo.setDeviceType(WifiP2pWfdInfo.PRIMARY_SINK);
  wifiP2pWfdInfo.setSessionAvailable(true);
3.设置P2P设备名称
WifiP2pManager.setDeviceName(Channel,String,ActionListener)
4.启动广播接收器，监听Source的连接状态
重点监听action：WifiP2pManager.WIFI_P2P_CONNECTION_CHANGED_ACTION
5.初始化peers发现操作
  WifiP2pManager.discoverPeers(Channel c, ActionListener listener)
6.接收到连接设备信息
如果手机搜索到第3步设置P2P设备名称，并进行连接，在第4步的广播接收器会收到
action:WifiP2pManager.WIFI_P2P_CONNECTION_CHANGED_ACTION
(表示Wi-Fi对等网络的连接状态发生了改变)
7.获取P2P小组的信息
  WifiP2pManager.requestGroupInfo(Channel c, GroupInfoListener listener)
  listener回调中获取device address与port
8.获取设备的连接信息
requestConnectionInfo(Channel c, ConnectionInfoListener listener)
listener的onConnectionInfoAvailable函数被调用时，才是真正的建立了P2P连接，此时拿到准备建立Socket通道的必要信息：groupFormed、isGroupOwner(表示自己是不是服务器)、groupOwnerAddress
9.开始RTSP连接
使用Socket开启连接，需要用到groupOwnerAddress与port。只有groupFormed=true时才可进行RTSP，即创建一个客户端向组长的服务器发送请求。

实现该过程需要了解WiFi P2P规范与Android WifiP2P功能(核心类WifiP2pManager)。

注：Group Owner与Client是wifi P2P协议中的规定：
P2P架构中定义了三个组件，一个设备，两种角色。这三个组件分别是：
P2P Device：它是P2P架构中角色的实体，可把它当做一个Wi-Fi设备。
P2P Group Owner(GO)：P2P网络建立时会产生一个Group
P2P Group Client(GC)：
在组建P2P Group（即P2P Network）之前，智能终端都是一个一个的P2P Device。
当这些P2P Device设备之间完成P2P协商后，那么其中将有一个并且只能有一个Device来扮演GO的角色，而其他Device来扮演GC的角色

Wi-Fi P2P连接示意图

注意：“选择一个peer进行连接”是可选项，可以由Server端主动发起连接，此时Client通过WifiP2pManager.requestConnectionInfo(Channel c, ConnectionInfoListener listener)中listener获取WifiP2pInfo
APP需要拥有系统权限，否则wifiP2pWfdInfo.setWfdEnabled(true)将失败，提示：
java.lang.SecurityException: Wifi Display Permission denied for uid = xxxx

三、RTSP通信
RTSP的主要作用是视频控制，P2P连接成功之后可以获取到Source端传递过来的建立RTSP连接的IP地址和端口，Sink端根据这些信息主动去连接，来完成RTSP能力协商与会话建立。
RTSP协议总共有M1~M16共16个信令，我们常用到其中的7个，即M1~M7，并包括以下几个主要方法：OPTIONS、GET_PARAMETER、SET_PARAMETER、 SETUP、PLAY、TEARDOWN等
M1~M2为固定的前置交互
M3~M4为参数确认握手，包括最核心的音视频编码传输格式（wfd_video_formats,wfd_audio_codecs），音频传输协议(UDP/TCP)，以及接收端用于接收的网络端口(wfd_client_rtp_ports)，RTCP控制消息接收端口（可选，一般为接收端口+1）
M5~M6为最终的确认阶段：发送端会发送setup命令（携带自身的数据发送端口，以及RTCP控制消息传输端口），此时接收端就可以进入下一个阶段——RTP连接
M7开始发送数据

M1-M7消息简述

WFD能力协商

WFD会话建立

1.Sink收到Source的M1信号时，就通过UDP开启RTP SOCKET，开启RTP接收，并记录下port
2.Sink发送M6信号时，需要将第一步的port发给Source，后续Source通过此 port发送RTP数据
3.Sink收到Source的M6信号响应成功时，发送PLAY命令，开始播放
4.PLAY后Sink保持接收Source不带body的GET_PARAMETER信息用于keep alive

代码层面：
Socket socket =new Socket();
SocketAddress socketAddress =new InetSocketAddress(rtspHost,rtspPort);
try {
socket.connect(socketAddress,5000);
OutputStream outputStream =socket.getOutputStream();
InputStream inputStream =socket.getInputStream();
BufferedReader bufferedReader =new BufferedReader(new InputStreamReader(inputStream,"UTF-8"));
}catch (IOException e) {
return -1;
}

Sink接收来自Source的RTSP数据，Souce端发送过来的数据，需要通过RTSP协议来解析数据
bufferedReader.readLine(); //Read start line
bufferedReader.readLine();//Read headers
bufferedReader.read(char cbuf[],int off,int len); //read body into char[]

Sink发送RTSP数据到Source
outputStream.write(byte b[]);

以上只是最基本的接收与发送数据的方法，具体的流程与数据内容暂略，需要遵循Miracast RTSP协议
可以参考:WFD连接过程代码分析（Sink端）方法类似，只是本文为Java实现版本

四、RTP连接
RTSP完成协商后开始传输音频及视频流，主要使用UDP传送RTP数据包，即TS包及PES包。
RTP会与RTCP协议一起使用，在通信过程中，音视频的数据是通过RTP包进行传输，RTCP主要用来做数据流控制，如发送/接收端的Report，还有丢包的统计与重传等等，一般RTCP用的不多。
1.创建RTP Server
使用DatagramSocket创建两个UDP Server ，分别接收Source传来的RTP协议包与RTCP协议包
2.接收数据
DatagramSocket.receive(DatagramPacket p)函数接收Source传过来的RTP音视频数据
3.播放音视频数据
启动一个播放器，播放Source传过来的音视频流

代码层面：
DatagramSocket socket = new DatagramSocket(0);
socket.setReceiveBufferSize(1024*1024);
int port =mSocket.getLocalPort(); //Source通过此port发送RTP数据

DatagramPacket packet =new DatagramPacket(new byte[10 *1024],10 *1024);
while (null !=socket && !socket.isClosed()) {
socket.receive(packet);
byte[] rtpData= packet.getData();
........//数据解析并发送给播放器进行播放
}

五、播放
因为收到的是音视频流，为了方便，可以使用Android自带播放器MediaPlayer的void setDataSource(MediaDataSource dataSource) 来设置数据源进行播放(Android6.0中增加的一个函数)，但是目前我手上的Android设备是android4.4.2版本，所以可以采用第三方播放器，比如IjkPlayer，使用IMediaDataSource来设置数据源。
MediaDataSource是一个抽象类，需要实现方法：
public abstract int readAt (long position,byte[] buffer, int offset,int size)
不断将Source发送过来的音视频数据写到buffer中