C#開源實現MJPEG流傳輸

作者：Dennis Gao 2013-08-21 13:34:52

開發后端

目前已經實現了UDP+RTP 方式在不同物理機之間的媒體流傳輸。當然，由于沒有基于 .NET 的媒體流壓縮實現，所以直接傳輸的裸圖Bitmap。不過要求不高，幀率低一些，機器性能強一些，看著也很流暢。

許久以前寫了篇文章《基于.NET打造IP智能網絡視頻監控系統》，記錄和介紹了自己幾年來積累和演練的一個系統。發現幾個月過去了，沒有任何進展。

能在桌面客戶端上看到視頻圖像的功能已經完成了。下面需要考慮，如何通過瀏覽器來查看視頻。

在不考慮使用 Flash、ActiveX 的條件下，貌似只能選擇 MJPEG 方式。目前還沒有研究在 HTML5 下視頻是如何處理的，以后有時間可以探索。

什么是 MJPEG？

看這里：

http://en.wikipedia.org/wiki/Motion_JPEG
http://zh.wikipedia.org/wiki/Motion_JPEG
http://baike.baidu.com/view/2098077.htm

當然，我主要關注 MJPEG over HTTP 這段。

M-JPEG over HTTP
HTTP streaming separates each image into individual HTTP replies on a specified marker. RTP streaming creates packets of a sequence of JPEG images that can be received by clients such as QuickTime or VLC.
In response to a GET request for a MJPEG file or stream, the server streams the sequence of JPEG frames over HTTP. A special mime-type content type multipart/x-mixed-replace;boundary=<boundary-name> informs the client to expect several parts (frames) as an answer delimited by <boundary-name>. This boundary name is expressly disclosed within the MIME-type declaration itself. The TCP connection is not closed as long as the client wants to receive new frames and the server wants to provide new frames. Two basic implementations of a M-JPEG streaming server are cambozola and MJPG-Streamer. The more robust ffmpeg-server also provides M-JPEG streaming support.

也就是說，建立 HTTP 連接后，服務端在 Response 消息中先發一個數據頭 Header 告訴客戶端，我后面的都是 JPEG 圖片。圖片之間使用 boundary-name 來區分，每個圖片前都有自己的數據頭來描述圖片數據長度。

MJPEG數據頭定義

/// <summary>  
    /// 流頭部  
    /// </summary>  
    public string StreamHeader  
    {  
      get 
      {  
        return "HTTP/1.1 200 OK" +  
               "\r\n" +  
               "Content-Type: multipart/x-mixed-replace; boundary=" + this.Boundary +  
               "\r\n";  
      }  
    }

/// <summary>  
    /// 圖片頭部  
    /// </summary>  
    public string PayloadHeader  
    {  
      get 
      {  
        return "\r\n" +  
               this.Boundary +  
               "\r\n" +  
               "Content-Type: image/jpeg" +  
               "\r\n" +  
               "Content-Length: " + _contentLengthString +  
               "\r\n\r\n";  
      }  
    }

這里的 Boundary 可以是任意字符串，只要你覺得唯一并能區分即可，比如我可以設置為“--dennisgao”。

#p#

服務器端實現

Http 服務器其實就是個支持 Tcp 連接的服務器。

private AsyncTcpServer _server;  
 
_server = new AsyncTcpServer(Port);  
_server.Encoding = Encoding.ASCII;

public void Start()  
    {  
      _server.Start(10);  
      _server.ClientConnected += new EventHandler<TcpClientConnectedEventArgs>(OnClientConnected);  
      _server.ClientDisconnected += new EventHandler<TcpClientDisconnectedEventArgs>(OnClientDisconnected);  
    }  
 
    public void Stop()  
    {  
      _server.Stop();  
      _server.ClientConnected -= new EventHandler<TcpClientConnectedEventArgs>(OnClientConnected);  
      _server.ClientDisconnected -= new EventHandler<TcpClientDisconnectedEventArgs>(OnClientDisconnected);  
    }  
 
    private void OnClientConnected(object sender, TcpClientConnectedEventArgs e)  
    {  
      _clients.AddOrUpdate(e.TcpClient.Client.RemoteEndPoint.ToString(), e.TcpClient, (n, o) => { return e.TcpClient; });  
    }  
 
    private void OnClientDisconnected(object sender, TcpClientDisconnectedEventArgs e)  
    {  
      TcpClient clientToBeThrowAway;  
      _clients.TryRemove(e.TcpClient.Client.RemoteEndPoint.ToString(), out clientToBeThrowAway);  
    }

這里可以參考兩篇文章中的實現。

C#異步TCP服務器完整實現
C#對TCP客戶端的狀態封裝

發送圖片數據

首先要保證，對一個HTTP連接只能發一次流頭，因為后面是接連不斷的圖片數據。當然，發點別的數據客戶端也不會解碼。

private void WriteStreamHeader()  
    {  
      if (_clients.Count > 0)  
      {  
        foreach (var item in _clients)  
        {  
          Logger.Debug(string.Format(CultureInfo.InvariantCulture,  
            "Writing stream header, {0}, {1}{2}", item.Key, Environment.NewLine, StreamHeader));  
 
          _server.SyncSend(item.Value, StreamHeader);  
 
          TcpClient clientToBeThrowAway;  
          _clients.TryRemove(item.Key, out clientToBeThrowAway);  
        }  
      }  
    }

發送圖片數據時，要保證圖片的前面是圖片頭和長度信息，數據尾部要有換行符。

private void WritePayload(byte[] payload)  
    {  
      string payloadHeader = this.PayloadHeader.Replace(_contentLengthString, payload.Length.ToString());  
      string payloadTail = "\r\n";  
 
      Logger.Debug(string.Format(CultureInfo.InvariantCulture,  
        "Writing payload header, {0}{1}", Environment.NewLine, payloadHeader));  
 
      byte[] payloadHeaderBytes = _server.Encoding.GetBytes(payloadHeader);  
      byte[] payloadTailBytes = _server.Encoding.GetBytes(payloadTail);  
      byte[] packet = new byte[payloadHeaderBytes.Length + payload.Length + payloadTail.Length];  
      Buffer.BlockCopy(payloadHeaderBytes, 0, packet, 0, payloadHeaderBytes.Length);  
      Buffer.BlockCopy(payload, 0, packet, payloadHeaderBytes.Length, payload.Length);  
      Buffer.BlockCopy(payloadTailBytes, 0, packet, payloadHeaderBytes.Length + payload.Length, payloadTailBytes.Length);  
 
      _server.SendToAll(packet);  
    }

結果演示

在可以成功發送流信息和圖片信息后，就可以在瀏覽器上查看視頻了。當然，我用的 Google Chrome 。IE10 好奇葩，它會把流當成文件不停的下載，搞不懂。

遠程訪問

局域網內的無線設備，只要瀏覽器支持 MJPEG ，均可以查看視頻。我測試了 iPad 上的 Safari 是可以的，但 Chrome 卻直接解析成亂碼。

當然，如果在路由器上配置轉發規則，就可以在外網訪問了。

#p#

完整代碼

public class MJpegStreamingServer  
  {  
    private static string _contentLengthString = "__PayloadHeaderContentLength__";  
    private AsyncTcpServer _server;  
    private ConcurrentDictionary<string, TcpClient> _clients;  
 
    public MJpegStreamingServer(int listenPort)  
      : this(listenPort, "--dennisgao")  
    {  
    }  
 
    public MJpegStreamingServer(int listenPort, string boundary)  
    {  
      Port = listenPort;  
      Boundary = boundary;  
 
      _server = new AsyncTcpServer(Port);  
      _server.Encoding = Encoding.ASCII;  
      _clients = new ConcurrentDictionary<string, TcpClient>();  
    }  
 
    /// <summary>  
    /// 監聽的端口  
    /// </summary>  
    public int Port { get; private set; }  
 
    /// <summary>  
    /// 分隔符  
    /// </summary>  
    public string Boundary { get; private set; }  
 
    /// <summary>  
    /// 流頭部  
    /// </summary>  
    public string StreamHeader  
    {  
      get 
      {  
        return "HTTP/1.1 200 OK" +  
               "\r\n" +  
               "Content-Type: multipart/x-mixed-replace; boundary=" + this.Boundary +  
               "\r\n";  
      }  
    }  
 
    /// <summary>  
    /// 圖片頭部  
    /// </summary>  
    public string PayloadHeader  
    {  
      get 
      {  
        return "\r\n" +  
               this.Boundary +  
               "\r\n" +  
               "Content-Type: image/jpeg" +  
               "\r\n" +  
               "Content-Length: " + _contentLengthString +  
               "\r\n\r\n";  
      }  
    }  
 
    public void Start()  
    {  
      _server.Start(10);  
      _server.ClientConnected += new EventHandler<TcpClientConnectedEventArgs>(OnClientConnected);  
      _server.ClientDisconnected += new EventHandler<TcpClientDisconnectedEventArgs>(OnClientDisconnected);  
    }  
 
    public void Stop()  
    {  
      _server.Stop();  
      _server.ClientConnected -= new EventHandler<TcpClientConnectedEventArgs>(OnClientConnected);  
      _server.ClientDisconnected -= new EventHandler<TcpClientDisconnectedEventArgs>(OnClientDisconnected);  
    }  
 
    private void OnClientConnected(object sender, TcpClientConnectedEventArgs e)  
    {  
      _clients.AddOrUpdate(e.TcpClient.Client.RemoteEndPoint.ToString(), e.TcpClient, (n, o) => { return e.TcpClient; });  
    }  
 
    private void OnClientDisconnected(object sender, TcpClientDisconnectedEventArgs e)  
    {  
      TcpClient clientToBeThrowAway;  
      _clients.TryRemove(e.TcpClient.Client.RemoteEndPoint.ToString(), out clientToBeThrowAway);  
    }  
 
    public void Write(Image image)  
    {  
      if (_server.IsRunning)  
      {  
        byte[] payload = BytesOf(image);  
 
        WriteStreamHeader();  
        WritePayload(payload);  
      }  
    }  
 
    private void WriteStreamHeader()  
    {  
      if (_clients.Count > 0)  
      {  
        foreach (var item in _clients)  
        {  
          Logger.Debug(string.Format(CultureInfo.InvariantCulture,  
            "Writing stream header, {0}, {1}{2}", item.Key, Environment.NewLine, StreamHeader));  
 
          _server.SyncSend(item.Value, StreamHeader);  
 
          TcpClient clientToBeThrowAway;  
          _clients.TryRemove(item.Key, out clientToBeThrowAway);  
        }  
      }  
    }  
 
    private void WritePayload(byte[] payload)  
    {  
      string payloadHeader = this.PayloadHeader.Replace(_contentLengthString, payload.Length.ToString());  
      string payloadTail = "\r\n";  
 
      Logger.Debug(string.Format(CultureInfo.InvariantCulture,  
        "Writing payload header, {0}{1}", Environment.NewLine, payloadHeader));  
 
      byte[] payloadHeaderBytes = _server.Encoding.GetBytes(payloadHeader);  
      byte[] payloadTailBytes = _server.Encoding.GetBytes(payloadTail);  
      byte[] packet = new byte[payloadHeaderBytes.Length + payload.Length + payloadTail.Length];  
      Buffer.BlockCopy(payloadHeaderBytes, 0, packet, 0, payloadHeaderBytes.Length);  
      Buffer.BlockCopy(payload, 0, packet, payloadHeaderBytes.Length, payload.Length);  
      Buffer.BlockCopy(payloadTailBytes, 0, packet, payloadHeaderBytes.Length + payload.Length, payloadTailBytes.Length);  
 
      _server.SendToAll(packet);  
    }  
 
    private byte[] BytesOf(Image image)  
    {  
      MemoryStream ms = new MemoryStream();  
      image.Save(ms, System.Drawing.Imaging.ImageFormat.Jpeg);  
 
      byte[] payload = ms.ToArray();  
 
      return payload;  
    }  
  }

原文鏈接：http://www.cnblogs.com/gaochundong/p/csharp_mjpeg_streaming.html

責任編輯：林師授來源：博客園