mediasoupでWebRTC SFUを実装する

2022.11.08 2022.11.08

mediasoupを使って、WebRTC SFUを実装する手順です。mediasoupのインストールについてはこちら。

mediasoup の機能

mediasoupの機能について簡単にまとめました。
mediasoupは次のような機能を持つNode.jsライブラリです。

CPU(1コア)は１つのworkerを持つ
workerは複数のrouterを持つことができる
同一routerに接続しているクライアント同士が双方向通信できる
このことから、router=部屋ともいえる
routerはクライアントごとに２つ(送信＆受信)のtransportを持つ
- データの送信を"produce"といい、送信側のtransportをProducerTransportという
- データの受信を"consume"といい、受信側のtransportをConsumerTransportという
双方向通信する相手ごとにconsumerが必要
映像と音声なら、consumerは２つ必要
例えば、３人で映像・音声の双方向通信を行う場合、１人あたり 2x2 = 4consumer が必要となる(全体で 4x3 = 12consumer)
- consumerはConsumerTransportに紐づく
- consumer生成時に受信したい相手のproducerを指定する
映像や音声を送信するためにproducerが必要
- 映像と音声ならproducerは２つ必要
- producerはProducerTransportに紐づく
workerは最大で500以上のconsumerを持てる(CPUに依存)
クライアントでもProducerTransport、ConsumerTransportを生成し、サーバ側と接続する
クライアントでもproducer、consumerを生成し、サーバ側と接続する

サーバ上の各機能の関係はこのようなイメージです。
送信元のproducerに他のクライアントのcomsumerを接続します。

サーバとクライアントのtransport、producer、consumerはこのようなイメージで接続します。
接続はSocketなどを使って、オプションやパラメータを受け渡す処理を自前で用意する必要があります。

Type	API	パラメータ
Worker	`mediasoup.createWorker()`
Router	`worker.createRouter()`	`mediaCodecs`
WebRtcTransport	`router.createWebRtcTransport()`	`WebRtcTransportOptions`
Producer	`transport.produce()`	種別クライアントから取得した`rtpParameters`
Consumer	`transport.consume()`	`producerId` クライアントの`MediasoupClient.Device.rtpCapabilities`

Type	API	パラメータ
(Producer)Transport	`MediasoupClient.Device.createSendTransport()`	サーバから取得した`TransportOptions`
(Consumer)Transport	`MediasoupClient.Device.createRecvTransport()`	サーバから取得した`TransportOptions`
Producer	`transport.produce()`	クライアントのvideoやaudioトラック
Consumer	`(Consumer)Transport.consume()`	サーバから取得した`rtpParameters`

以下に、端末間で通信を行うための流れを記載します。ここではサーバとのやり取りにSocket.ioを利用しています。
青字は任意の送信メッセージです。

メッセージ	内容
`getRouterRtpCapabilities`	サーバから、`MediasoupClient.Device.load()`のパラメータを取得
`createProducerTransport`	サーバ側の`ProducerTransport`を生成し、非同期の戻り値としてサーバから`TransportOptions`を取得

ProducerTransport.produce()を実行後のイベント通知と処理の流れです。

メッセージ	内容
`connectProducerTransport`	クライアントとサーバの`ProducerTransport`を接続
`produce`	オーディオまたはビデオを受信するように`ProducerTransport`に設定し、`Producer`を生成
`createConsumerTransport`	サーバ側の`ConsumerTransport`を生成し、非同期の戻り値としてサーバから`TransportOptions`を取得
`getCurrentProducers`	現在接続中のProducer(クライアント)一覧を取得
`newProducer`	新しくProducerが追加されたことを他のクライアントに通知