JavaCV的攝影機實戰之七：推流(帶聲音)
歡迎訪問我的GitHub
這裡分類和匯總了欣宸的全部原創(含配套源碼)：//github.com/zq2599/blog_demos
本篇概覽
- 本文是《JavaCV的攝影機實戰》的第七篇，在《JavaCV的攝影機實戰之五：推流》一文中，咱們將攝影機的內容推送到媒體伺服器，再用VLC成功播放，相信聰明的您一定覺察到了一縷瑕疵：沒有聲音
- 雖然《JavaCV的攝影機實戰》系列的主題是攝影機處理，但顯然音影片健全才是最常見的情況，因此就在本篇補全前文的不足吧：編碼實現攝影機和麥克風的推流，並驗證可以成功遠程播放音影片
關於音頻的採集和錄製
- 本篇的程式碼是在《JavaCV的攝影機實戰之五：推流》源碼的基礎上增加音頻處理部分
- 編碼前，咱們先來分析一下，增加音頻處理後具體的程式碼邏輯會有哪些變化
- 只保存影片的操作，與保存音頻相比，步驟的區別如下圖所示，深色塊就是新增的操作：
- 相對的，在應用結束時，釋放所有資源的時候，音影片的操作也比只有影片時要多一些，如下圖所示，深色就是釋放音頻相關資源的操作：
- 為了讓程式碼簡潔一些，我將音頻相關的處理都放在名為AudioService的類中，也就是說上面兩幅圖的深色部分的程式碼都在AudioService.java中，主程式使用此類來完成音頻處理
- 接下來開始編碼
開發音頻處理類AudioService
- 首先是剛才提到的AudioService.java，主要內容就是前面圖中深色塊的功能，有幾處要注意的地方稍後會提到：
package com.bolingcavalry.grabpush.extend;
import lombok.extern.slf4j.Slf4j;
import org.bytedeco.ffmpeg.global.avcodec;
import org.bytedeco.javacv.FFmpegFrameRecorder;
import org.bytedeco.javacv.FrameRecorder;
import javax.sound.sampled.AudioFormat;
import javax.sound.sampled.AudioSystem;
import javax.sound.sampled.DataLine;
import javax.sound.sampled.TargetDataLine;
import java.nio.ByteBuffer;
import java.nio.ByteOrder;
import java.nio.ShortBuffer;
import java.util.concurrent.ScheduledThreadPoolExecutor;
import java.util.concurrent.TimeUnit;
/**
* @author willzhao
* @version 1.0
* @description 音頻相關的服務
* @date 2021/12/3 8:09
*/
@Slf4j
public class AudioService {
// 取樣率
private final static int SAMPLE_RATE = 44100;
// 音頻通道數，2表示立體聲
private final static int CHANNEL_NUM = 2;
// 幀錄製器
private FFmpegFrameRecorder recorder;
// 定時器
private ScheduledThreadPoolExecutor sampleTask;
// 目標數據線，音頻數據從這裡獲取
private TargetDataLine line;
// 該數組用於保存從數據線中取得的音頻數據
byte[] audioBytes;
// 定時任務的執行緒中會讀此變數，而改變此變數的值是在主執行緒中，因此要用volatile保持可見性
private volatile boolean isFinish = false;
/**
* 幀錄製器的音頻參數設置
* @param recorder
* @throws Exception
*/
public void setRecorderParams(FrameRecorder recorder) throws Exception {
this.recorder = (FFmpegFrameRecorder)recorder;
// 碼率恆定
recorder.setAudioOption("crf", "0");
// 最高音質
recorder.setAudioQuality(0);
// 192 Kbps
recorder.setAudioBitrate(192000);
// 取樣率
recorder.setSampleRate(SAMPLE_RATE);
// 立體聲
recorder.setAudioChannels(2);
// 編碼器
recorder.setAudioCodec(avcodec.AV_CODEC_ID_AAC);
}
/**
* 音頻取樣對象的初始化
* @throws Exception
*/
public void initSampleService() throws Exception {
// 音頻格式的參數
AudioFormat audioFormat = new AudioFormat(SAMPLE_RATE, 16, CHANNEL_NUM, true, false);
// 獲取數據線所需的參數
DataLine.Info dataLineInfo = new DataLine.Info(TargetDataLine.class, audioFormat);
// 從音頻捕獲設備取得其數據的數據線，之後的音頻數據就從該數據線中獲取
line = (TargetDataLine)AudioSystem.getLine(dataLineInfo);
line.open(audioFormat);
// 數據線與音頻數據的IO建立聯繫
line.start();
// 每次取得的原始數據大小
final int audioBufferSize = SAMPLE_RATE * CHANNEL_NUM;
// 初始化數組，用於暫存原始音頻取樣數據
audioBytes = new byte[audioBufferSize];
// 創建一個定時任務，任務的內容是定時做音頻取樣，再把取樣數據交給幀錄製器處理
sampleTask = new ScheduledThreadPoolExecutor(1);
}
/**
* 程式結束前，釋放音頻相關的資源
*/
public void releaseOutputResource() {
// 結束的標誌，避免取樣的程式碼在whlie循環中不退出
isFinish = true;
// 結束定時任務
sampleTask.shutdown();
// 停止數據線
line.stop();
// 關閉數據線
line.close();
}
/**
* 啟動定時任務，每秒執行一次，採集音頻數據給幀錄製器
* @param frameRate
*/
public void startSample(double frameRate) {
// 啟動定時任務，每秒執行一次，採集音頻數據給幀錄製器
sampleTask.scheduleAtFixedRate((Runnable) new Runnable() {
@Override
public void run() {
try
{
int nBytesRead = 0;
while (nBytesRead == 0 && !isFinish) {
// 音頻數據是從數據線中取得的
nBytesRead = line.read(audioBytes, 0, line.available());
}
// 如果nBytesRead<1，表示isFinish標誌被設置true，此時該結束了
if (nBytesRead<1) {
return;
}
// 取樣數據是16比特，也就是2位元組，對應的數據類型就是short，
// 所以準備一個short數組來接受原始的byte數組數據
// short是2位元組，所以數組長度就是byte數組長度的二分之一
int nSamplesRead = nBytesRead / 2;
short[] samples = new short[nSamplesRead];
// 兩個byte放入一個short中的時候，誰在前誰在後？這裡用LITTLE_ENDIAN指定拜訪順序，
ByteBuffer.wrap(audioBytes).order(ByteOrder.LITTLE_ENDIAN).asShortBuffer().get(samples);
// 將short數組轉為ShortBuffer對象，因為幀錄製器的入參需要該類型
ShortBuffer sBuff = ShortBuffer.wrap(samples, 0, nSamplesRead);
// 音頻幀交給幀錄製器輸出
recorder.recordSamples(SAMPLE_RATE, CHANNEL_NUM, sBuff);
}
catch (FrameRecorder.Exception e) {
e.printStackTrace();
}
}
}, 0, 1000 / (long)frameRate, TimeUnit.MILLISECONDS);
}
}
- 上述程式碼中，有兩處要注意：
- 重點關注recorder.recordSamples，該方法將音頻存入了mp4文件
- 定時任務是在一個新執行緒中執行的，因此當主執行緒結束錄製後，需要中斷定時任務中的while循環，因此新增了volatile類型的變數isFinish，幫助定時任務中的程式碼判斷是否立即結束while循環
改造原本推流時只推影片的程式碼
- 接著是對《JavaCV的攝影機實戰之五：推流》一文中RecordCamera.java的改造，為了不影響之前章節在github上的程式碼，這裡我新增了一個類RecordCameraWithAudio.java，內容與RecordCamera.java一模一樣，接下來咱們來改造這個RecordCameraWithAudio類
- 先增加AudioService類型的成員變數：
// 音頻服務類
private AudioService audioService = new AudioService();
- 接下來是關鍵，initOutput方法負責幀錄製器的初始化，現在要加上音頻相關的初始化操作，並且還要啟動定時任務去採集和處理音頻，如下所示，AudioService的三個方法都在此調用了，注意定時任務的啟動要放在幀錄製器初始化之後：
@Override
protected void initOutput() throws Exception {
// 實例化FFmpegFrameRecorder，將SRS的推送地址傳入
recorder = FrameRecorder.createDefault(RECORD_ADDRESS, getCameraImageWidth(), getCameraImageHeight());
// 降低啟動時的延時，參考
// //trac.ffmpeg.org/wiki/StreamingGuide)
recorder.setVideoOption("tune", "zerolatency");
// 在影片品質和編碼速度之間選擇適合自己的方案，包括這些選項：
// ultrafast,superfast, veryfast, faster, fast, medium, slow, slower, veryslow
// ultrafast offers us the least amount of compression (lower encoder
// CPU) at the cost of a larger stream size
// at the other end, veryslow provides the best compression (high
// encoder CPU) while lowering the stream size
// (see: //trac.ffmpeg.org/wiki/Encode/H.264)
// ultrafast對CPU消耗最低
recorder.setVideoOption("preset", "ultrafast");
// Constant Rate Factor (see: //trac.ffmpeg.org/wiki/Encode/H.264)
recorder.setVideoOption("crf", "28");
// 2000 kb/s, reasonable "sane" area for 720
recorder.setVideoBitrate(2000000);
// 設置編碼格式
recorder.setVideoCodec(avcodec.AV_CODEC_ID_H264);
// 設置封裝格式
recorder.setFormat("flv");
// FPS (frames per second)
// 一秒內的幀數
recorder.setFrameRate(getFrameRate());
// Key frame interval, in our case every 2 seconds -> 30 (fps) * 2 = 60
// 關鍵幀間隔
recorder.setGopSize((int)getFrameRate()*2);
// 設置幀錄製器的音頻相關參數
audioService.setRecorderParams(recorder);
// 音頻取樣相關的初始化操作
audioService.initSampleService();
// 幀錄製器開始初始化
recorder.start();
// 啟動定時任務，採集音頻幀給幀錄製器
audioService.startSample(getFrameRate());
}
- output方法保存原樣，只處理影片幀（音頻處理在定時任務中）
@Override
protected void output(Frame frame) throws Exception {
if (0L==startRecordTime) {
startRecordTime = System.currentTimeMillis();
}
// 時間戳
recorder.setTimestamp(1000 * (System.currentTimeMillis()-startRecordTime));
// 存檔
recorder.record(frame);
}
- 釋放資源的方法中，增加了音頻資源釋放的操作：
@Override
protected void releaseOutputResource() throws Exception {
// 執行音頻服務的資源釋放操作
audioService.releaseOutputResource();
// 關閉幀錄製器
recorder.close();
}
- 至此，將攝影機影片和麥克風音頻推送到媒體伺服器的功能已開發完成，再寫上main方法，表示推流十分鐘：
public static void main(String[] args) {
new RecordCameraWithAudio().action(600);
}
-
運行main方法，等到控制台輸出下圖紅框的內容時，表示正在推送中：
-
在另一台電腦上用VLC軟體打開剛才推流的地址rtmp://192.168.50.43:21935/hls/camera，稍等幾秒鐘後開始正常播放，影像聲音都正常（注意不能用當前電腦播放，否則麥克風采集的是VLC播放的聲音了）：
-
用VLC自帶的工具查看媒體流資訊，如下圖，可見影片流和音頻流都能正常識別：
-
打開媒體伺服器自身的監控頁面，如下圖，可以看到各項實時數據：
-
至此，咱們已完成了音影片推流的功能，（有點像直播的樣子了），得益於JavaCV的強大，整個過程是如此的輕鬆愉快，接下來請繼續關注欣宸原創，《JavaCV的攝影機實戰》系列還會呈現更多豐富的應用；
源碼下載
- 《JavaCV的攝影機實戰》的完整源碼可在GitHub下載到，地址和鏈接資訊如下表所示(//github.com/zq2599/blog_demos)：
| 名稱 | 鏈接 | 備註 |
|---|---|---|
| 項目主頁 | //github.com/zq2599/blog_demos | 該項目在GitHub上的主頁 |
| git倉庫地址(https) | //github.com/zq2599/blog_demos.git | 該項目源碼的倉庫地址，https協議 |
| git倉庫地址(ssh) | git@github.com:zq2599/blog_demos.git | 該項目源碼的倉庫地址，ssh協議 |
- 這個git項目中有多個文件夾，本篇的源碼在javacv-tutorials文件夾下，如下圖紅框所示：
- javacv-tutorials裡面有多個子工程，《JavaCV的攝影機實戰》系列的程式碼在simple-grab-push工程下：
