Android中如何提取和生成mp4文件

Android中如何提取和生成mp4文件

隨著Android 4.4及以上版本的逐漸普及，Android 4.1引入的MediaExtractor類，以及Android 4.3引入的MediaMuxer類，終於可以開始正式地“發光發熱”了。   MediaMuxer類主要用於將音頻和視頻數據進行混合生成多媒體文件（如：mp4文件），而MediaExtractor則剛好相反，主要用於多媒體文件的音視頻數據的分離。   本文將介紹如何利用Android SDK提供的MediaExtractor和MediaMuxer類來完成mp4文件的提取和生成，指出開發過程中會遇到的坑，並給出簡單的Demo示例代碼。   Demo的目標：提取input.mp4文件中的視頻數據，生成除去音頻數據之後的純視頻output.mp4文件。   由於Android SDK關於這兩個類的介紹真是少之又少，因此，在給出demo之前，我們先簡單地了解一下這兩個類吧。   1. MediaExtractor   該類主要用於音視頻混合數據的分離，接口比較簡單，首先要通過setDataSource(String path)函數設置數據源，數據源可以是本地文件地址，也可以使用HTTP協議的網絡碼流地址。   然後，可以通過下面的代碼塊，來獲取碼流的詳細信息，如：MimeType，分辨率、編碼格式、碼率、幀率等等。    

int videoTrackIndex = -1;
int audioTrackIndex = -1;

for(int i = 0; i < mMediaExtractor.getTrackCount(); i++) {

    //獲取碼流的詳細格式/配置信息
    MediaFormat format = mMediaExtractor.getTrackFormat(i);

    String mime = format.getString(MediaFormat.KEY_MIME);
    if(mime.startsWith("video/")) {
        videoTrackIndex = i;
    }
    else if(mime.startsWith("audio/")) {
        audioTrackIndex = i;
    }

    ....
}

 

獲取到媒體文件的詳細信息之後，就可以選擇指定的通道，並分離和讀取數據了：  

mMediaExtractor.selectTrack(videoTrackIndex); //選擇讀取視頻數據
while(true) {
    int sampleSize = mMediaExtractor.readSampleData(buffer, 0);  //讀取一幀數據
    if(sampleSize < 0) {
        break;
    }
    mMediaExtractor.advance(); //移動到下一幀
}

mMediaExtractor.release(); //讀取結束後，要記得釋放資源

 

    2. MediaMuxer   該類主要用於將音頻和視頻進行混合生成多媒體文件，創建該類對象，需要傳入輸出的文件位置以及格式，構造函數如下：    

public MediaMuxer(String path, int format);

 

創建對象之後，一個比較重要的操作就是addTrack()，添加數據通道，該函數需要傳入MediaFormat對象，MediaFormat即媒體格式類，用於描述媒體的格式參數，如視頻幀率、音頻采樣率等。   在本示例中，可以直接使用MediaExtractor.getTrackFormat()解析得到的MediaFormat對象，如果你希望自己來創建這個MediaFormat對象的話，可以使用該類的如下靜態方法創建：  

MediaFormat format = MediaFormat.createVideoFormat("video/avc",320,240);

 

  注意，這裡有一個比較大的坑，就是，如果手動創建MediaFormat對象的話，一定要記得設置"csd-0"和"csd-1"這兩個參數：  

byte[] csd0 = {x,x,x,x,x,x,x...}
byte[] csd1 = {x,x,x,x,x,x,x...}

format.setByteBuffer("csd-0",ByteBuffer.wrap(csd0));
format.setByteBuffer("csd-1",ByteBuffer.wrap(csd1));

 

  至於"csd-0"和"csd-1"是什麼，對於H264視頻的話，它對應的是sps和pps，對於AAC音頻的話，對應的是ADTS，做音視頻開發的人應該都知道，它一般存在於編碼器生成的IDR幀之中。   通過 addTrack() 添加了數據通道之後，記錄下函數返回的 trackIndex，然後就可以調用 MediaMuxer.writeSampleData() 愉快地向mp4文件中寫入數據了。   這裡會產生第二個坑，就是writeSampleData函數的最後一個參數是一個BufferInfo對象，你必須認真地填入“正確”的值：    

BufferInfo info = new BufferInfo();
info.offset = 0;
info.size = sampleSize;
info.flags = MediaCodec.BUFFER_FLAG_SYNC_FRAME;
info.presentationTimeUs = timestamp;

 

  其中，   info.size 必須填入數據的大小 info.flags 需要給出是否為同步幀/關鍵幀 info.presentationTimeUs 必須給出正確的時間戳，注意單位是 us，例如，對於幀率為 x f/s 的視頻而言，時間戳的間隔就是 1000/x ms   跳過了這些坑，你就可以順利地完成mp4文件的寫入了，同樣，完成後記得關閉以及釋放資源：    

mMediaMuxer.stop();
mMediaMuxer.release();

 

    3. 小結   有了上面的簡單介紹和鋪墊，demo代碼就不難看懂了。運行demo代碼的注意事項：   （1）Android 4.3以及以上系統的手機 （2）把 input.mp4文件拷貝到sdcard   代碼最核心的部分如下所示：    

  protected boolean process() throws IOException {

      mMediaExtractor = new MediaExtractor();          
      mMediaExtractor.setDataSource(SDCARD_PATH+"/input.mp4");                
               
      int mVideoTrackIndex = -1;
      int framerate = 0;
      for(int i = 0; i < mMediaExtractor.getTrackCount(); i++) {
          MediaFormat format = mMediaExtractor.getTrackFormat(i);
          String mime = format.getString(MediaFormat.KEY_MIME);
          if(!mime.startsWith("video/")) {                
              continue;
          }
          framerate = format.getInteger(MediaFormat.KEY_FRAME_RATE);            
          mMediaExtractor.selectTrack(i);
          mMediaMuxer = new MediaMuxer(SDCARD_PATH+"/ouput.mp4", OutputFormat.MUXER_OUTPUT_MPEG_4);
          mVideoTrackIndex = mMediaMuxer.addTrack(format);  
          mMediaMuxer.start();
      }
       
      if(mMediaMuxer == null) {
          return false;
      }
       
      BufferInfo info = new BufferInfo();
      info.presentationTimeUs = 0;
      ByteBuffer buffer = ByteBuffer.allocate(500*1024);        
      while(true) {
          int sampleSize = mMediaExtractor.readSampleData(buffer, 0);
          if(sampleSize < 0) {
              break;
          }
          mMediaExtractor.advance();
          info.offset = 0;
          info.size = sampleSize;
          info.flags = MediaCodec.BUFFER_FLAG_SYNC_FRAME;        
          info.presentationTimeUs += 1000*1000/framerate;
          mMediaMuxer.writeSampleData(mVideoTrackIndex,buffer,info);
      }

      mMediaExtractor.release();
       
      mMediaMuxer.stop();
      mMediaMuxer.release();
       
      return true;
  }

 

    4. 小結   關於Android中如何提取和生成mp4文件就總結到這裡了，有任何疑問或者建議歡迎留言或者來信[email protected]交流，或者關注我的新浪微博 @盧_俊 獲取最新的文章和資訊。