功能介绍

短视频SDK提供视频合拍功能AliyunIMixRecorder，即使用一个已有视频作为样本视频，与摄像头采集的数据按照特定的布局方式（比如左右分屏，上下分屏，画中画等）进行合拍录制。

概念介绍

在以下文档介绍中将提及一些特殊概念，为方便开发者理解，预先对概念做一些讲解。

1、合拍功能

视频合拍从产品功能层面看，就是两路视频（一路来自样本视频，一路来自设备摄像头采集），按照指定的布局模式（左右分屏，上下分屏，画中画等）进行合成，合成出来的视频每一帧画面将会同时包含两路视频的画面，而合拍视频的音频部分则采用样本视频的音频。以下为范例视图，实际上SDK内部支持开发者自己组织布局，关于如何布局将在后面讲述。

track

2、轨道

在概念1中提及的两路视频在SDK中被抽象为两个轨道：A轨道和B轨道，A轨放设备采集的视频，B轨放样本视频，用轨道抽象有利于开发者理解轨道布局的概念。

3、轨道布局

轨道布局是轨道的属性之一，用来描述，该轨道的视频画面，在合拍生成的视频中如何“摆放”，轨道布局在一个归一化的坐标系中，从两个纬度来描述轨道布局信息，分别是中心点的坐标和轨道size（即宽高信息）。

如下图所示，在该布局画面中，轨道A和轨道B的画面各占一半，因此，两个轨道的宽度均为0.5，而高度则都为1.0，而轨道A的中心点坐标为(0.25，0.5)，轨道B的中心点坐标为（0.75，0.5）。

轨道布局在合拍接口中主要涉及AliyunMixRecorderDisplayParam和AliyunMixTrackLayoutParam两个核心类，其中AliyunMixTrackLayoutParam就是用来描述上述提到的中心点和宽高信息的，而AliyunMixRecorderDisplayParam里面除了包含AliyunMixTrackLayoutParam布局信息，还包含了displayMode和layoutLevel，displayMode描述了该轨道的视频在宽高比与轨道宽高不一致时采用填充还是裁剪模式，layoutLevel用来描述布局层级，假如两个轨道有相互覆盖的地方，则layoutLevel大的轨道，在布局上层，将覆盖layoutLevel小的轨道，具体可以参考相应的接口文档。

layout

版本差异

版本	功能描述
专业版	支持合拍功能
标准版	支持合拍功能
基础版	不支持合拍功能

合拍录制流程

合拍录制功能需要获取摄像头和麦克风权限，否则无法录制。视频合拍录制的流程如下：

1. 配置参数
 2. 回调设置
 3. 开启预览
 4. 录制控制/管理
 5. 设置特效
 6. 开始录制
 7. 完成录制

配置参数

初始化

创建合拍接口实例

AliyunIMixRecorder recorder = AliyunMixRecorderCreator.createAlivcMixRecorderInstance(Context context);//参数context建议使用Application Context。

销毁录制接口实例
```
AliyunIMixRecorder#release();
```

输入输出参数设置

设置合拍视频输入输出出参数（用来参与合拍的样本视频信息，轨道显示信息，输出预览帧率、编码帧率、输出分辨率、编码器类型等）
```
AliyunIMixRecorder#setMixMediaInfo(AliyunMixMediaInfoParam inputMediaInfo, MediaInfo outputInfo);//相关参数描述请参考AliyunMixMediaInfoParam和MedianInfo的接口文档
```

设置输出路径

AliyunIMixRecorder#setOutputPath(String path);

设置录制视频质量

AliyunIMixRecorder#setVideoQuality(VideoQuality quality);

设置录制视频的码率

AliyunIMixRecorder#setVideoBitrate(int bitrate);//单位：kbps

设置输出视频的GOP大小

AliyunIMixRecorder#setGop(int gop);//单位：帧数

回调设置

参考视频录制中的接口，接口设计一致。

开启预览

开始预览
```
AliyunIMixRecorder#startPreview();
```
结束预览
```
AliyunIMixRecorder#stopPreview();
```

录制控制/管理

录制控制

设置录制合拍预览窗口View（SurfaceView）

AliyunIMixRecorder#setDisplayView(SurfaceView previewView, SurfaceView playView);//**注意：这里不能使用GLSurfaceView及其子类。**

其他摄像头相关控制，参考视频录制中的接口，接口设计一致。

录制管理

获取片段管理器

AliyunIMixRecorder#getClipManager();**注意：如果要删除上一段不能使用AliyunIClipManager里面的接口，而要使用AliyunIMixRecorder#deleteLastPart()。**

设置最大录制时长（总录制时长，不是单个片段的最大时长）
```
AliyunIClipManager#setMaxDuration(int maxDurationMs);
```
设置最小录制时长（总录制时长，不是单个片段的时长）
```
AliyunIClipManager#setMinDuration(int minDurationMs);
```
获取片段总时长
```
AliyunIClipManager#getDuration();
```
获取总的片段数量
```
AliyunIClipManager#getPartCount();
```

删除最后一段片段 (非常重要，建议仔细阅读文档)

AliyunIMixRecorder#deleteLastPart();//这里不能使用AliyunIClipManager#deletePart();否则内部的样本视频将不会seek到上一个片段位置。

删除指定的片段

AliyunIClipManager#deletePart(int index);//仅仅用来删除文件，样本视频不会跟随seek。

删除所有片段

AliyunIClipManager#deleteAllPart();//仅仅用来删除片段文件，样本视频不会跟随seek。

获取片段路径列表
```
AliyunIClipManager#getVideoPathList();
```

设置特效

参考视频录制中的设置特效，接口设计一致。

开始合拍录制

开始录制一个片段视频
```
AliyunIMixRecorder#startRecording();
```
停止录制一个片段视频
```
AliyunIMixRecorder#stopRecording();
```

完成合拍录制

结束录制，并且将录制片段视频拼接成一个视频
```
AliyunIMixRecorder#finishRecording();
```

示例代码

//合拍一段视频，前置条件：手机SD卡的根目录存在一个视频叫sample.mp4，即/sdcard/sample.mp4，以下代码只描述核心流程，不能将以下代码直接复制粘贴到工程中，详细流程请参考配套的Demo工程。
AliyunIMixRecorder mMixRecorder = AliyunIMixRecorder createAlivcMixRecorderInstance(getApplicationContext());
if(需要所见即所得){
    mRecorder.setRecordRotation(0);//这样设置可以保证所见即所得，即横向录制的视频，合拍中依然是横向，不会自动旋转角度。
    mRecorder.setFaceDetectRotation(getPictureRotation());//getPictureRotation的代码请参考Demo工程代码。
}else {
    mRecorder.setRotation(getPictureRotation());
}
mMixRecorder.setDisplayView(mCameraPrvSurfaceView, mPlayPrvSurfaceView);
AliunIClipManager mClipManager = mRecorder.getClipManager();
mClipManager.setMinDuration(mMinDuration);
mClipManager.setMaxDuration(mMaxDuration);
mRecordTimelineView.setMaxDuration(mClipManager.getMaxDuration());
mRecordTimelineView.setMinDuration(mClipManager.getMinDuration());
MediaInfo mOutputInfo = new MediaInfo();
mOutputInfo.setVideoWidth(outputWidth);
mOutputInfo.setVideoHeight(outputHeight);
AliyunMixRecorderDisplayParam recorderDisplayParam = new AliyunMixRecorderDisplayParam.Builder()
        .displayMode(VideoDisplayMode.FILL)
        .layoutParam(
            new AliyunMixTrackLayoutParam.Builder()
            .centerX(0.25f)
            .centerY(0.5f)
            .widthRatio(0.5f)
            .heightRatio(1.0f)
            .build()
        )
        .build();
AliyunMixRecorderDisplayParam sampleDisplayParam = new AliyunMixRecorderDisplayParam
        .Builder()
        .displayMode(VideoDisplayMode.FILL)
        .layoutParam(new AliyunMixTrackLayoutParam.Builder()
                     .centerX(0.75f)
                     .centerY(0.5f)
                     .widthRatio(0.5f)
                     .heightRatio(1.0f)
                     .build())
        .build();
AliyunMixMediaInfoParam mInputInfo = new AliyunMixMediaInfoParam
        .Builder()
        .streamStartTimeMills(0L)
        .streamEndTimeMills(0L)//设置为0L就会自动使用视频的时长
        .mixVideoFilePath("/sdcard/sample.mp4")
        .mixDisplayParam(sampleDisplayParam)
        .recordDisplayParam(recorderDisplayParam)
        .build();
mRecorder.setMixMediaInfo(mInputInfo, mOutputInfo);
mRecorder.setRecordCallback(new RecordCallback() {
            @Override
            public void onComplete(boolean validClip, long clipDuration) {}
            @Override
            public void onFinish(String outputPath) {
                //合成完成
            }
            @Override
            public void onProgress(final long duration) {}
            @Override
            public void onMaxDuration() {}
            @Override
            public void onError(int errorCode) {}
            @Override
            public void onInitReady() { }
            @Override
            public void onDrawReady() {}
            @Override
            public void onPictureBack(Bitmap bitmap) { }
            @Override
            public void onPictureDataBack(byte[] data) {}
        });
mRecorder.startPreview();
mRecorder.startRecording();
mRecorder.stopRecording();
mRecorder.finishRecording();

视频拼接

功能介绍

该接口是一个用于实现离线多画面拼接视频功能的接口，比如画中画，九宫格，左右分屏，上下分屏等效果，支持添加多轨道视频，而不仅仅是合拍录制场景下的双轨道，其功能接口为AliyunIMixComposer。

拼接流程

1. 初始化
 2. 创建轨道
 3. 给轨道添加视频流
 4. 配置输出参数
 5. 开始混合
 6. 销毁

初始化

AliyunMixComposerCreator.createMixComposerInstance();

创建轨道

AliyunIMixComposer#createTrack(AliyunMixTrackLayoutParam layoutParam);

给轨道添加视频流

创建视频流
```
new AliyunMixStream.Builder().build();
```

给轨道添加视频流

AliyunMixTrack#addStream(AliyunMixStream stream);

配置输出参数

AliyunIMixComposer#setOutputParam(AliyunMixOutputParam param);

开始混合

AliyunIMixComposer#start(AliyunMixCallback callback);

暂停混合

AliyunIMixComposer#pause();

继续混合

AliyunIMixComposer#resume();

取消混合

AliyunIMixComposer#cancel();

销毁

AliyunIMixComposer#release();

示例代码

//创建实例
AliyunIMixComposer mixComposer = AliyunMixComposerCreator.createMixComposerInstance();
//创建轨道1
AliyunMixTrackLayoutParam track1Layout = new AliyunMixTrackLayoutParam.Builder()
        .centerX(0.25f)
        .centerY(0.5f)
        .widthRatio(0.5f)
        .heightRatio(1.f)
        .build();
// 创建轨道1的第一个视频流1
AliyunMixStream stream11 = new AliyunMixStream
        .Builder()
        .displayMode(VideoDisplayMode.FILL)
        .filePath("/storage/emulated/0/11.mp4")
        .streamEndTimeMills(20000)
        .build();
//添加该视频流到轨道1
track1.addStream(stream11);
//创建轨道1的第二个视频流
AliyunMixStream stream12 = new AliyunMixStream
        .Builder()
        .displayMode(VideoDisplayMode.FILL)
        .filePath("/storage/emulated/0/12.mp4")
        .streamEndTimeMills(20000)
        .build();
//添加该视频流到轨道1
track1.addStream(stream12);
//创建轨道2
AliyunMixTrackLayoutParam track2Layout = new AliyunMixTrackLayoutParam.Builder()
        .centerX(0.75f)
        .centerY(0.5f)
        .widthRatio(0.5f)
        .heightRatio(1.f)
        .build();
//创建轨道2的第一个视频
AliyunMixStream stream21 = new AliyunMixStream
        .Builder()
        .displayMode(VideoDisplayMode.FILL)
        .filePath("/storage/emulated/0/21.mp4")
        .streamEndTimeMills(20000)
        .build();
//添加该视频流到轨道2
track2.addStream(stream21);
//创建轨道2的第二个视频
AliyunMixStream stream22 = new AliyunMixStream
        .Builder()
        .displayMode(VideoDisplayMode.FILL)
        .filePath("/storage/emulated/0/22.mp4")
        .streamEndTimeMills(20000)
        .build();
//添加该视频流到轨道2
track2.addStream(stream22);
//配置输出参数
AliyunMixOutputParam outputParam = new AliyunMixOutputParam.Builder()
        .outputPath("/sdcard/output.mp4")
        .outputAudioReferenceTrack(track2)//表示使用轨道2的音频作为最后的音频，目前音频轨道只支持一个音频流，因此轨道2第二个视频的音频流不会加进去。
        .outputDurationReferenceTrack(track2)//表示使用轨道2的时长作为最后输出视频的时长，如果轨道1的时长不够，则会停在最后一帧
        .crf(6)
        .videoQuality(VideoQuality.HD)
        .outputWidth(720)
        .outputHeight(1280)
        .fps(30)
        .gopSize(30)
        .build();
mixComposer.setOutputParam(outputParam);
//开始合成
AliyunMixCallback callback = new AliyunMixCallback() {
            @Override
            public void onProgress(long progress) {//合成进度
                Log.e("MixRecord", "onProgress " + progress);
            }
            @Override
            public void onComplete() {
                Log.e("MixRecord", "onComplete");
                runOnUiThread(new Runnable() {
                    @Override
                    public void run() {
                        //该接口一定不能在回调的线程中直接调用！！！
                           mixComposer.release();
                    }
                });
            }
            @Override
            public void onError(int errorCode) {
                Log.e("MixRecord", "onError " + errorCode);
            }
};
mixComposer.start(callback);