Android SDK

前提条件

• 已开通智能语音交互服务，并获取项目 Appkey。具体操作，请参见管理项目。

• 已获取 NLS Token。具体操作，请参见获取Token。

  重要

  在服务端获取 Token，再通过安全通道下发给应用。不要在移动端保存 AccessKey，也不要将 Token 或完整鉴权参数写入日志。

  服务端参数和消息格式，请参见一句话识别接口说明。

下载和集成 SDK

SDK 和示例工程下载，请参见移动端SDK选择与下载。

dependencies {
    implementation files('libs/nuisdk-release.aar')
}

<uses-permission android:name="android.permission.INTERNET" />
<uses-permission android:name="android.permission.RECORD_AUDIO" />

-keep class com.alibaba.idst.nui.* { *; }

调用流程

1. 创建 NativeNui 和 AudioRecord 实例，调用 initialize 初始化 SDK。

2. 调用 setParams 设置识别参数。

3. 调用 startDialog 开始识别；收到 STATE_OPEN 回调后启动录音。

4. 在 onNuiNeedAudioData 中提供音频数据，在 EVENT_ASR_PARTIAL_RESULT 回调中获取中间结果。

5. 调用 stopDialog 结束输入，并等待 EVENT_ASR_RESULT 或错误回调。启用在线 VAD 时，服务端可自动判断语音结束。需要取消任务时调用 cancelDialog。

6. 不再使用 SDK 时，调用 release 释放资源。

初始化、参数设置和识别控制必须使用同一个 NativeNui 实例。可通过 new NativeNui() 创建实例，也可通过 NativeNui.GetInstance() 获取单例。

代码示例

以下 Java 示例使用 SDK 2.7.4，以 16 kHz、16 bit、单声道 PCM 录音进行一句话识别。获得录音权限后，使用项目 Appkey、有效 Token 和设备标识初始化 ShortSentenceRecognizer，通过 start、stop、cancel 和 release 控制识别。

在非 UI 线程串行调用这些方法；回调中如需更新界面，切换到 UI 线程。不要在 SDK 回调中直接调用 SDK 接口，以免发生死锁。

endpoint 使用以下地址：

wss://nls-gateway.cn-shanghai.aliyuncs.com/ws/v1

import android.media.AudioFormat;
import android.media.AudioRecord;
import android.media.MediaRecorder;
import com.alibaba.idst.nui.AsrResult;
import com.alibaba.idst.nui.Constants;
import com.alibaba.idst.nui.INativeNuiCallback;
import com.alibaba.idst.nui.KwsResult;
import com.alibaba.idst.nui.NativeNui;
import org.json.JSONException;
import org.json.JSONObject;

public final class ShortSentenceRecognizer implements INativeNuiCallback {
    public interface Listener {
        void onResult(String result, boolean isFinal);
        void onError(int code, String detail);
    }

    private static final int SAMPLE_RATE = 16000;
    private final NativeNui nui = new NativeNui();
    private final Listener listener;
    private AudioRecord recorder;

    public ShortSentenceRecognizer(Listener listener) {
        this.listener = listener;
    }

    public void initialize(String appkey, String token, String deviceId,
                           String endpoint, boolean onlineVad) throws JSONException {
        int minSize = AudioRecord.getMinBufferSize(SAMPLE_RATE,
                AudioFormat.CHANNEL_IN_MONO, AudioFormat.ENCODING_PCM_16BIT);
        if (minSize <= 0) {
            throw new IllegalStateException("Unsupported recording configuration");
        }
        recorder = new AudioRecord(MediaRecorder.AudioSource.MIC, SAMPLE_RATE,
                AudioFormat.CHANNEL_IN_MONO, AudioFormat.ENCODING_PCM_16BIT,
                Math.max(minSize * 2, 6400));
        if (recorder.getState() != AudioRecord.STATE_INITIALIZED) {
            closeRecorder();
            throw new IllegalStateException("AudioRecord initialization failed");
        }
        JSONObject init = new JSONObject();
        init.put("app_key", appkey);
        init.put("token", token);
        init.put("device_id", deviceId);
        init.put("url", endpoint);
        init.put("service_mode", Constants.ModeAsrCloud);
        try {
            check(nui.initialize(this, init.toString(),
                    Constants.LogLevel.LOG_LEVEL_NONE, false));
            JSONObject nls = new JSONObject();
            nls.put("sample_rate", SAMPLE_RATE);
            nls.put("sr_format", "pcm");
            nls.put("enable_intermediate_result", true);
            nls.put("enable_voice_detection", onlineVad);
            if (onlineVad) {
                nls.put("max_start_silence", 10000);
                nls.put("max_end_silence", 800);
            }
            JSONObject params = new JSONObject();
            params.put("service_type", Constants.kServiceTypeASR);
            params.put("nls_config", nls);
            check(nui.setParams(params.toString()));
        } catch (RuntimeException | JSONException e) {
            nui.release();
            closeRecorder();
            throw e;
        }
    }

    public void start(String refreshedToken) throws JSONException {
        JSONObject dialog = new JSONObject();
        if (refreshedToken != null && !refreshedToken.isEmpty()) {
            dialog.put("token", refreshedToken);
        }
        check(nui.startDialog(Constants.VadMode.TYPE_P2T, dialog.toString()));
    }

    public void stop() {
        check(nui.stopDialog());
    }

    public void cancel() {
        check(nui.cancelDialog());
    }

    public void release() {
        nui.release();
        closeRecorder();
    }

    private static void check(int code) {
        if (code != 0) {
            throw new IllegalStateException("NUI error: " + code);
        }
    }

    private void closeRecorder() {
        if (recorder != null) {
            if (recorder.getRecordingState() == AudioRecord.RECORDSTATE_RECORDING) {
                recorder.stop();
            }
            recorder.release();
            recorder = null;
        }
    }

    @Override
    public void onNuiAudioStateChanged(Constants.AudioState state) {
        if (recorder == null) {
            return;
        }
        if (state == Constants.AudioState.STATE_OPEN) {
            recorder.startRecording();
        } else if (state == Constants.AudioState.STATE_PAUSE) {
            if (recorder.getRecordingState() == AudioRecord.RECORDSTATE_RECORDING) {
                recorder.stop();
            }
        } else if (state == Constants.AudioState.STATE_CLOSE) {
            closeRecorder();
        }
    }

    @Override
    public int onNuiNeedAudioData(byte[] buffer, int len) {
        if (recorder == null || recorder.getState() != AudioRecord.STATE_INITIALIZED) {
            return -1;
        }
        return recorder.read(buffer, 0, len);
    }

    @Override
    public void onNuiEventCallback(Constants.NuiEvent event, int resultCode,
                                  int arg2, KwsResult kwsResult, AsrResult asrResult) {
        if (event == Constants.NuiEvent.EVENT_ASR_RESULT
                || event == Constants.NuiEvent.EVENT_ASR_PARTIAL_RESULT) {
            if (asrResult != null) {
                listener.onResult(asrResult.asrResult,
                        event == Constants.NuiEvent.EVENT_ASR_RESULT);
            }
        } else if (event == Constants.NuiEvent.EVENT_ASR_ERROR
                || event == Constants.NuiEvent.EVENT_MIC_ERROR) {
            listener.onError(resultCode, asrResult == null ? "" : asrResult.asrResult);
        }
    }

    @Override
    public void onNuiAudioRMSChanged(float value) {}

    @Override
    public void onNuiVprEventCallback(Constants.NuiVprEvent event) {}
}

start(null) 不传入新的 Token；需要更新 Token 时，将新 Token 传入 start。正常结束音频输入后，等待最终结果或错误回调，再开始下一次识别。stop 暂停录音以便后续复用，release 释放 SDK 和录音资源。

参数说明

SDK 接口和回调

if (!CommonUtils.copyAssetsData(this)) {
    Log.e(TAG, "Failed to copy SDK assets");
    return;
}