科大讯飞AIUI语音识别,合成体验

     如今,很多应用都带有语音输入,通过语音识别去搜索用户想要的结果,这样做的原因就是方便 ,然后哦我决定自己也去搞一个可以支持语音识别,合成的应用玩一下,讯飞在这方面 的技术还蛮好的,所以我使用的是讯飞的技术,接下来我们来讲讲怎么在科大讯飞里面集成我们想要的语音识别,合成效果。

开发步骤:

1.1

 1.1.1:创建应用

    进入AIUI平台,点击我的应用,选择我的应用-->创建新应用,填写您应用的相关信息与应用平台后,便创建好应用了。

1.1.2:配置技能

应用创建完成后,你可以点击应用,进入应用配置界面,点击勾选技能,如果我们想要做一个语音查询天气的话,我们可以勾选天气技能,如需同时使用其他技能,也可以 一起勾选


2.1.  SDK集成

  2.2.1 下载SDK

在AIUI平台创建完应用后,在该应用的SDK下载页面下载对应的SDK包。SDK包里包含MSC库和AIUI库,本章节仅介绍AIUI库的入门使用,MSC库包含唤醒和合成能力,如需了解MSC库,请访问MSC开发指南

2.2.2Android平台集成步骤

导入SDK

打开Android Studio,创建一个新的工程,将下载的Android SDK压缩包中libs目录下的libaiui.so以及AIUI.jar拷贝至Android工程的libs目录下,并将SDK包中assets目录下cfg文件夹以及res目录下vad文件夹拷贝至工程中。工程结构如下图所示:

将AIUI.jar添加至工程依赖,将app module下的gradle配置文件中指定默认jniLibs目录为libs。


添加用户权限

在工程AndroidManifest.xml文件中添加如下权限,如在Android6.0及以上手机中集成使用,请动态申请所需权限。


然后还需要我们在aiui_phone.cfg文件中配置自己的appid

现在我们进入主要的代码编写阶段:

    创建AIUIAgent:

    SDK中提供的AIUIAgent就是和AIUI交互的桥梁。创建AIUIAgent,示例如下:


createAgent方法包含三个参数:

第一个参数类型为Context;

第二个参数类型为String,具体值是通过读取assets目录下的cfg/aiui_phone.cfg文件而获得的字符串;

第三个参数类型为AIUIListener,是AIUI事件回调监听器。

getAIUIParams()具体示例如下所示:


mAUIListener具体示例如下所示(这个AIUIListener作用就是 为了监听语音识别状态的,比如说识识别完成,识别失败等等):

AIUI在交互过程中依靠AIUIMessage向SDK传递指令,依靠AIUIEvent从SDK内部向外抛出事件回调


语音语义理解示例

发送CMD_WAKEUP消息至AIUI,使AIUI处于唤醒状态,再发送开始录音消息,使麦克风录入音频,并通过AIUIListener的回调,获取语义结果。代码示例如下

通过这个AIUIMessage向SDK传递指令,依靠AIUIEvent从SDK内部向外抛出事件回调(AIUIMessage就是发送信息给AIUI,让它做什么,AIUIevent就是对AIUI执行的结果(语音识别失败了,还是成功了)的回调),具体参见AIUI SDK消息事件

如出现20006错误,请注意下应用是否拥有录音权限。返回的语义结果,参考语义结果说明文档

最后就是结果解析了:

   在AUIEventListener回调中,可以收到来自AIUI的多种消息,具体示例如下:

private AIUIListener mAIUIListener = new AIUIListener() {

    @Override

    public void onEvent(AIUIEvent event) {

        switch (event.eventType) {

            case AIUIConstant.EVENT_WAKEUP:

                //唤醒事件

                Log.i( TAG,  "on event: "+ event.eventType );

            break;

            case AIUIConstant.EVENT_RESULT: {

                //结果解析事件

                try {

                    JSONObject bizParamJson = new JSONObject(event.info);

                    JSONObject data = bizParamJson.getJSONArray("data").getJSONObject(0);

                    JSONObject params = data.getJSONObject("params");

                    JSONObject content = data.getJSONArray("content").getJSONObject(0);

                    if (content.has("cnt_id")) {

                        String cnt_id = content.getString("cnt_id");

                        JSONObject cntJson = new JSONObject(new String(event.data.getByteArray(cnt_id), "utf-8"));

                        String sub = params.optString("sub");

                        if ("nlp".equals(sub)) {

                            // 解析得到语义结果

                            String resultStr = cntJson.optString("intent");

                            Log.i( TAG, resultStr );

                        }

                    }

                } catch (Throwable e) {

                    e.printStackTrace();

                }

            } break;

            case AIUIConstant.EVENT_ERROR: {

                //错误事件

                Log.i( TAG,  "on event: "+ event.eventType );

                Log.e(TAG, "错误: "+event.arg1+"\n"+event.info );

            } break;

            case AIUIConstant.EVENT_VAD: {

                if (AIUIConstant.VAD_BOS == event.arg1) {

                    //语音前端点

                } else if (AIUIConstant.VAD_EOS == event.arg1) {

                    //语音后端点

                }

            } break;

            case AIUIConstant.EVENT_START_RECORD: {

                Log.i( TAG,  "on event: "+ event.eventType );

                //开始录音

            } break;

            case AIUIConstant.EVENT_STOP_RECORD: {

                Log.i( TAG,  "on event: "+ event.eventType );

                // 停止录音

            } break;

            case AIUIConstant.EVENT_STATE: {   

                // 状态事件

                mAIUIState = event.arg1;

                if (AIUIConstant.STATE_IDLE == mAIUIState) {

                    // 闲置状态,AIUI未开启

                } else if (AIUIConstant.STATE_READY == mAIUIState) {

                    // AIUI已就绪,等待唤醒

                } else if (AIUIConstant.STATE_WORKING == mAIUIState) {

                    // AIUI工作中,可进行交互

                }

            } break;

            default:

                break;

        }

    }

};

附件:

源码地址

参考文档:

科大讯飞AIUI平台

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 158,560评论 4 361
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,104评论 1 291
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 108,297评论 0 243
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 43,869评论 0 204
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,275评论 3 287
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,563评论 1 216
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,833评论 2 312
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,543评论 0 197
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,245评论 1 241
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,512评论 2 244
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,011评论 1 258
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,359评论 2 253
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,006评论 3 235
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,062评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,825评论 0 194
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,590评论 2 273
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,501评论 2 268

推荐阅读更多精彩内容