資訊專欄INFORMATION COLUMN
摘要：本例用的是語音識別，語義理解引擎，支持強(qiáng)大的用戶自定義語義，能更好的解決語義理解。代表返回的行為動作，此處可以看到是就是要求播放，中的數(shù)據(jù)表示歌曲名稱是三國演義。
帶有android懸浮窗的語音識別語義理解demo
如發(fā)現(xiàn)代碼排版問題，請訪問CSDN博客
轉(zhuǎn)載請注明CSDN博文地址：http://blog.csdn.net/ls0609/a...
在線聽書demo：http://blog.csdn.net/ls0609/a...
語音記賬demo：http://blog.csdn.net/ls0609/a...
Android桌面懸浮窗實現(xiàn)比較簡單，本篇以一個語音識別，語義理解的demo來演示如何實現(xiàn)android懸浮窗。
1.懸浮窗效果
桌面上待機(jī)的時候，懸浮窗吸附在邊上
拖動遠(yuǎn)離屏幕邊緣時圖標(biāo)變大，松開自動跑到屏幕邊緣，距離屏幕左右邊緣靠近哪邊吸附哪邊
點擊懸浮圖標(biāo)時，啟動錄音
說完后可以點擊左button，上傳錄音給服務(wù)器等待處理返回結(jié)果
服務(wù)器返回結(jié)果后自動跳轉(zhuǎn)到應(yīng)用界面，本例用的是在線聽書，跳轉(zhuǎn)到在線聽書的界面
2.FloatViewIdle與FloatViewIdleService
1.FloatViewIdle
定義一個FloatViewIdle類，如下是該類的單例模式
public static synchronized FloatViewIdle getInstance(Context context)
{
if(floatViewManager == null)
{
mContext = context.getApplicationContext();;
winManager = (WindowManager)
mContext.getSystemService(Context.WINDOW_SERVICE);
displayWidth = winManager.getDefaultDisplay().getWidth();
displayHeight = winManager.getDefaultDisplay().getHeight();
floatViewManager = new FloatViewIdle();
}
return floatViewManager;
}
利用winManager 的addview方法，把自定義的floatview添加到屏幕中，那么就會在任何界面顯示該floatview，然后再屏蔽非待機(jī)界面隱藏floatview，這樣就只有待機(jī)顯示懸浮窗了。
定義兩個自定義view，分別是FloatIconView和FloatRecordView，前者就是待機(jī)看到的小icon圖標(biāo)，后者是點擊這個icon圖標(biāo)后展示的錄音的那個界面。
下面來看下怎么定義的FloatIconView
class FloatIconView extends LinearLayout{
private int mWidth;
private int mHeight;
private int preX;
private int preY;
private int x;
private int y;
public boolean isMove;
public boolean isMoveToEdge;
private FloatViewIdle manager;
public ImageView imgv_icon_left;
public ImageView imgv_icon_center;
public ImageView imgv_icon_right;
public int mWidthSide;
public FloatIconView(Context context) {
super(context);
View view = LayoutInflater.from(mContext).
inflate(R.layout.layout_floatview_icon, this);
LinearLayout layout_content =
(LinearLayout) view.findViewById(R.id.layout_content);
imgv_icon_left = (ImageView) view.findViewById(R.id.imgv_icon_left);
imgv_icon_center = (ImageView) view.findViewById(R.id.imgv_icon_center);
imgv_icon_right = (ImageView) view.findViewById(R.id.imgv_icon_right);
imgv_icon_left.setVisibility(View.GONE);
imgv_icon_center.setVisibility(View.GONE);
mWidth = layout_content.getWidth();
mHeight = layout_content.getHeight();
if((mWidth == 0)||(mHeight == 0))
{
int temp = DensityUtil.dip2px(mContext, icon_width);
mHeight = temp;
icon_width_side_temp = DensityUtil.dip2px(mContext, icon_width_side);
mWidth = icon_width_side_temp;
}
manager = FloatViewIdle.getInstance(mContext);
if(params != null)
{
params.x = displayWidth - icon_width_side_temp;
params.y = displayHeight/2;
}
}
public int getFloatViewWidth()
{
return mWidth;
}
public int getFloatViewHeight()
{
return mHeight;
}
@Override
public boolean onTouchEvent(MotionEvent event)
{
switch(event.getAction())
{
case MotionEvent.ACTION_DOWN:
preX = (int)event.getRawX();
preY = (int)event.getRawY();
isMove = false;
if(params.width == icon_width_side_temp)
handler.sendMessage(handler.obtainMessage(
MSG_UPDATE_FLOAT_VIEW_AFTER_CHANGED, 3, 0));
break;
case MotionEvent.ACTION_UP:
if(isMoveToEdge == true)
{
if(params.width == icon_width_side_temp)
handler.sendMessage(handler.obtainMessage(
MSG_UPDATE_FLOAT_VIEW_AFTER_CHANGED, 3, 0));
handler.sendMessage(handler.obtainMessage(
MSG_FLOAT_VIEW_MOVE_TO_EDGE,this));
}
break;
case MotionEvent.ACTION_MOVE:
x = (int)event.getRawX();
y = (int)event.getRawY();
if(Math.abs(x-preX)>1||Math.abs(y-preY)>1)
{
isMoveToEdge = true;
}
if(Math.abs(x-preX)>5||Math.abs(y-preY)>5)
isMove = true;
if(params.width == icon_width_side_temp)
handler.sendMessage(handler.obtainMessage(
MSG_UPDATE_FLOAT_VIEW_AFTER_CHANGED, 3, 0));
manager.move(this, x-preX, y-preY);
preX = x;
preY = y;
break;
}
return super.onTouchEvent(event);
}
}
通過layout文件生成一個FloatIconView，在onTouchEvent函數(shù)中當(dāng)按下的時候，發(fā)送消息更新懸浮view，抬起即up事件時先更新懸浮view，然后再顯示吸附到邊上的動畫。 當(dāng)move的時候，判斷每次位移至少5和像素則更新view位置，這樣不斷move不斷更新就會形成連續(xù)的畫面。
另一個FloatRecordView（錄音的懸浮窗）道理相同，這里就不貼代碼了，有興趣可以下載demo自己編譯跑一下。
在FloatIconView中定義一個handler，用于接收消息處理懸浮窗更新位置和吸附的動畫
private void initHandler(){
handler = new Handler(){
@Override
public void handleMessage(Message msg)
{
switch (msg.what)
{
case MSG_REFRESH_VOLUME:
if(floatRecordView != null)
floatRecordView.updateVolume((int)msg.arg1);
break;
case MSG_FLOAT_VIEW_MOVE_TO_EDGE:
//更新懸浮窗位置的動畫
moveAnimation((View)msg.obj);
break;
case MSG_REMOVE_FLOAT_VIEW:
if(msg.arg1 == 1)
{//此時已有floatview是floatIconView
if(floatIconView != null)
{//先移除一個floatview
winManager.removeView(floatIconView);
floatIconView = null;
floatRecordView = getFloatRecordView();
if(floatRecordView != null)
{
if(floatRecordView.getParent() == null)
{//再加入一個新的floatview
winManager.addView(floatRecordView, params);
floatViewType = FLOAT_RECORD_VIEW_TYPE;
}
if(mHandler != null)
{
mHandler.sendMessage(mHandler.obtainMessage(
MessageConst.CLIENT_ACTION_START_CAPTURE));
IS_RECORD_FROM_FLOAT_VIEW_IDLE = true;
}
}
}
}
else
{//此時已有floatview是floatRecordView即錄音的floatview
if(floatRecordView != null)
{//先移除一個floatview
winManager.removeView(floatRecordView);
floatRecordView = null;
}
floatIconView = getFloatIconView();
if(floatIconView != null)
{
if(floatIconView.getParent() == null)
{/再加入一個新的floatview
winManager.addView(floatIconView, params);
floatViewType = FLOAT_ICON_VIEW_TYPE;
setViewOnClickListener(floatIconView);
}
//可能需要有吸附動畫
moveAnimation(floatIconView);
}
}
break;
case MSG_UPDATE_VIEW_SENDING_TO_SERVER:
if(floatRecordView != null)
{
floatRecordView.updateSendingToServerView();
floatRecordView.setTitle("努力識別中");
}
break;
case MSG_UPDATE_ROTATE_VIEW:
if(floatRecordView != null)
{
floatRecordView.rotateview.startRotate();
}
break;
case MSG_UPDATE_FLOAT_VIEW_AFTER_CHANGED:
//1，2是吸附到左邊還是右邊，3是拖動到中間顯示放大的懸浮窗icon
if(msg.arg1 == 1)
changeFloatIconToSide(false);
else if(msg.arg1 == 2)
changeFloatIconToSide(true);
else if(msg.arg1 == 3)
changeFloatIconToNormal();
break;
case MSG_UPDATE_FLOAT_VIEW_ON_SIDE:
if(msg.arg1 == 1)
updateFloatIconOnSide(true);
else if(msg.arg1 == 2)
updateFloatIconOnSide(false);
break;
case MSG_START_ACTIVITY:
hide();
Intent intent = new Intent(mContext,MusicActivity.class);
intent.setFlags(Intent.FLAG_ACTIVITY_NEW_TASK);
intent.putExtra(START_FROM_FLOAT_VIEW, true);
IS_START_FROM_FLOAT_VIEW_IDLE = true;
mContext.startActivity(intent);
break;
}
}
};
}
那么，怎樣做到點擊吸附屏幕邊緣的懸浮按鈕，切換成錄音的懸浮窗呢？
public void show()
{
isHide = false;
floatIconView = getFloatIconView();
if(floatIconView != null)
{
if(floatIconView.getParent() == null)
{
winManager.addView(floatIconView, params);
floatViewType = FLOAT_ICON_VIEW_TYPE;
}
if(floatRecordView != null)
{
handler.sendMessage(handler.obtainMessage(
MSG_REMOVE_FLOAT_VIEW, 2, 0));
}
floatIconView.setOnClickListener(new OnClickListener(){
@Override
public void onClick(View v) {
if(floatIconView.isMove || floatIconView.isMoveToEdge)
{
floatIconView.isMove = false;
return;
}
winManager.removeView(floatIconView);
floatIconView = null;
floatRecordView = getFloatRecordView();
if(floatRecordView != null)
{
if(floatRecordView.getParent() == null)
{
winManager.addView(floatRecordView, params);
floatViewType = FLOAT_RECORD_VIEW_TYPE;
}
if(mHandler != null)
{
mHandler.sendMessage(mHandler.obtainMessage(
MessageConst.CLIENT_ACTION_START_CAPTURE));
IS_RECORD_FROM_FLOAT_VIEW_IDLE = true;
}
}
}
});
}
}
在show函數(shù)中，設(shè)置了floatIconView的點擊事件，移除小的懸浮吸附按鈕，加入錄音的懸浮窗view并啟動錄音。
2.FloatViewIdleService
為什么要定義這個service？
這個service用途是，定時掃描是否在待機(jī)桌面，如果是待機(jī)桌面則顯示floatview，否則隱藏。
public class FloatViewIdleService extends Service {
private static Handler mHandler;
private FloatViewIdle floatViewIdle;
private final static int REFRESH_FLOAT_VIEW = 1;
private boolean is_vertical = true;
@Override
public void onCreate() {
super.onCreate();
initHandler();
}
@Override
public int onStartCommand(Intent intent, int flags, int startId) {
mHandler.sendMessageDelayed(mHandler.obtainMessage(REFRESH_FLOAT_VIEW), 500);
FloatViewIdle.IS_START_FROM_FLOAT_VIEW_IDLE = false;
is_vertical = true;
return START_STICKY;
}
protected void initHandler() {
mHandler = new Handler() {
@Override
public void handleMessage(Message msg) {
switch (msg.what) {
case REFRESH_FLOAT_VIEW://1s發(fā)送一次更新floatview消息
updateFloatView();
mHandler.sendMessageDelayed(
mHandler.obtainMessage(REFRESH_FLOAT_VIEW), 1000);
break;
}
}
};
}
private void updateFloatView()
{
boolean isOnIdle = isHome();//判斷是否在待機(jī)界面
floatViewIdle = FloatViewIdle.getInstance(FloatViewIdleService.this);
if(isOnIdle)
{ //待機(jī)界面則顯示floatview
if(floatViewIdle.getFloatViewType() == 0)
{
floatViewIdle.show();
}
else if(floatViewIdle.getFloatViewType() ==
floatViewIdle.FLOAT_ICON_VIEW_TYPE||
floatViewIdle.getFloatViewType() ==
floatViewIdle.FLOAT_RECORD_VIEW_TYPE)
{
if(this.getResources().getConfiguration().orientation ==
Configuration.ORIENTATION_LANDSCAPE)
{
if(is_vertical == true)
{
floatViewIdle.swapWidthAndHeight();
is_vertical = false;
}
}
else if(this.getResources().getConfiguration().orientation ==
Configuration.ORIENTATION_PORTRAIT)
{
if(is_vertical == false)
{
floatViewIdle.swapWidthAndHeight();
is_vertical = true;
}
}
}
}
else
{//否則隱藏floatview
floatViewIdle.hide();
}
}
private boolean isHome()
{
ActivityManager mActivityManager = (ActivityManager)
getSystemService(Context.ACTIVITY_SERVICE);
List rti = mActivityManager.getRunningTasks(1);
try{
if(rti.size() == 0)
{
return true;
}else
{
if(rti.get(0).topActivity.getPackageName().
equals("com.olami.floatviewdemo"))
return false;
else
return getHomes().contains(rti.get(0).topActivity.getPackageName());
}
}
catch(Exception e)
{
return true;
}
}
private List getHomes()
{
List names = new ArrayList();
PackageManager packageManager = this.getPackageManager();
Intent intent = new Intent(Intent.ACTION_MAIN);
intent.addCategory(Intent.CATEGORY_HOME);
List resolveInfo = packageManager.queryIntentActivities(intent,
PackageManager.MATCH_DEFAULT_ONLY);
for (ResolveInfo ri : resolveInfo) {
names.add(ri.activityInfo.packageName);
}
return names;
}
@Override
public void onDestroy() {
super.onDestroy();
if(floatViewIdle != null)
floatViewIdle.setFloatViewType(0);
}
@Override
public IBinder onBind(Intent intent) {
return null;
}
}
3.啟動語音識別
在另一個VoiceSdkService（另一個處理錄音服務(wù)業(yè)務(wù)的service）中，當(dāng)接收到懸浮窗按鈕點擊事件消息時，則啟動錄音服務(wù)，錄音結(jié)束后會在onResult回調(diào)中收到服務(wù)器返回的結(jié)果。
本例用的是olami語音識別，語義理解引擎，olami支持強(qiáng)大的用戶自定義語義，能更好的解決語義理解。
比如同義理解的時候，我要聽三國演義，我想聽三國演義，聽三國演義這本書，類似的說法有很多，olmai就可以為你解決這類的語義理解，olami語音識別引擎使用比較簡單，只需要簡單的初始化，然后設(shè)置好回調(diào)listener，在回調(diào)的時候處理服務(wù)器返回的json字符串即可，當(dāng)然語義還是要用戶自己定義的。
public void init()
{
initHandler();
mOlamiVoiceRecognizer = new OlamiVoiceRecognizer(VoiceSdkService.this);
TelephonyManager telephonyManager=(TelephonyManager) this.getSystemService(
(this.getBaseContext().TELEPHONY_SERVICE);
String imei=telephonyManager.getDeviceId();
mOlamiVoiceRecognizer.init(imei);//設(shè)置身份標(biāo)識，可以填null
mOlamiVoiceRecognizer.setListener(mOlamiVoiceRecognizerListener);//設(shè)置識別結(jié)果回調(diào)listener
mOlamiVoiceRecognizer.setLocalization(
OlamiVoiceRecognizer.LANGUAGE_SIMPLIFIED_CHINESE);//設(shè)置支持的語音類型，優(yōu)先選擇中文簡體
mOlamiVoiceRecognizer.setAuthorization("51a4bb56ba954655a4fc834bfdc46af1",
"asr","68bff251789b426896e70e888f919a6d","nli");
//注冊Appkey，在olami官網(wǎng)注冊應(yīng)用后生成的appkey
//注冊api，請直接填寫“asr”，標(biāo)識語音識別類型
//注冊secret，在olami官網(wǎng)注冊應(yīng)用后生成的secret
//注冊seq ，請?zhí)顚憽皀li”
mOlamiVoiceRecognizer.setVADTailTimeout(2000);//錄音時尾音結(jié)束時間，建議填//2000ms
//設(shè)置經(jīng)緯度信息，不愿上傳位置信息，可以填0
mOlamiVoiceRecognizer.setLatitudeAndLongitude(31.155364678184498,121.34882432933009);
在VoiceSdkService中定義OlamiVoiceRecognizerListener用于處理錄音時的回調(diào)
onError(int errCode)//出錯回調(diào)，可以對比官方文檔錯誤碼看是什么錯誤
onEndOfSpeech()//錄音結(jié)束
onBeginningOfSpeech()//錄音開始
onResult(String result, int type)//result是識別結(jié)果JSON字符串
onCancel()//取消識別，不會再返回識別結(jié)果
onUpdateVolume(int volume)//錄音時的音量，1-12個級別大小音量
本文用的是在線聽書的例子，當(dāng)收到服務(wù)器返回的消息是，進(jìn)入如下函數(shù)：
在下面的函數(shù)中，通過解析服務(wù)器返回的json字符串，提取用戶需要的語義理解字段進(jìn)行處理
private void processServiceMessage(String message)
{
String input = null;
String serverMessage = null;
try{
JSONObject jsonObject = new JSONObject(message);
JSONArray jArrayNli = jsonObject.optJSONObject("data").optJSONArray("nli");
JSONObject jObj = jArrayNli.optJSONObject(0);
JSONArray jArraySemantic = null;
if(message.contains("semantic"))
jArraySemantic = jObj.getJSONArray("semantic");
else{
input = jsonObject.optJSONObject("data").optJSONObject("asr").
optString("result");
sendMessageToActivity(MessageConst.
CLIENT_ACTION_UPDATA_INPUT_TEXT, 0, 0, null, input);
serverMessage = jObj.optJSONObject("desc_obj").opt("result").toString();
sendMessageToActivity(MessageConst.
CLIENT_ACTION_UPDATA_SERVER_MESSAGE, 0, 0, null, serverMessage);
return;
}
JSONObject jObjSemantic;
JSONArray jArraySlots;
JSONArray jArrayModifier;
String type = null;
String songName = null;
String singer = null;
if(jObj != null) {
type = jObj.optString("type");
if("musiccontrol".equals(type))
{
jObjSemantic = jArraySemantic.optJSONObject(0);
input = jObjSemantic.optString("input");
jArraySlots = jObjSemantic.optJSONArray("slots");
jArrayModifier = jObjSemantic.optJSONArray("modifier");
String modifier = (String)jArrayModifier.opt(0);
if((jArrayModifier != null) && ("play".equals(modifier)))
{
if(jArraySlots != null)
for(int i=0,k=jArraySlots.length(); i
}
以我要聽三國演義這句語音，服務(wù)器返回的數(shù)據(jù)如下：
{
"data": {
"asr": {
"result": "我要聽三國演義",
"speech_status": 0,
"final": true,
"status": 0
},
"nli": [
{
"desc_obj": {
"result": "正在努力搜索中，請稍等",
"status": 0
},
"semantic": [
{
"app": "musiccontrol",
"input": "我要聽三國演義",
"slots": [
{
"name": "songname",
"value": "三國演義"
}
],
"modifier": [
"play"
],
"customer": "58df512384ae11f0bb7b487e"
}
],
"type": "musiccontrol"
}
]
},
"status": "ok"
}
1）解析出nli中type類型是musiccontrol,這是語法返回app的類型，而這個在線聽書的demo只關(guān)心musiccontrol這 個app類型，其他的忽略。
2）用戶說的話轉(zhuǎn)成文字是在asr中的result中獲取
3）在nli中的semantic中，input值是用戶說的話，同asr中的result。
modifier代表返回的行為動作，此處可以看到是play就是要求播放，slots中的數(shù)據(jù)表示歌曲名稱是三國演義。
那么動作是play，內(nèi)容是歌曲名稱是三國演義，在這個demo中調(diào)用
mBookUtil.searchBookAndPlay(songName,0,0);會先查詢，查詢到結(jié)果會再發(fā)播放消息要求播放，我要聽三國演義這個流程就走完了。
關(guān)于在線聽書請看博文：http://blog.csdn.net/ls0609/a...
4.源碼下載鏈接
http://pan.baidu.com/s/1o8OELdC
5.相關(guān)鏈接
語音記賬demo：http://blog.csdn.net/ls0609/a...
olami開放平臺語法編寫簡介：http://blog.csdn.net/ls0609/a...
olami開放平臺語法官方介紹：https://cn.olami.ai/wiki/?mp=...
文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請注明本文地址：http://m.specialneedsforspecialkids.com/yun/67617.html
摘要：可以針對筆者常用的數(shù)獨本文的實現(xiàn)都基于該，實現(xiàn)數(shù)獨的識別求解并把答案自動填入。專家級別的平均秒完成求解包括圖像數(shù)字提取，識別過程，完成全部操作。步驟四數(shù)獨求解，生成答案，并生成需要填充的數(shù)字序列。 1 序 ??數(shù)獨是源自18世紀(jì)瑞士的一種數(shù)學(xué)游戲。是一種運(yùn)用紙、筆進(jìn)行演算的邏輯游戲。玩家需要根據(jù)9×9盤面上的已知數(shù)字，推理出所有剩余空格的數(shù)字，并滿足每一行、每一列、每一個粗線宮（3*3...
摘要：模仿的功能掘金本模仿了的功能。國內(nèi)曾經(jīng)出現(xiàn)的團(tuán)購類網(wǎng)站有多家，到四年多以后的現(xiàn)在，美團(tuán)已經(jīng)是成為國內(nèi)最大的本地生活服務(wù)平臺，不管怎餓了么移動的架構(gòu)演進(jìn)掘金引言時代演進(jìn)，技術(shù)也隨之發(fā)展。 模仿 Smartisan OS 的 BigBang 功能 ??? - Android - 掘金 本 Demo 模仿了 Smartisan OS 的 BigBang 功能。App 打開會從剪切板讀取文字并...
摘要：會議主要是加深開發(fā)者對的了解，從而幫助開發(fā)者做好的兼容工作。因此本篇我會選擇性說明一些在上你需要兼容的一些事情。那么現(xiàn)在有哪些會用到這種呢舉一個大家熟悉的。另外目前可以通過在清單文件設(shè)置是否啟用。因此強(qiáng)烈建議將這個工作排上兼容行程。showImg(https://user-gold-cdn.xitu.io/2019/5/27/16af6c9ce913040d); 5 月 20 號參加了 An...
閱讀 3273·2021-11-22 14:44
閱讀 1118·2021-11-16 11:53
閱讀 1271·2021-11-12 10:36
閱讀 705·2021-10-14 09:43
閱讀 3697·2019-08-30 15:55
閱讀 3404·2019-08-30 14:14
閱讀 1742·2019-08-26 18:37
閱讀 3416·2019-08-26 12:12
