本篇文章主要介紹基于聆思CSK6大模型開發(fā)板的語音交互多模態(tài)實(shí)例進(jìn)行二次開發(fā)，實(shí)現(xiàn)在語音喚醒后在屏幕展示GIF動畫表情。

● 通過LGVL官網(wǎng)的工具將GIF轉(zhuǎn)換為適合嵌入式系統(tǒng)使用的格式

● 基于SDK源代碼進(jìn)行修改

● 開發(fā)板編譯與燒錄

在開始實(shí)操之前，我們部署開發(fā)環(huán)境以及SDK工程拉取到本地目錄，可以參考聆思文檔中心環(huán)境搭建 | 聆思文檔中心與獲取大模型套件SDK | 聆思文檔中心。

SDK下載完成后，通過VScode打開audio_recognition_online示例模板 （D:\LISTENAI\duomotai_ap\apps\audio_recognition_online）根據(jù)自己的SDK保存路徑打開

打開src\app_ui\demo_ui\images\ui_img_anim_speak_gif_c

這里原示例中是語音喚醒之后加載語音喚醒“小聆”之后用來模擬聲音的波浪型gif動畫，如果我們想要它加載其他GIF動畫，例如“會動的眼睛”，只需要將你想要替換的GIF動畫的格式在LVGL官網(wǎng)轉(zhuǎn)換為C語言數(shù)組，然后將這部分替換即可。（這里的使用的GIF分辨率為96×36）

打開LVGL官網(wǎng)(Image Converter — LVGL)，

（我這里是翻譯了****，若網(wǎng)頁為英文版，按照順序點(diǎn)擊即可）點(diǎn)擊低電壓保護(hù)器v8，選擇你想要轉(zhuǎn)換的GIF，選擇顏色格式。這里demo中支持的GIF顏色格式為CF_RAW_CHROMA

轉(zhuǎn)變之后打開下載的c文件，復(fù)制全部代碼粘貼到audio_recognition_online\src\app_ui\demo_ui\images\ui_img_anim_speak_gif_c路徑下，粘貼之后需要檢查以下三個地方：

這里我們示例模板中的GIF儲存名稱為ui_img_anim_speak_gif ,所以要將代碼中名稱的部分與GIF.C文件名稱統(tǒng)一?？梢灾苯訌?fù)制替換對應(yīng)位置即可

#ifndef LV_ATTRIBUTE_IMG_ANIM_SPEAK

#define LV_ATTRIBUTE_IMG_ANIM_SPEAK

#endif

const LV_ATTRIBUTE_MEM_ALIGN LV_ATTRIBUTE_LARGE_CONST LV_ATTRIBUTE_IMG_ANIM_SPEAK uint8_t anim_speak_map[] = {

const lv_img_dsc_t ui_img_anim_speak_gif= {

  .header.cf = LV_IMG_CF_RAW_CHROMA_KEYED,

  .header.always_zero = 0,

  .header.reserved = 0,

  .header.w = 96,

  .header.h = 36,

  .data_size = 6028,

  .data = anim_speak_map,

};

本文使用的聆思CSK6大模型開發(fā)板，詳細(xì)信息可參考線上文檔https://docs2.listenai.com/x/nTn9kMMCU

1、  打開 windows powershell/cmd

2、在LISTENAI\duomotai_ap路徑下輸入，開始編譯固件

lisa zep build -b csk6_duomotai_devkit apps\audio_recognition_online -p

3、固件編譯成功之后，輸入進(jìn)行燒錄

lisa zep exec cskburn -s \\.\COM串口號 -C 6 -b 1500000 0x000000 --verify-all .\build\zephyr\zephyr.bin