Arm Neoverse N2 平臺上利用 Arm Kleidi 技術實現(xiàn)自動語音識別卓越性價比

作者：時間：2024-11-12 來源：Arm

加入技術交流群
- 掃碼加入
  和技術大咖面對面交流
  海量資料庫查詢

本文引用地址：http://cafeforensic.com/article/202411/464513.htm

作者：安謀科技 (Arm China) 高級軟件產(chǎn)品經(jīng)理楊喜樂；高級軟件工程師 Fred Jin

自動語音識別 (Automatic Speech Recognition) 技術已經(jīng)深入到現(xiàn)代生活的方方面面，廣泛應用于從語音助手、轉錄服務，到呼叫中心分析和語音轉文本翻譯等方面，為各行各業(yè)提供了創(chuàng)新解決方案，顯著提升了用戶體驗。

隨著機器學習 (ML) 和深度學習的最新進展，自動語音識別技術的精密性已經(jīng)達到一個新的高度。現(xiàn)在，自動語音識別軟件可以非常準確地理解各種口音、方言和說話風格。FunASR 是阿里巴巴達摩院開發(fā)的一款先進的開源自動語音識別工具包。它為開發(fā)和部署自動語音識別系統(tǒng)提供了一套全面的工具和模型。

FunASR 兼容 CPU 和 GPU 計算。雖然 GPU 為訓練深度學習模型提供了出色的性能，但 CPU 在邊緣側和數(shù)據(jù)中心服務器中更為普遍，并且更適合模型推理。因此，F(xiàn)unASR 可以在 CPU 上進行高效的自動語音識別推理，并能在 GPU 加速不可用的情況下（如成本限制、功耗限制或缺乏可用性等），依然能夠順利部署。

Arm Neoverse N2 是一款專為云和邊緣計算設計的高性能 CPU 處理器。它可以支持包括人工智能 (AI) 和 ML 在內的多種云工作負載，并增加了 SVE2、Bfloat16 (BF16) 數(shù)據(jù)格式和 MMLA 等 AI 功能。

SVE2 使開發(fā)者能夠操作更大的數(shù)據(jù)向量，提升并行處理能力和執(zhí)行效率，這對于 AI 模型訓練和推理階段涉及的大量數(shù)學計算尤為重要。

BF16 是一種較新的浮點格式，專為 AI 和 ML 應用而設計。它提供與 32 位浮點數(shù)相同的動態(tài)范圍，但僅占用 16 位存儲空間，有效縮小了模型尺寸，并顯著提升了計算效率。

MMLA 是 Armv8.6 中的一個架構特性。它為 GEMM 運算提供了顯著加速。GEMM 是 ML 中的一種基本算法，對兩個輸入矩陣進行復雜的乘法運算，得到一個輸出。

Arm 此前推出了 Arm Kleidi 技術，這是一套專為開發(fā)者設計的賦能技術，旨在增強 Arm Neoverse、Arm Cortex 等 Arm 平臺上的 AI 性能。Kleidi 技術廣泛涉及從框架到高度優(yōu)化的算子庫，再到充滿活力的獨立軟件供應商 (ISV) 生態(tài)系統(tǒng)，全面覆蓋了 AI 開發(fā)的關鍵環(huán)節(jié)。

在本文中，我們將分享在基于 Neoverse N2 的阿里巴巴倚天 710 平臺上部署 FunASR 推理過程及基準測試方法。同時，我們將通過啟用 Arm Kleidi 技術進行對比分析，重點介紹與其他基于 CPU 和 GPU 的平臺相比，在倚天 710 CPU 上運行 FunASR 推理在性價比方面的主要優(yōu)勢。

基準測試設置

軟件版本：

Ubuntu 22.04（64 位）

PyTorch v2.3.0

pip install funasr==0.8.8

pip install modelscope==1.10.0

模型： speech_paraformer-large_asr_nat-zh-cn-16k-common-vocab8404-pytorch

請確保系統(tǒng)上安裝了 PyTorch 和相關的 python 庫 ^[1]，如果在 Arm 平臺上運行，可使用 Arm 在 docker 倉庫中提供的 PyTorch docker 鏡像 ^[2]，以便進行快速評估。

對環(huán)境進行初始化并導入所需的依賴項

export OMP_NUM_THREADS=16

export DNNL_VERBOSE=1

import torch

import torch.autograd.profiler as profiler

import os

import random

import numpy as np

from funasr.tasks.asr import ASRTaskParaformer as ASRTask

from funasr.export.models import get_model

from modelscope.hub.snapshot_download import snapshot_download

下載并配置模型

Paraformer 是阿里巴巴達摩院在 FunASR 開源項目中開發(fā)的一款高效自動語音識別模型，旨在提高端到端語音識別系統(tǒng)的魯棒性和效率。該模型基于 Transformer 架構，并融入了多項創(chuàng)新，以提升其在語音識別中的性能。為了進行基準測試，我們將使用魔搭社區(qū)中的 FunASR paraformer 模型 ^[3]。

model_dir = snapshot_download('damo/speech_paraformer-large_asr_nat-zh-cn-16k-common-vocab8404-pytorch', cache_dir='./',revision=None)

#set the radom seed 0

random.seed(0)

np.random.seed(0)

torch.random.manual_seed(0)

model, asr_train_args = ASRTask.build_model_from_file(

'damo/speech_paraformer-large_asr_nat-zh-cn-16k-common-vocab8404-pytorch/config.yaml','damo/speech_paraformer-large_asr_nat-zh-cn-16k-common-vocab8404-pytorch/model.pb' ,'damo/speech_paraformer-large_asr_nat-zh-cn-16k-common-vocab8404-pytorch/am.mvn' , 'cpu')

model = get_model(model, dict(feats_dim=560, onnx=False, model_name="model"))

使用性能分析器運行以獲取模型推理結果

推理運行十次迭代以獲得平均結果。

batch = 64

seq_len = 93

dim = 560

speech = torch.randn((batch, seq_len, dim))

speech_lengths = torch.tensor([seq_len for _ in range(batch)], dtype=torch.int32)

with torch.no_grad():

with profiler.profile(with_stack=True, profile_memory=False, record_shapes=True) as prof:

for _ in range(10):

model(speech, speech_lengths)

print(prof.key_averages(group_by_input_shape=True).table(sort_by='self_cpu_time_total', row_limit=200))

使用 BF16 Fast Math 內核加速推理

作為 Arm Kleidi 技術的一部分，Arm Compute Library (ACL) 通過利用 BF16 MMLA 指令，提供了優(yōu)化的 BF16 通用矩陣乘法 (GEMM) 內核。這些指令在 Neoverse N2 CPU 中得到支持，并且從 PyTorch 2.0 版本開始便通過 oneDNN 后端集成到了 PyTorch 中。ACL 中的 Fast Math GEMM 內核可以高度優(yōu)化 CPU 上的推理性能。

要啟用 Fast Math GEMM 內核，請在運行推理之前設置以下環(huán)境變量：

$ export DNNL_DEFAULT_FPMATH_MODE=BF16

我們發(fā)現(xiàn)，在基于 Neoverse N2 的倚天 710 平臺上啟用 BF16 Fast Math 內核后，與默認的 FP32 內核相比，性能提高了約 2.3 倍。

性能比較

我們還比較了 FunASR paraformer 模型在倚天 710 和阿里云其他同等級別云實例上的性能*。

Arm Neoverse N2（倚天 710）：

ecs.c8y.4xlarge (16 vCPU + 32GB)

第 4 代英特爾至強“Sapphire Rapids”：

ecs.c8i.4xlarge (16 vCPU + 32GB)

第 4 代 AMD EPYC“Genoa”：

ecs.c8a.4xlarge (16 vCPU + 32GB)

*使用 armswdev/pytorch-arm-neoverse:r24.07-torch-2.3.0-onednn-acl docker 鏡像的倚天 710 ^[2]，適用于英特爾 Sapphire-Rapids 和 AMD Genoa 的官方 PyTorch v2.3.0

我們發(fā)現(xiàn)，基于 Neoverse N2 的倚天 710，搭配 BF16 Fast Math 內核，使得 paraformer 自動語音識別模型的推理性能較同等級別的 x86 云實例有高達 2.4 倍的優(yōu)勢。

在實際推理部署中，成本是 AI 部署的主要考慮因素之一，對技術的實現(xiàn)和采用有很大的影響。為全面了解 CPU 和 GPU 平臺上自動語音識別推理部署的總體擁有成本 (TCO)，我們將 NVIDIA A10 GPU 也納入對比分析中。得益于 Neoverse N2 出色的性能和能效，倚天 710 平臺相較于同等級別 x86 實例和 GPU 平臺，展現(xiàn)出更高的成本效益，這一點也體現(xiàn)在了阿里云倚天 710 實例更普惠的定價上。