Transcripción de reuniones en Ascend 310P: matriz de versiones, conversión de modelos y siete lecciones de campo
¿Puede una tarjeta de inferencia de borde manejar la reunión transcripción de voz? Este artículo documenta la implementación de un motor ASR chino en el entorno de alineación Ascend 310P - CANN, los parámetros ATC que importan al convertir ONNX a OM, los cuatro dispositivos que debe montar un contenedor, cómo establecer dimensiones dinámicas y siete lecciones que solo se aprenden en el sitio. El más peligroso es un fallo silencioso del operador que produce una salida de cero sin ningún error.
Este artículo documenta el despliegue de un motor de discurso chino transcripción de voz en el Tarjeta de inferencia Ascend 310P. La 310P es una tarjeta de inferencia de borde con un posicionamiento diferente a la 910B, y sus escenarios están más cerca del procesamiento local en la sala.
Base de datos: las cifras marcadas como "especificación oficial" provienen de métricas de productos publicadas; la tabla de rendimiento da a Valores de referencia para un entorno típico. Los números reales varían según las condiciones de audio, el tamaño del modelo y la estrategia de concurrencia, siempre respete sus propias mediciones.
Lo que es bueno en el 310P y lo que no es
No hay escasez de artículos de Nosotros el Ascend 310P, pero la mayoría se detiene en "CANN está instalado y la demostración se ejecuta". La verdadera trampa es el Ponerlo en funcionamiento una vez y servirlo de manera confiable son dos cosas completamente diferentes.
La conclusión al frente:
| Dimensión | Comportamiento 310P | Notas |
|---|---|---|
| Posicionamiento | Tarjeta de Inferencia Edge | No es una tarjeta de entrenamiento; no espere afinarla |
| Separado con el 910B | El nodo Edge | 910B maneja la inferencia central, 310P maneja el procesamiento local |
| Concurrencia transcripción de voz pura por tarjeta | Decenas de corrientes | Base de modelo único ASR (valor de referencia) |
| Concurrencia de tubería completa | caídas significativas | Una vez que se agregan separación de hablantes y la estructuración |
| Precisión china transcripción de voz | ≥ 98% | Escenario de reuniones estándar en mandarín (especificación oficial) |
| Cobertura dialectal | 22 Dialectos | Detección automática (especificación oficial) |
Una trampa de selección vale la pena marcar: muchos proveedores citan la concurrencia sin indicar la base. "XX flujos por tarjeta" podría significar ASR puro, o podría significar la tubería completa. Los dos pueden diferir varias veces más. Siempre pregunte qué capa cubre el número.
Nuestro Arquitectura típico es 910B en el centro, 310P en el borde: el audio se transcribe localmente en la sala de reuniones, y solo el texto estructurado regresa al centro. Esto mantiene el ancho de banda bajo control y satisface un requisito de "datos no salen de la sala de reuniones".
Preparación del entorno: la matriz de versiones es el verdadero obstáculo
El punto de dolor en el Ascend Ecosistema nunca es el cálculo - es Alineación de versiones. Controlador, firmware, CANN, tiempo de ejecución de contenedores, marco de inferencia, formato de modelo: Si alguno de los seis está desalineado, produce un fallo desconcertante., y el mensaje de error con frecuencia no dice lo que salió mal.
Una combinación que hemos verificado y encontrado estable:
| Componente | Versión | Notas |
|---|---|---|
| Conductor / firmware | Fuertemente ligado a CANN | Compruebe la tabla oficial de compatibilidad antes de actualizar |
| CANN | Serie 8.x | La biblioteca del operador y la herramienta de conversión ATC están disponibles aquí |
| Contenedor Runtime | Ascend Docker Tiempo de ejecución | Requerido; Docker ordinario no puede montar la NPU |
| Marco de Inferencia | ONNX Runtime + ACL | Modelos OM |
| Os | OpenEuler / Kylin V10 / UnionTech UOS | Común en los entornos de Xinchuang |
El primer paso es siempre confirmar que la NPU es visible:
# Check NPU devices and status
npu-smi info
# You should see the device list with health status OK
# If no card appears here, everything downstream is wasted — fix the driver first
Lección de campo: en algunos entornos de Kylin V10,
npu-smi infoinformó una excepción de demoniodmpdespués de instalar el controlador. La causa resultó ser un conflicto entre el paquetedkmsdel sistema y el script de instalación del controlador. La solución fue desinstalar el sistema dkms y reinstalar usando la versión incluida con el paquete de controladores.Problemas específicos de distribución como este No se encuentran normalmente en la documentación oficial., y son el bloqueador más común en el sitio.
Conversión de modelo: ONNX a OM
Los modelos de ASR suelen ser entrenados en PyTorch, exportados a ONNX, y luego convertidos al formato Ascend OM con ATC.
Tres cosas a tener en cuenta al exportar ONNX
torch.onnx.export(
model, dummy_input,
"asr.onnx",
opset_version=14, # Do not use the newest; lower opset versions are more compatible
do_constant_folding=True,
input_names=["audio", "audio_len"],
output_names=["logits"],
dynamic_axes={ # Critical: audio length is inherently dynamic
"audio": {0: "batch", 1: "time"},
"logits": {0: "batch", 1: "time"},
},
)
- Una versión más alta de opset no es mejor. Los opset más nuevos son más propensos a golpear a los operadores no compatibles; 14 es una buena opción de compatibilidad.
- Se deben declarar ejes dinámicos. De lo contrario, solo puede ejecutar audio de longitud fija, lo que no es utilizable en la práctica.
- Permite el plegado constante.
do_constant_folding=Truereduce sustancialmente el tamaño del gráfico y mejora el éxito de la conversión.
Los parámetros ATC, uno por uno
atc --model=asr.onnx \
--framework=5 \
--output=asr_om \
--input_format=ND \
--input_shape="audio:-1,-1;audio_len:-1" \
--dynamic_dims="1,16000;1,32000;1,48000" \
--soc_version=Ascend310P \
--precision_mode=allow_fp16 \
--log=error
Los tres parámetros más propensos a causar problemas:
--soc_version: Debe coincidir con el hardware real exactamente. El 310P debe escribirse comoAscend310P;Ascend310oAscend910Bfallarán en la etapa de carga, con un error muy vago.--dynamic_dims: los niveles dinámicos. Para audio, nivel Duración en segundos. Demasiados niveles hacen que el tiempo de compilación explote; Demasiados pocos desencadenan la recompilación frecuente y la latencia jittery. El conjunto de arriba (1s / 2s / 3s) es el punto de equilibrio que medimos.--precision_mode:allow_fp16tiene un impacto insignificante en la precisión de ASR y una clara ganancia de rendimiento.
¿Deberías cuantificar?
| precisión | throughput | Precisión |
|---|---|---|
| FP16 | Baselín | Baselín |
| INT8 | ganancia clara | Pérdida perceptible |
Conclusión: para escenarios extremadamente sensibles a la precisión - médico, legal - Permanecer en el FP16. Para reuniones internas y registros de entrenamiento, donde la tolerancia es más alta, INT8 es el mejor comercio.
No persiga los números de referencia con INT8 ciegamente. En los escenarios de reuniones, la pérdida de precisión se presenta como "cada nombre incorrecto, cada término incorrecto", y el costo de reelaboración excede con creces el cálculo que ha ahorrado.
Despliegue: la contenerización es la única opción sensata
Instalar el entorno en metal desnudo es prácticamente insostenible en entornos de Xinchuang. Envíamos como un contenedor:
docker run -it --name asr_server \
--device /dev/davinci0 \
--device /dev/davinci_manager \
--device /dev/devmm_svm \
--device /dev/hisi_hdc \
-v /usr/local/Ascend/driver:/usr/local/Ascend/driver \
-v /data/models:/models \
-p 8000:8000 \
asr-server:310p \
./asr_server --model /models/asr_om --port 8000
La falta de cualquiera de esas banderas --device produce un error de inicialización de ACL., y el error no le dice que se omitió un dispositivo. Este es el bloqueador más grande para los recién llegados.
Una lección más: Use RESTful estándar (archivo transcripción de voz) más WebSocket (transmisión en tiempo real), o la integración con los sistemas de OA y reuniones de un cliente se vuelve muy dolorosa.
Los clientes que ya tienen servidores pueden implementar el pure-software speech engine directamente, obteniendo transcripción de voz privado en aceleradores nacionales sin comprar hardware.
Siete lecciones del campo
Es la parte más valiosa del artículo. Cada elemento fue aprendido de la manera difícil, no copiado de la documentación.
1. Las formas dinámicas causan una recompilación frecuente No establecemos --dynamic_dims al principio, por lo que cada clip de audio de diferente tamaño desencadenó una compilación de gráficos y la latencia aumentó a segundos. Una vez que se configuraron las capas, la latencia se estableció en el rango de subsegundos.
2. El audio largo agota la memoria La alimentación de una grabación de una reunión de dos horas al modelo en una sola pasada causó un OOM inmediato. Debes usar Inferencia incremental segmentada - cortado por VAD y alimentar el decodificador segmento por segmento en lugar de cargar todo. Más tarde, agregamos un 60 segundos forzados en el búfer de audio, lo que eliminó el riesgo de OOM por completo.
3. Fallo del operador silencioso Una variante particular de LayerNorm no tenía un operador correspondiente en Ascend. Esta es la clase más peligrosa de fracaso, porque parece éxito. Debe realizar una verificación de equivalencia: alimenta el mismo audio a través del tiempo de ejecución ONNX en CPU y el OM en NPU, luego compara las salidas. Esta es la única alternativa: no te la saltes.
Las versiones anteriores de 4. Fugas de contexto bajo concurrencia multihilo crearon un contexto ACL separado por solicitud, agotando los contextos bajo alta concurrencia. Contexto Pooling lo ha arreglado.
5. Una actualización del controlador significa volver a convertir el modelo Después de una actualización importante de CANN, un modelo OM antiguo puede no cargarse o retroceder en el rendimiento. Poner la conversión de modelo en CI en lugar de convertir a mano y llamarlo hecho.
6. Embalaje offline para entornos con brechas de aire En un entorno físicamente aislado, Dependencias CANN, controladores, pesos de modelo, fuentes chinas y certificados debe ser empaquetado de antemano. Lo hicimos una vez: un Fuente china faltante en el sitio, y cada resultado de transcripción de voz salió como cajas. por El paquete sin conexión debe ser ensayado a través del flujo de implementación completo en un entorno equivalente.
7. Mensajes de error descarrilar el diagnóstico Algunos errores de Ascend sólo dan un código, no una causa raíz. Una vez pasamos tres días en una falla de carga sin progreso, y resultó ser un soc_version incorrecto. La lección: cuando te encuentres con un error vago, vuelve a verificar la matriz de versiones desde la parte superior. - es mucho más rápido que leer los registros línea por línea.
El pipeline completo: del discurso a acta de reunión
Un último punto: El discurso transcripción de voz es sólo el primer paso.
Lo que necesita un escenario real es "acta de reunión cuando termine la reunión". Esto requiere separación de hablantes, estructuración semántica (temas, decisiones, elementos de acción) y generación acta de reunión después de la etapa ASR. Capa de estos tres en Reducir considerablemente la competencia - que es exactamente por qué seguimos haciendo hincapié en que debe preguntar qué capa cubre un número de concurrencia.
Nuestro enfoque ejecuta toda la tubería en un solo servidor, con audio y texto nunca saliendo de la red interna. Para los escenarios gubernamentales, financieros y de defensa, ese es un requisito difícil.
Cuándo no elegir aceleradores nacionales
Seamos directos Nosotros esto en lugar de empujarlo.
Si su situación cumple con cualquiera de los siguientes, Use un GPU en su lugar:
- Ningún requisito obligatorio de Xinchuang o tecnología doméstica → el GPU Ecosistema es mucho más maduro; no te creas problemas
- Nadie en el equipo conoce a Can → el costo operativo excederá con creces el dinero ahorrado en hardware
El valor de los aceleradores domésticos es Cumplimiento, no la rentabilidad. Si el cumplimiento no es una restricción dura, la aritmética no funciona.
Apéndice: lista completa de compatibilidad
| Componente | Rango soportado |
|---|---|
| Ascend | 310P y 910B |
| Cambricon | MLU370 / MLU590 |
| Hygón | DCU |
| NVIDIA | / L4 / A10 / A100 y la gama completa |
| Sólo CPU | Compatible (concurrencia baja / reutilización de hardware existente) |
Despliegue a través de Docker y Kubernetes, que se ejecuta en entornos bare metal, nube gubernamental y Xinchuang, integrándose con OA y sistemas de reuniones a través de interfaces estándar RESTful / WebSocket.
Leer más: Private ASR on the Ascend 910B | How to choose a private-deployment ASR
FAQ
Q: ¿Cómo elegir entre Ascend 310P y 910B?
A: Depende de la forma de carga de trabajo. La 310P es una tarjeta de inferencia de borde enfocada en el procesamiento local y de baja potencia, adecuada para oficinas de sucursal y procesamiento en sala; la 910B tiene más computación y se adapta a la inferencia central y la agregación de alta concurrencia. El Arquitectura típico utiliza el 910B como nodo central y las tarjetas 310P como nodos de borde, por lo que el audio se transcribe localmente y sólo el texto estructurado regresa al centro.
Q: ¿Cuántos flujos de transcripción de voz de reunión concurrentes puede manejar un 310P?
A: Definición importa. Los flujos concurrentes para ASR transcripción de voz puros son relativamente altos; una vez que separación de hablantes, la corrección de terminología y la generación de acta de reunión se superponen, el número disminuye significativamente. Si un vendedor cita una cifra sin decir si cubre transcripción de voz puro o la tubería completa, los dos pueden diferir varias veces más, siempre pregunte.
Q: ¿Por qué la alineación de versiones es la parte más difícil de la implementación de Ascend?
A: En el Ascend Ecosistema el controlador, firmware, CANN, tiempo de ejecución de contenedores, marco de inferencia y formato de modelo están mutuamente vinculados. Cualquier desajuste causa un error de carga, y el mensaje de error es a menudo vago y no indica el problema de la versión. El enfoque confiable es bloquear primero la combinación contra la tabla de compatibilidad oficial, luego instalar en orden, sin mezclar paquetes de controladores de diferentes lotes.
Q: ¿Qué sucede si soc_version es incorrecta al convertir ONNX a OM?
A: El modelo falló en la etapa de carga, y el error no indica un desajuste del modelo. Para el 310P debe escribir Ascend310P; escribiendo Ascend310 o Ascend910B fallará en la carga. La vaguedad de este error es una de las formas más fáciles de engañar en el sitio.
Q: ¿Por qué debo ejecutar una verificación de equivalencia después de la conversión del modelo?
A: Porque existen los fracasos silenciosos. Cuando una variante del operador no tiene implementación en Ascend, la conversión ATC no informa de un error, pero el tiempo de ejecución produce una salida total de cero. Este tipo de falla no muestra nada inusual en los registros. La única alternativa es ejecutar el mismo audio a través del tiempo de ejecución ONNX en CPU y el OM en NPU y comparar la salida capa por capa.
Q: ¿Por qué el audio largo agota la memoria?
A: La alimentación de una grabación completa de una reunión al modelo en una sola pasada es un error común. La carga de una grabación de dos horas causa directamente un fallo de memoria. El enfoque correcto es segmentar por detección de actividad de voz y ejecutar la inferencia incremental segmento por segmento, con un tope en el búfer, en lugar de cargar toda la grabación.
Q: ¿Qué dispositivos deben montarse en contenedores para Ascend?
A: Debes montar los cuatro dispositivos /dev/davinci0, /dev/davinci_manager, /dev/devmm_svm y /dev/hisi_hdc, junto con el directorio de controladores. Faltando cualquiera de ellos desencadena un error de inicialización de ACL, y el error no le dice que falta un dispositivo, este es el bloqueador más común para los recién llegados.
Q: ¿Cómo puedo implementar fuera de línea en un entorno con brecha de aire?
A: Un entorno físicamente aislado no tiene una red externa, por lo que las dependencias CANN, los controladores, los pesos del modelo, las fuentes chinas y los certificados deben ser empaquetados de antemano. Una vez encontramos una fuente china faltante en el sitio y todos los resultados de transcripción de voz salieron como cajas El paquete sin conexión debe ser ensayado a través del flujo completo de implementación en un entorno equivalente.