Meeting-Transkription auf dem Ascend 310P: Versionsmatrix, Modellkonvertierung und sieben Lehren aus der Praxis

Dieser Artikel dokumentiert die Implementierung einer chinesischen Sprach-Sprachtranskription - Engine auf dem Ascend 310P Inferenzkarte. Die 310P ist eine Edge-Inferenz - Karte mit einer anderen Positionierung als die 910B, und ihre Szenarien sind näher an der lokalen Verarbeitung im Raum.

Datenbasis: Zahlen mit der Bezeichnung "offizielle Spezifikation" stammen aus veröffentlichten Produktmetriken; die Leistungstabelle gibt Referenzwerte für eine typische Umgebung an. Tatsächliche Zahlen variieren je nach Audiobedingungen, Modellgröße und Gleichzeitungsstrategie - lassen Sie sich immer auf Ihre eigenen Messungen zurück.

Was der 310P gut ist und was nicht

Es gibt keinen Mangel an Artikeln Über uns die Ascend 310P, aber die meisten stoppen bei "CANN ist installiert und die Demo läuft". Die eigentliche Falle ist, dass Es einmal in Betrieb zu bringen und zuverlässig zu bedienen, sind zwei völlig verschiedene Dinge.

Die Schlussfolgerung vorne:

Dimension	310P Verhalten	Notizen
Positionierung	Edge Inferenzkarte	Keine Trainingskarte; erwarten Sie nicht, darauf einzustimmen
Splitter mit 910B	Edge-Node	910B handhabt zentrale Inferenz, 310P handhabt lokale Verarbeitung
Pure Sprachtranskription-Konkurrenz pro Karte	Zehn Streams	ASR Einzelmodellbasis (Referenzwert)
Full-Pipeline - Konkurrenz	drückt deutlich	Sobald Sprechertrennung und Strukturierung hinzugefügt werden
Chinesische Sprachtranskription Genauigkeit	≥ 98%	Standard Mandarin-Meeting - Szenario (offizielle Spezifikation)
Dialekt Abdeckung	22 Dialekte	Automatische Erkennung (offizielle Spezifikation)

Eine Auswahlfalle lohnt sich Flagging: Viele Anbieter zitieren Koncurrency ohne die Grundlage anzugeben. "XX Streams pro Karte" könnte reine ASR bedeuten, oder es könnte die volle Pipeline bedeuten. Die beiden können sich mehrfach unterscheiden. Fragen Sie immer, welche Schicht die Zahl abdeckt.

Unser typischer Architektur ist 910B in der Mitte, 310P am Rand: Audio wird lokal im Besprechungsraum transkribiert und nur strukturierter Text kommt ins Zentrum zurück. Dadurch wird die Bandbreite unter Kontrolle gehalten und die Anforderung „Daten verlassen den Besprechungsraum nicht" erfüllt.

Umgebungsvorbereitung: Die Versionsmatrix ist das wahre Hindernis

Der Schmerzpunkt im Ascend Ökosystem ist nie Berechnung - es ist Versions-Alignment. Treiber, Firmware, CANN, Container-Laufzeit, Inferenz-Framework, Modellformat: Wenn einer der sechs fehl ausgerichtet ist, erzeugt es ein verwirrendes Versagen., und die Fehlermeldung sagt häufig nicht, was falsch gelaufen ist.

Eine Kombination, die wir überprüfen und als stabil befunden haben:

Komponenten	Versionen	Notizen
Treiber / Firmware	Eng an Cannes gebunden	Überprüfen Sie die offizielle Kompatibilitätstabelle vor dem Upgrade
Kann	8.x-Serie	Die Operator-Bibliothek und das ATC-Konvertierungstool live hier
Container-Runtime	Ascend Docker Runtime	Erforderlich; normaler Docker kann die NPU nicht montieren
Inferenz-Framework	ONNX Laufzeit + ACL	Führen Sie OM Modelle
OS	OpenEuler / Kylin V10 / UnionTech UOS	Gemeinsam in Xinchuang Umgebungen

Der erste Schritt besteht immer darin, zu bestätigen, dass die NPU sichtbar ist:

# Check NPU devices and status
npu-smi info

# You should see the device list with health status OK
# If no card appears here, everything downstream is wasted — fix the driver first

Ein Feld-Lektion: Auf einigen Kylin V10 - Umgebungen meldete npu-smi info nach der Installation des Treibers eine dmp-Daemon - Ausnahme. Die Ursache stellte sich heraus, dass ein Konflikt zwischen dem mit dem System gebündelten dkms und dem Treiberinstallationsskripte war. Der Fix bestand darin, das System dkms zu deinstallieren und neu zu installieren, indem man die Version mit dem Treiberpaket zusammenbrachte.

Distributionsspezifische Probleme wie diese Sie sind in der Regel nicht in der offiziellen Dokumentation zu finden., und sie sind der häufigste Blocker auf der Website.

Modellumwandlung: ONNX nach OM

ASR-Modelle werden typischerweise in PyTorch trainiert, in ONNX exportiert und dann mit ATC in das Ascend-OM Format konvertiert.

Drei Dinge, die Sie beim Export von ONNX beachten sollten

torch.onnx.export(
    model, dummy_input,
    "asr.onnx",
    opset_version=14,          # Do not use the newest; lower opset versions are more compatible
    do_constant_folding=True,
    input_names=["audio", "audio_len"],
    output_names=["logits"],
    dynamic_axes={              # Critical: audio length is inherently dynamic
        "audio": {0: "batch", 1: "time"},
        "logits": {0: "batch", 1: "time"},
    },
)

1. Eine höhere Opset-Version ist nicht besser. Neuere Opsets treffen eher nicht unterstützte Operatoren; 14 ist eine gute Kompatibilitätswahl.
2. Dynamische Achsen müssen deklariert werden. Ansonsten können Sie nur Audio mit fester Länge ausführen, was in der Praxis nicht nutzbar ist.
3. Ermöglicht kontinuierliches Folding. do_constant_folding=True reduziert Graphengröße erheblich und verbessert Conversion-Erfolg.

Die ATC-Parameter, eins nach dem anderen

atc --model=asr.onnx \
    --framework=5 \
    --output=asr_om \
    --input_format=ND \
    --input_shape="audio:-1,-1;audio_len:-1" \
    --dynamic_dims="1,16000;1,32000;1,48000" \
    --soc_version=Ascend310P \
    --precision_mode=allow_fp16 \
    --log=error

Die drei Parameter, die am wahrscheinlichsten Probleme verursachen:

• --soc_version: Es muss genau die tatsächliche Hardware entsprechen. Der 310P muss als Ascend310P geschrieben werden; Ascend310 oder Ascend910B scheitern beide in der Ladephase, mit einem sehr vage Fehler.
• --dynamic_dims: Die dynamischen Schichten. Für Audio, Dauer in Sekunden. Zu viele Ebenen machen die Compile-Zeit explodieren; zu wenige lösen häufige Rekompilierung und jittery Latenz aus. Der Satz oben (1s / 2s / 3s) ist der Balancepunkt, den wir gemessen haben.
• --precision_mode: allow_fp16 hat einen vernachlässigbaren Einfluss auf die Genauigkeit von ASR und einen deutlichen Durchsatzgewinn.

Sollten Sie Quantisieren?

Präzision	Durchput	Genauigkeit
FP16	Baseline	Baseline
INT8	Klarer Gewinn	wahrnehmbarer Verlust

Schlussfolgerung: für extrem empfindliche Szenarien - medizinisch, rechtlich - Bleiben Sie auf FP16. Für interne Meetings und Trainingsaufzeichnungen, bei denen die Toleranz höher ist, INT8 ist der bessere Handel.

Verfolgen Sie mit INT8 nicht blind nach Benchmarkzahlen. In Meetings-Szenarien zeigt sich der Genauigkeitsverlust als "jeder Name falsch, jeder Begriff falsch", und die Nacharbeitskosten übersteigen bei weitem die von Ihnen gespeicherte Berechnung.

Deployment: Containerisierung ist die einzige sinnvolle Wahl

Die Installation der Umgebung auf Bare Metall ist in Xinchuang-Umgebungen praktisch nicht haltbar. Wir liefern als Container:

docker run -it --name asr_server \
  --device /dev/davinci0 \
  --device /dev/davinci_manager \
  --device /dev/devmm_svm \
  --device /dev/hisi_hdc \
  -v /usr/local/Ascend/driver:/usr/local/Ascend/driver \
  -v /data/models:/models \
  -p 8000:8000 \
  asr-server:310p \
  ./asr_server --model /models/asr_om --port 8000

Das Fehlen eines dieser --device-Flags führt zu einem ACL-Initialisierungsfehler., und der Fehler sagt Ihnen nicht, dass ein Gerät ausgelassen wurde. Dies ist der größte Block für Newcomers.

Noch eine Lektion: Erfindet kein privates Protokoll. Standard RESTful (Datei Sprachtranskription) plus WebSocket (Echtzeit-Streaming) verwenden, oder die Integration mit einem Kunden OA und Meeting-Systeme wird sehr schmerzhaft.

Kunden, die bereits über Server verfügen, können den pure-software speech engine direkt einsetzen und erhalten private Sprachtranskription auf inländischen Beschleunigern ohne Hardware zu kaufen.

Sieben Lektionen aus dem Feld

Dies ist der wertvollste Teil des Artikels. Jedes Element wurde auf harte Weise gelernt, nicht aus der Dokumentation kopiert.

1. Dynamische Formen verursachen häufige Rekompilierungen Wir haben --dynamic_dims zunächst nicht eingestellt, so dass jeder unterschiedliche Audio-Clip eine Graphkompilation auslöste und die Latenz auf Sekunden stieg. Sobald die Ebenen konfiguriert wurden, ließ sich die Latenz im Bereich der Untersekunden fest.

2. Langes Audio erschöpft Gedächtnis Die Einführung einer zweistündigen Besprechungsaufzeichnung in das Modell in einem Durchgang führte zu einem sofortigen OOM. Sie müssen Segmentierte Inkrementelle Inferenz - cut by VAD verwenden und den Decoder Segment für Segment füttern, anstatt das Ganze zu laden. Später haben wir einen 60 - Sekunden-Cap auf den Audiopuffer hinzugefügt, wodurch das OOM-Risiko vollständig eliminiert wurde.

3. Silent Operator Failure Eine bestimmte LayerNorm-Variante hatte keinen entsprechenden Operator auf Ascend. ATC meldete bei der Konvertierung keinen Fehler, und die Laufzeit gab alle Nullen zurück. Dies ist die gefährlichste Klasse des Scheiterns, weil es wie Erfolg aussieht. Sie müssen eine Äquivalenzprüfung durchführen: Führen Sie das gleiche Audio über ONNX Runtime auf CPU und das OM auf NPU, vergleichen Sie dann die Ausgänge. Dies ist der einzige Fallback - überspringen Sie es nicht.

Frühere Versionen von 4. Context Leakage unter Multithreaded-Koncurrency erstellten pro Anforderung einen separaten ACL-Kontext, der Kontexte unter hoher Gleichzeitigkeit erschöpfte. Kontext-Pooling hat es gelöst.

5. Ein Treiber-Upgrade bedeutet, dass das Modell neu konvertiert wird. Nach einem großen CANN-Upgrade kann ein altes OM-Modell nicht geladen werden oder die Leistung zurückgehen. ZModellkonvertierung in CI setzennstatt von Hand zu konvertieren und es getan zu nennen.

6. Offline-Verpackung für Luftlücke-Umgebungen In einer physisch isolierten Umgebung müssen alle CANN-Abhängigkeiten, Treiber, Modellgewichte, chinesische Schriftarten und Zertifikate im Voraus verpackt werden. Wir haben es einmal getroffen: ein Chinesische Schriftzeichen fehlen vor Ort, und jedes Sprachtranskription-Ergebnis kam als Boxen heraus. Das Offline-Bundel muss durch den vollständigen Deployment-Flow in einer gleichwertigen Umgebung geprobt werden.

7. Irreführende Fehlermeldungen entgleiten die Diagnose Einige Ascend-Fehler geben nur einen Code an, keine Ursache. Wir verbrachten einmal drei Tage mit einem Ladefehler ohne Fortschritte, und es stellte sich heraus, dass es sich um einen falschen soc_version handelte. Die Lektion: Wenn Sie einen vage Fehler treffen, überprüfen Sie die Versionsmatrix von oben - es ist viel schneller als das Lesen von Protokollen Zeile für Zeile.

Die komplette Pipeline: Von der Rede bis zum Besprechungsprotokoll

Ein letzter Punkt: Die Sprachtranskription-Rede ist nur der erste Schritt.

Was ein echtes Szenario braucht, ist „Besprechungsprotokoll wenn das Meeting beendet ist". Das erfordert Sprechertrennung, semantische Strukturierung (Themen, Entscheidungen, Aktionspunkte) und Besprechungsprotokoll-Generation nach der ASR-Phase. Diese drei Schichten auf Reduziert die Konkurrenz erheblich - genau deshalb betonen wir immer wieder, dass Sie fragen müssen, welche Schicht eine Gleichzeitungsnummer abdeckt.

Unser Ansatz führt die gesamte Pipeline auf einem einzigen Server aus, wobei Audio und Text nie das interne Netzwerk verlassen. Für Regierungs -, Finanz- und Verteidigungs-Szenarien ist das eine harte Voraussetzung.

Wenn Sie sich für inländische Beschleuniger entscheiden sollten

Lassen Sie uns das Über uns gerade sein, anstatt es zu drücken.

Wenn Ihre Situation eines der folgenden Punkte erfüllt, Verwenden Sie stattdessen einen GPU:

• Keine obligatorische Xinchuang- oder inländische Technologieanforderung → der GPU Ökosystem ist viel reifer; schaffe dir keine Probleme
• Keiner im Team kennt Canny. → die Betriebskosten übersteigen bei weitem das Geld, das für die Hardware gespart wurde

Der Wert von inländischen Beschleunigern ist Compliance, nicht die Wirtschaftlichkeit. Wenn die Compliance keine harte Einschränkung ist, funktioniert die Arithmetik nicht.

Anlage: vollständige Kompatibilitätsliste

Komponenten	Unterstützte Range
Ascend	310P und 910B
Cambricon	MLU370 / MLU590
Hygon	DCU
NVIDIA	T4 / L4 / A10 / A100 und das gesamte Sortiment
Nur CPU	Unterstützt (geringe Gleichzeitigkeit / Wiederverwendung vorhandener Hardware)

Bereitstellung über Docker und Kubernetes, läuft auf Bare Metal, Government Cloud und Xinchuang-Umgebungen, Integration mit OA und Meeting-Systemen über Standard-RESTful / WebSocket - Schnittstellen.

Weiterlesen: Private ASR on the Ascend 910B | How to choose a private-deployment ASR