Edwin's Blog

Appearance

Qwen3-ASR systemd 服务 ​

本文整理 Qwen3-ASR-1.7B 的安装、启动、systemd 服务配置和接口验证流程。

txt
/root/Qwen/Qwen3-ASR-1.7B
bash
modelscope download --model Qwen/Qwen3-ASR-1.7B --local_dir ./Qwen/Qwen3-ASR-1.7B

0. 预处理 ​

0.1 安装nvidia驱动 ​

bash
yum config-manager --add-repo https://developer.download.nvidia.com/compute/cuda/repos/rhel10/x86_64/cuda-rhel10.repo
bash
yum clean all
bash
yum install cuda-drivers

0.2 屏蔽nouveau ​

bash
vi /etc/modprobe.d/blacklist-nouveau.conf
txt
blacklist nouveau
options nouveau modeset=0
  • 重建 initramfs：
bash
dracut --force
  • 重启后再看
bash
lsmod | grep nouveau
nvidia-smi

1. 安装 Qwen3-ASR ​

  • 推荐使用 vLLM 后端：
bash
pip install -U "qwen-asr[vllm]"
  • 如果只想使用 transformers 后端：
bash
pip install -U qwen-asr

2. 手动启动测试 ​

bash
qwen-asr-serve /root/Qwen/Qwen3-ASR-1.7B \
  --served-model-name qwen3-asr \
  --gpu-memory-utilization 0.65 \
  --max-model-len 4096 \
  --max-num-seqs 1 \
  --host 0.0.0.0 \
  --port 8001

RTX 4060 显存较小，建议先使用：

bash
--gpu-memory-utilization 0.65

稳定后再调整到：

bash
--gpu-memory-utilization 0.85

如果参数不兼容，先查看当前版本支持的参数：

bash
qwen-asr-serve --help

3. systemd 服务配置 ​

服务文件：

bash
vi /etc/systemd/system/qwen3-asr.service

内容如下：

ini
[Unit]
Description=Qwen3 ASR API Server
After=network.target

[Service]
Type=simple
User=root
WorkingDirectory=/root
ExecStart=qwen-asr-serve /root/Qwen/Qwen3-ASR-1.7B --port 8001 --gpu-memory-utilization 0.85 --max-model-len 4096 --max-num-seqs 1 --served-model-name qwen3-asr --disable-log-requests --uvicorn-log-level info
Restart=always
RestartSec=5

[Install]
WantedBy=multi-user.target

4. 生效与验证 ​

  • 重载 systemd
bash
systemctl daemon-reload
  • 设置开机自启并立即启动
bash
systemctl enable --now qwen3-asr.service
  • 手动启动
bash
systemctl start qwen3-asr.service
  • 手动关闭
bash
systemctl stop qwen3-asr.service
  • 查看日志
bash
journalctl -u qwen3-asr.service -f