权重问题

#2
by wjfwjf - opened

权重是对的吗?为什么在fleurs表现很差?

FunAudioLLM org

感谢反馈,也抱歉这个问题一直没有得到维护者回复。

我先核对了 Hub 侧文件:当前 model.pt 是完整的 Git LFS 对象(1,971,090,564 bytes),没有发现上传截断;但这只能证明文件完整,不能单凭这一点证明具体语种的评测结果正确。

这里还有一个模型卡问题需要澄清:当前页面复用了 Fun-ASR 技术报告里的综合 benchmark 表,没有明确标出哪些数字属于基础 Nano、MLT checkpoint 或闭源 7.7B Fun-ASR,因此不能把表里的 FLEURS 数字直接当作 MLT checkpoint 的逐语种承诺。我们会修正这个 scope。

为了判断是 checkpoint、解码配置还是评测归一化问题,请补充:

  1. FLEURS 的具体语言和 split;
  2. FunASR 版本及模型 revision;
  3. 完整 model.generate(...) 参数;
  4. WER/CER 的文本归一化方式和一两个 reference/hypothesis 样例。

复现时请先固定当前 revision f05f591eb83b36ebc92f9fc2a5f6481476ae49c4,使用对应的中文语言标签,并关闭随机采样,例如:

res = model.generate(
    input=[wav_path],
    language="英文",  # 按对应语种替换
    llm_kwargs={"do_sample": False},
)

这个讨论先保持打开;拿到具体语种和评测脚本后,我们会用固定 revision 做可复现对比,而不是直接把问题归因于权重。

FunAudioLLM org

Update: the model card now explicitly marks the existing benchmark tables as Fun-ASR family-level results, not checkpoint-specific results for Fun-ASR-MLT-Nano-2512. The clarification is published in f20d841.

The discussion remains open: file integrity was checked, but a reproducible MLT FLEURS evaluation is still needed before publishing per-language numbers. A minimal command, language/subset, and observed WER from the reporter would let us compare the same setup.

Sign up or log in to comment