对于多个answer的qa数据集，如何配置ppl

[jorie-peng]

如题，对于triviaqa、nq等数据集，一个question会有多个对应的answer，但是目前已有的ppl配置中，都是选择题ppl：配置4条template然后选出最终答案。与目标需求不符，请问如何配置这种qa的ppl呢？

[jorie-peng]

配置时，不允许answer为list，比如下面配置

triviaqa_infer_cfg = dict(
    prompt_template=dict(  # 用于构造主干 prompt 的模板
        type=PromptTemplate,
        template='Question: {question}\nAnswer: ',
        ),
    retriever=dict(type=ZeroRetriever), 
    inferencer=dict(type=PPLInferencer),
)

会报错：

  File "opencompass/tools/prompt_viewer.py", line 207, in main
    print_prompts(model_cfg, dataset_cfg, args.count)
  File "opencompass/tools/prompt_viewer.py", line 85, in print_prompts
    labels = retriever.get_labels(ice_template=ice_template,
  File "opencompass/opencompass/openicl/icl_retriever/icl_base_retriever.py", line 70, in get_labels
    labels = list(set(self.test_ds[self.dataset_reader.output_column]))
TypeError: unhashable type: 'list'