answer_equivalence

• opis :

Zbiór danych równoważności odpowiedzi zawiera oceny ludzi dotyczące przewidywań modeli z kilku modeli w zbiorze danych SQuAD. Oceny określają, czy przewidywana odpowiedź jest „równoważna” złotej odpowiedzi (biorąc pod uwagę zarówno pytanie, jak i kontekst).

Mówiąc dokładniej, przez „odpowiednik” rozumiemy, że przewidywana odpowiedź zawiera co najmniej te same informacje, co złota odpowiedź i nie dodaje zbędnych informacji. Zbiór danych zawiera adnotacje dla: * prognoz z BiDAF na SQuAD dev * prognoz z XLNet na SQuAD dev * prognoz z Luke'a na SQuAD dev * prognoz z Alberta na SQuAD szkolenia, deweloperzy i przykłady testów

• Strona główna : https://github.com/google-research-datasets/answer-equivalence-dataset

• Kod źródłowy : tfds.datasets.answer_equivalence.Builder

• Wersje :

  • 1.0.0 (domyślnie): Wersja początkowa.

• Rozmiar pliku do pobrania : 45.86 MiB

• Rozmiar zestawu danych : 47.24 MiB

• Automatyczne buforowanie ( dokumentacja ): Tak

• Podziały :

• Struktura funkcji :

FeaturesDict({
    'candidate': Text(shape=(), dtype=string),
    'context': Text(shape=(), dtype=string),
    'gold_index': int32,
    'qid': Text(shape=(), dtype=string),
    'question': Text(shape=(), dtype=string),
    'question_1': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'question_2': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'question_3': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'question_4': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'reference': Text(shape=(), dtype=string),
    'score': float32,
})

• Dokumentacja funkcji :

• Klucze nadzorowane (Zobacz dokument as_supervised ): None

• Rysunek ( tfds.show_examples ): Nieobsługiwany.

• Przykłady ( tfds.as_dataframe ):

• Cytat :

@article{bulian-etal-2022-tomayto,
      title={Tomayto, Tomahto. Beyond Token-level Answer Equivalence for Question Answering Evaluation},
      author={Jannis Bulian and Christian Buck and Wojciech Gajewski and Benjamin Boerschinger and Tal Schuster},
      year={2022},
      eprint={2202.07654},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}