ответ_эквивалентность

• Описание :

Набор данных об эквивалентности ответов содержит человеческие оценки прогнозов моделей из нескольких моделей в наборе данных SQuAD. Рейтинги определяют, является ли прогнозируемый ответ «эквивалентным» золотому ответу (принимая во внимание как вопрос, так и контекст).

Более конкретно, под «эквивалентным» мы подразумеваем, что прогнозируемый ответ содержит по крайней мере ту же информацию, что и золотой ответ, и не добавляет лишней информации. Набор данных содержит аннотации для: * прогнозов от BiDAF по SQuAD dev * прогнозов от XLNet по SQuAD dev * прогнозов от Люка по SQuAD dev * прогнозов Альберта по обучению, разработке и тестам SQuAD

• Домашняя страница : https://github.com/google-research-datasets/answer-equivalence-dataset

• Исходный код : tfds.datasets.answer_equivalence.Builder

• Версии :

  • 1.0.0 (по умолчанию): Первоначальный выпуск.

• Размер загрузки : 45.86 MiB

• Размер набора данных : 47.24 MiB .

• Автоматическое кэширование ( документация ): Да

• Сплиты :

• Структура функции :

FeaturesDict({
    'candidate': Text(shape=(), dtype=string),
    'context': Text(shape=(), dtype=string),
    'gold_index': int32,
    'qid': Text(shape=(), dtype=string),
    'question': Text(shape=(), dtype=string),
    'question_1': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'question_2': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'question_3': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'question_4': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'reference': Text(shape=(), dtype=string),
    'score': float32,
})

• Документация по функциям :

• Ключи под наблюдением (см . документ as_supervised ): None

• Рисунок ( tfds.show_examples ): не поддерживается.

• Примеры ( tfds.as_dataframe ):

• Цитата :

@article{bulian-etal-2022-tomayto,
      title={Tomayto, Tomahto. Beyond Token-level Answer Equivalence for Question Answering Evaluation},
      author={Jannis Bulian and Christian Buck and Wojciech Gajewski and Benjamin Boerschinger and Tal Schuster},
      year={2022},
      eprint={2202.07654},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}