бейр

• Описание :

BEIR — это гетерогенный бенчмарк, содержащий разнообразные IR-задачи. Он также предоставляет общую и простую основу для оценки ваших моделей поиска на основе НЛП в рамках эталонного теста.

• Дополнительная документация : изучить документы с кодом north_east

• Домашняя страница : https://github.com/beir-cellar/beir

• Исходный код : tfds.datasets.beir.Builder

• Версии :

  • 1.0.0 (по умолчанию): Первоначальный выпуск.

• Структура функции :

FeaturesDict({
    'passage': Text(shape=(), dtype=string),
    'passage_id': Text(shape=(), dtype=string),
    'passage_metadata': Text(shape=(), dtype=string),
    'query': Text(shape=(), dtype=string),
    'query_id': Text(shape=(), dtype=string),
    'query_metadata': Text(shape=(), dtype=string),
    'score': float32,
})

• Документация по функциям :

• Ключи под наблюдением (см . документ as_supervised ): None

• Рисунок ( tfds.show_examples ): не поддерживается.

• Цитата :

@inproceedings{
    thakur2021beir,
    title={ {BEIR}: A Heterogeneous Benchmark for Zero-shot Evaluation of Information Retrieval Models},
    author={Nandan Thakur and Nils Reimers and Andreas R{"u}ckl{'e} and Abhishek Srivastava and Iryna Gurevych},
    booktitle={Thirty-fifth Conference on Neural Information Processing Systems Datasets and Benchmarks Track (Round 2)},
    year={2021},
    url={https://openreview.net/forum?id=wCu6T5xFjeJ}
}

beir/msmarco (конфигурация по умолчанию)

• Размер загрузки : 1.01 GiB

• Размер набора данных : 4.53 GiB

• Автоматическое кэширование ( документация ): Нет

• Сплиты :

• Примеры ( tfds.as_dataframe ):

бейр/trec_covid

• Размер загрузки : 70.45 MiB

• Размер набора данных : 292.04 MiB .

• Автоматическое кэширование ( документация ): Нет

• Сплиты :

• Примеры ( tfds.as_dataframe ):

бейр/нфкорпус

• Размер загрузки : 2.34 MiB

• Размер набора данных : 24.94 MiB .

• Автоматическое кэширование ( документация ): Да

• Сплиты :

• Примеры ( tfds.as_dataframe ):

бейр/нкв

• Размер загрузки : 475.22 MiB

• Размер набора данных : 1.66 GiB

• Автоматическое кэширование ( документация ): Нет

• Сплиты :

• Примеры ( tfds.as_dataframe ):

бейр/хотпотка

• Размер загрузки : 623.73 MiB

• Размер набора данных : 2.64 GiB

• Автоматическое кэширование ( документация ): Нет

• Сплиты :

• Примеры ( tfds.as_dataframe ):

бейр/фика

• Размер загрузки : 17.12 MiB

• Размер набора данных : 73.39 MiB .

• Автоматическое кэширование ( документация ): Да

• Сплиты :

• Примеры ( tfds.as_dataframe ):

бейр/аргуана

• Размер загрузки : 3.60 MiB

• Размер набора данных : 15.08 MiB .

• Автоматическое кэширование ( документация ): Да

• Сплиты :

• Примеры ( tfds.as_dataframe ):

beir/webis_touche2020

• Размер загрузки : 216.61 MiB

• Размер набора данных : 747.57 MiB .

• Автоматическое кэширование ( документация ): Нет

• Сплиты :

• Примеры ( tfds.as_dataframe ):

beir/cqadupstack.android

• Размер загрузки : 4.98 GiB

• Размер набора данных : 883.49 MiB .

• Автоматическое кэширование ( документация ): Нет

• Сплиты :

• Примеры ( tfds.as_dataframe ):

beir/cqadupstack.english

• Размер загрузки : 4.98 GiB

• Размер набора данных : 3.78 GiB

• Автоматическое кэширование ( документация ): Нет

• Сплиты :

• Примеры ( tfds.as_dataframe ):

beir/cqadupstack.gaming

• Размер загрузки : 4.98 GiB

• Размер набора данных : 2.64 GiB

• Автоматическое кэширование ( документация ): Нет

• Сплиты :

• Примеры ( tfds.as_dataframe ):

beir/cqadupstack.gis

• Размер загрузки : 4.98 GiB

• Размер набора данных : 1.47 GiB

• Автоматическое кэширование ( документация ): Нет

• Сплиты :

• Примеры ( tfds.as_dataframe ):

beir/cqadupstack.mathematica

• Размер загрузки : 4.98 GiB

• Размер набора данных : 1.58 GiB

• Автоматическое кэширование ( документация ): Нет

• Сплиты :

• Примеры ( tfds.as_dataframe ):

beir/cqadupstack.physics

• Размер загрузки : 4.98 GiB

• Размер набора данных : 2.02 GiB

• Автоматическое кэширование ( документация ): Нет

• Сплиты :

• Примеры ( tfds.as_dataframe ):

beir/cqadupstack.programmers

• Размер загрузки : 4.98 GiB

• Размер набора данных : 2.14 GiB

• Автоматическое кэширование ( документация ): Нет

• Сплиты :

• Примеры ( tfds.as_dataframe ):

beir/cqadupstack.stats

• Размер загрузки : 4.98 GiB

• Размер набора данных : 941.07 MiB .

• Автоматическое кэширование ( документация ): Нет

• Сплиты :

• Примеры ( tfds.as_dataframe ):

beir/cqadupstack.tex

• Размер загрузки : 4.98 GiB

• Размер набора данных : 21.75 GiB

• Автоматическое кэширование ( документация ): Нет

• Сплиты :

• Примеры ( tfds.as_dataframe ):

beir/cqadupstack.unix

• Размер загрузки : 4.98 GiB

• Размер набора данных : 2.04 GiB

• Автоматическое кэширование ( документация ): Нет

• Сплиты :

• Примеры ( tfds.as_dataframe ):

beir/cqadupstack.webmasters

• Размер загрузки : 4.98 GiB

• Размер набора данных : 650.08 MiB .

• Автоматическое кэширование ( документация ): Нет

• Сплиты :

• Примеры ( tfds.as_dataframe ):

beir/cqadupstack.wordpress

• Размер загрузки : 4.98 GiB

• Размер набора данных : 726.15 MiB .

• Автоматическое кэширование ( документация ): Нет

• Сплиты :

• Примеры ( tfds.as_dataframe ):

бейр/куора

• Размер загрузки : 15.12 MiB .

• Размер набора данных : 121.33 MiB .

• Автоматическое кэширование ( документация ): Да

• Сплиты :

• Примеры ( tfds.as_dataframe ):

beir/dbpedia_entity

• Размер загрузки : 609.67 MiB

• Размер набора данных : 2.47 GiB

• Автоматическое кэширование ( документация ): Нет

• Сплиты :

• Примеры ( tfds.as_dataframe ):

бейр/сцидокс

• Размер загрузки : 135.87 MiB

• Размер набора данных : 573.04 MiB .

• Автоматическое кэширование ( документация ): Нет

• Сплиты :

• Примеры ( tfds.as_dataframe ):

бейр/лихорадка

• Размер загрузки : 1.15 GiB

• Размер набора данных : 3.70 GiB

• Автоматическое кэширование ( документация ): Нет

• Сплиты :

• Примеры ( tfds.as_dataframe ):

бейр/climate_fever

• Размер загрузки : 1.14 GiB

• Размер набора данных : 3.64 GiB

• Автоматическое кэширование ( документация ): Нет

• Сплиты :

• Примеры ( tfds.as_dataframe ):

бейр/скифакт

• Размер загрузки : 2.69 MiB

• Размер набора данных : 10.16 MiB .

• Автоматическое кэширование ( документация ): Да

• Сплиты :

• Примеры ( tfds.as_dataframe ):