с4

• Описание :

Колоссальная, очищенная версия корпуса веб-сканеров Common Crawl.

На основе набора данных Common Crawl: https://commoncrawl.org

Чтобы создать этот набор данных, следуйте инструкциям из t5 .

Из-за накладных расходов на очистку набора данных рекомендуется подготовить его с помощью распределенной службы, такой как Cloud Dataflow. Дополнительная информация на https://www.tensorflow.org/datasets/beam_datasets.

• Дополнительная документация : изучить документы с кодом north_east

• Домашняя страница : https://github.com/google-research/text-to-text-transfer-transformer#datasets

• Исходный код : tfds.text.C4

• Версии :

  • 2.2.0 : нет примечаний к выпуску.
  • 2.2.1 : Нет примечаний к выпуску.
  • 2.3.0 : Нет примечаний к выпуску.
  • 2.3.1 : Нет примечаний к выпуску.
  • 3.1.0 (по умолчанию): нет примечаний к выпуску.

• Инструкции по ручной загрузке : этот набор данных требует, чтобы вы загружали исходные данные вручную в download_config.manual_dir (по умолчанию ~/tensorflow_datasets/downloads/manual/ ):
  Вы используете конфигурацию C4, которая требует ручной загрузки некоторых файлов. Для c4/webtextlike загрузите OpenWebText.zip с https://mega.nz/#F!EZZD0YwJ!9_PlEQzdMVLaNdKv_ICNVQ .

• Автоматическое кэширование ( документация ): Нет

• Структура функции :

FeaturesDict({
    'content-length': Text(shape=(), dtype=string),
    'content-type': Text(shape=(), dtype=string),
    'text': Text(shape=(), dtype=string),
    'timestamp': Text(shape=(), dtype=string),
    'url': Text(shape=(), dtype=string),
})

• Документация по функциям :

• Ключи под наблюдением (см . документ as_supervised ): None

• Рисунок ( tfds.show_examples ): не поддерживается.

• Цитата :

@article{2019t5,
  author = {Colin Raffel and Noam Shazeer and Adam Roberts and Katherine Lee and Sharan Narang and Michael Matena and Yanqi Zhou and Wei Li and Peter J. Liu},
  title = {Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer},
  journal = {arXiv e-prints},
  year = {2019},
  archivePrefix = {arXiv},
  eprint = {1910.10683},
}

c4/en (конфигурация по умолчанию)

• Описание конфигурации : английский набор данных C4.

• Размер загрузки : 201.98 KiB

• Размер набора данных : 806.87 GiB

• Сплиты :

• Примеры ( tfds.as_dataframe ):

c4/en.noclean

• Описание конфигурации : отключает всю очистку (дедупликацию, удаление на основе нецензурных слов и т. д.)

• Размер загрузки : 177.11 KiB

• Размер набора данных : 6.21 TiB

• Сплиты :

• Примеры ( tfds.as_dataframe ):

c4/realnewslike

• Описание конфигурации : Фильтры из конфигурации по умолчанию включают только контент из доменов, используемых в наборе данных «RealNews» (Zellers et al., 2019).

• Размер загрузки : 340.29 KiB

• Размер набора данных : 36.91 GiB

• Сплиты :

• Примеры ( tfds.as_dataframe ):

c4/вебтекстлайк

• Описание конфигурации : Фильтры из конфигурации по умолчанию включают только контент из URL-адресов в OpenWebText ( https://github.com/jcpeterson/openwebtext ).

• Размер загрузки : 2.04 MiB

• Размер набора данных : 17.93 GiB

• Сплиты :

• Примеры ( tfds.as_dataframe ):

c4/многоязычный

• Описание конфигурации : Многоязычный C4 (mC4) поддерживает 101 язык и создается из 86 дампов Common Crawl.

• Размер загрузки : 13.60 MiB .

• Размер набора данных : 38.49 TiB .

• Сплиты :

• Примеры ( tfds.as_dataframe ):