- Описание :
Перевести набор данных на основе данных с statmt.org.
Версии существуют за разные годы с использованием комбинации нескольких источников данных. База wmt_translate
позволяет вам создать свою собственную конфигурацию, чтобы выбрать собственную пару данных/язык, создав собственный tfds.translate.wmt.WmtConfig
.
config = tfds.translate.wmt.WmtConfig(
version="0.0.1",
language_pair=("fr", "de"),
subsets={
tfds.Split.TRAIN: ["commoncrawl_frde"],
tfds.Split.VALIDATION: ["euelections_dev2019"],
},
)
builder = tfds.builder("wmt_translate", config=config)
Дополнительная документация : изучить документы с кодом
Домашняя страница : http://www.statmt.org/wmt18/translation-task.html
Исходный код :
tfds.translate.Wmt18Translate
Версии :
-
1.0.0
(по умолчанию): нет примечаний к выпуску.
-
Инструкции по ручной загрузке : этот набор данных требует, чтобы вы загружали исходные данные вручную в
download_config.manual_dir
(по умолчанию~/tensorflow_datasets/downloads/manual/
):
Некоторые из приведенных здесь конфигураций wmt требуют загрузки вручную. Пожалуйста, загляните в wmt.py, чтобы увидеть точный путь (и имя файла), который необходимо загрузить.Рисунок ( tfds.show_examples ): не поддерживается.
Цитата :
@InProceedings{bojar-EtAl:2018:WMT1,
author = {Bojar, Ond
{r}ej and Federmann, Christian and Fishel, Mark
and Graham, Yvette and Haddow, Barry and Huck, Matthias and
Koehn, Philipp and Monz, Christof},
title = {Findings of the 2018 Conference on Machine Translation (WMT18)},
booktitle = {Proceedings of the Third Conference on Machine Translation,
Volume 2: Shared Task Papers},
month = {October},
year = {2018},
address = {Belgium, Brussels},
publisher = {Association for Computational Linguistics},
pages = {272--307},
url = {http://www.aclweb.org/anthology/W18-6401}
}
wmt18_translate/cs-en (конфигурация по умолчанию)
Описание конфигурации : набор данных задачи перевода WMT 2018 cs-en.
Размер загрузки :
1.89 GiB
Размер набора данных :
3.84 GiB
Автоматическое кэширование ( документация ): Нет
Сплиты :
Расколоть | Примеры |
---|---|
'test' | 2983 |
'train' | 24 021 877 |
'validation' | 3005 |
- Структура функции :
Translation({
'cs': Text(shape=(), dtype=string),
'en': Text(shape=(), dtype=string),
})
- Документация по функциям :
Особенность | Учебный класс | Форма | Dтип | Описание |
---|---|---|---|---|
Перевод | ||||
cs | Текст | нить | ||
en | Текст | нить |
Контролируемые ключи (см . документ
as_supervised
):('cs', 'en')
Примеры ( tfds.as_dataframe ):
wmt18_translate/de-en
Описание конфигурации : набор данных задачи перевода WMT 2018 de-en.
Размер загрузки :
3.55 GiB
Размер набора данных :
8.44 GiB
Автоматическое кэширование ( документация ): Нет
Сплиты :
Расколоть | Примеры |
---|---|
'test' | 2998 |
'train' | 42 271 874 |
'validation' | 3004 |
- Структура функции :
Translation({
'de': Text(shape=(), dtype=string),
'en': Text(shape=(), dtype=string),
})
- Документация по функциям :
Особенность | Учебный класс | Форма | Dтип | Описание |
---|---|---|---|---|
Перевод | ||||
де | Текст | нить | ||
en | Текст | нить |
Контролируемые ключи (см . документ
as_supervised
):('de', 'en')
Примеры ( tfds.as_dataframe ):
wmt18_translate/et-en
Описание конфигурации : набор данных задачи перевода WMT 2018 et-en.
Размер загрузки :
499.91 MiB
Размер набора данных :
663.80 MiB
.Автоматическое кэширование ( документация ): Нет
Сплиты :
Расколоть | Примеры |
---|---|
'test' | 2000 |
'train' | 2 175 873 |
'validation' | 2000 |
- Структура функции :
Translation({
'en': Text(shape=(), dtype=string),
'et': Text(shape=(), dtype=string),
})
- Документация по функциям :
Особенность | Учебный класс | Форма | Dтип | Описание |
---|---|---|---|---|
Перевод | ||||
en | Текст | нить | ||
эт | Текст | нить |
Контролируемые ключи (см.
as_supervised
doc ):('et', 'en')
Примеры ( tfds.as_dataframe ):
wmt18_translate/fi-ru
Описание конфигурации : набор данных задачи перевода WMT 2018 fi-en.
Размер загрузки :
468.76 MiB
Размер набора данных :
889.40 MiB
.Автоматическое кэширование ( документация ): Нет
Сплиты :
Расколоть | Примеры |
---|---|
'test' | 3000 |
'train' | 3 280 600 |
'validation' | 6004 |
- Структура функции :
Translation({
'en': Text(shape=(), dtype=string),
'fi': Text(shape=(), dtype=string),
})
- Документация по функциям :
Особенность | Учебный класс | Форма | Dтип | Описание |
---|---|---|---|---|
Перевод | ||||
en | Текст | нить | ||
фи | Текст | нить |
Контролируемые ключи (см . документ
as_supervised
):('fi', 'en')
Примеры ( tfds.as_dataframe ):
wmt18_translate/ru-ru
Описание конфига: набор задач перевода WMT 2018 ru-en.
Размер загрузки :
1.63 GiB
Размер набора данных :
13.89 GiB
Автоматическое кэширование ( документация ): Нет
Сплиты :
Расколоть | Примеры |
---|---|
'test' | 3000 |
'train' | 37 858 512 |
'validation' | 3001 |
- Структура функции :
Translation({
'en': Text(shape=(), dtype=string),
'ru': Text(shape=(), dtype=string),
})
- Документация по функциям :
Особенность | Учебный класс | Форма | Dтип | Описание |
---|---|---|---|---|
Перевод | ||||
en | Текст | нить | ||
RU | Текст | нить |
Контролируемые ключи (см.
as_supervised
doc ):('ru', 'en')
Примеры ( tfds.as_dataframe ):
wmt18_translate/tr-ru
Описание конфигурации : набор данных задачи перевода WMT 2018 tr-en.
Размер загрузки :
59.32 MiB
Размер набора данных :
63.78 MiB
.Автоматическое кэширование ( документация ): Да
Сплиты :
Расколоть | Примеры |
---|---|
'test' | 3000 |
'train' | 205 756 |
'validation' | 3007 |
- Структура функции :
Translation({
'en': Text(shape=(), dtype=string),
'tr': Text(shape=(), dtype=string),
})
- Документация по функциям :
Особенность | Учебный класс | Форма | Dтип | Описание |
---|---|---|---|---|
Перевод | ||||
en | Текст | нить | ||
тр | Текст | нить |
Контролируемые ключи (см . документ
as_supervised
):('tr', 'en')
Примеры ( tfds.as_dataframe ):
wmt18_translate/zh-ru
Описание конфигурации : набор данных задачи перевода WMT 2018 zh-en.
Размер загрузки :
831.45 MiB
Размер набора данных :
6.43 GiB
Автоматическое кэширование ( документация ): Нет
Сплиты :
Расколоть | Примеры |
---|---|
'test' | 3981 |
'train' | 25 162 209 |
'validation' | 2001 |
- Структура функции :
Translation({
'en': Text(shape=(), dtype=string),
'zh': Text(shape=(), dtype=string),
})
- Документация по функциям :
Особенность | Учебный класс | Форма | Dтип | Описание |
---|---|---|---|---|
Перевод | ||||
en | Текст | нить | ||
ж | Текст | нить |
Контролируемые ключи (см.
as_supervised
doc ):('zh', 'en')
Примеры ( tfds.as_dataframe ):