- opis :
Ten zestaw danych zawiera tłumaczenia maszynowe angielskich danych treningowych PAWS. Tłumaczenia są dostarczane przez test porównawczy XTREME i obejmują następujące języki:
- Francuski
- hiszpański
- Niemiecki
- chiński
- język japoński
- koreański
Więcej informacji na temat PAWS można znaleźć w artykułach: PAWS: Paraphrase Adversaries from Word Scrambling na https://arxiv.org/abs/1904.01130 i PAWS-X: A Cross-lingual Adversarial Dataset for Paraphrase Identification na https://arxiv. org/abs/1908.11828
Aby uzyskać szczegółowe informacje dotyczące XTREME, zobacz: XTREME: A Massively Multilingual Multi-task Benchmark for Evaluating Cross-lingual Generalization na https://arxiv.org/abs/2003.11080
Strona główna : https://github.com/google-research/xtreme
Kod źródłowy :
tfds.text.xtreme_pawsx.XtremePawsx
Wersje :
-
1.0.0
(domyślnie): Brak informacji o wersji.
-
Automatyczne buforowanie ( dokumentacja ): Tak
Struktura funkcji :
FeaturesDict({
'label': ClassLabel(shape=(), dtype=int64, num_classes=2),
'sentence1': Text(shape=(), dtype=string),
'sentence2': Text(shape=(), dtype=string),
})
- Dokumentacja funkcji :
Funkcja | Klasa | Kształt | Typ D | Opis |
---|---|---|---|---|
FunkcjeDict | ||||
etykieta | Etykieta klasy | int64 | ||
zdanie 1 | Tekst | strunowy | ||
zdanie2 | Tekst | strunowy |
Klucze nadzorowane (Zobacz dokument
as_supervised
):None
Rysunek ( tfds.show_examples ): Nieobsługiwany.
Cytat :
@article{hu2020xtreme,
author = {Junjie Hu and Sebastian Ruder and Aditya Siddhant and Graham Neubig and Orhan Firat and Melvin Johnson},
title = {XTREME: A Massively Multilingual Multi-task Benchmark for Evaluating Cross-lingual Generalization},
journal = {CoRR},
volume = {abs/2003.11080},
year = {2020},
archivePrefix = {arXiv},
eprint = {2003.11080}
}
xtreme_pawsx/de (domyślna konfiguracja)
Opis konfiguracji : Przetłumaczono na de
Rozmiar pliku do pobrania :
22.34 MiB
Rozmiar zestawu danych :
14.19 MiB
Podziały :
Rozdzielać | Przykłady |
---|---|
'train' | 49340 |
- Przykłady ( tfds.as_dataframe ):
xtreme_pawsx/es
Opis konfiguracji : Przetłumaczono na es
Rozmiar pliku do pobrania :
22.27 MiB
Rozmiar zestawu danych :
14.09 MiB
Podziały :
Rozdzielać | Przykłady |
---|---|
'train' | 49244 |
- Przykłady ( tfds.as_dataframe ):
xtreme_pawsx/fr
Opis konfiguracji : Przetłumaczono na fr
Rozmiar pliku do pobrania :
22.70 MiB
Rozmiar zestawu danych :
14.53 MiB
Podziały :
Rozdzielać | Przykłady |
---|---|
'train' | 49208 |
- Przykłady ( tfds.as_dataframe ):
xtreme_pawsx/ja
Opis konfiguracji : Przetłumaczono na ja
Rozmiar pliku do pobrania :
25.12 MiB
Rozmiar zestawu danych :
16.98 MiB
Podziały :
Rozdzielać | Przykłady |
---|---|
'train' | 49086 |
- Przykłady ( tfds.as_dataframe ):
xtreme_pawsx/ko
Opis konfiguracji : Przetłumaczone na ko
Rozmiar pliku do pobrania :
22.99 MiB
Rozmiar zestawu danych :
14.86 MiB
Podziały :
Rozdzielać | Przykłady |
---|---|
'train' | 49298 |
- Przykłady ( tfds.as_dataframe ):
xtreme_pawsx/zh
Opis konfiguracji : Przetłumaczono na zh
Rozmiar pliku do pobrania :
21.45 MiB
Rozmiar zestawu danych :
13.21 MiB
Podziały :
Rozdzielać | Przykłady |
---|---|
'train' | 49149 |
- Przykłady ( tfds.as_dataframe ):