- opis :
Zestawy danych pochodzące z transkrypcji przemówień TED do porównywania podobnych par językowych, z których jeden ma wysoki poziom zasobów, a drugi niski poziom zasobów.
Strona główna : https://github.com/neulab/word-embeddings-for-nmt
Kod źródłowy :
tfds.datasets.ted_hrlr_translate.Builder
Wersje :
-
1.0.0
(domyślnie): nowy podzielony interfejs API ( https://tensorflow.org/datasets/splits )
-
Rozmiar pliku do pobrania :
124.94 MiB
Automatyczne buforowanie ( dokumentacja ): Tak
Rysunek ( tfds.show_examples ): Nieobsługiwany.
Cytat :
@inproceedings{Ye2018WordEmbeddings,
author = {Ye, Qi and Devendra, Sachan and Matthieu, Felix and Sarguna, Padmanabhan and Graham, Neubig},
title = {When and Why are pre-trained word embeddings useful for Neural Machine Translation},
booktitle = {HLT-NAACL},
year = {2018},
}
ted_hrlr_translate/az_to_en (domyślna konfiguracja)
Opis konfiguracji : zestaw danych tłumaczenia z az na en w postaci zwykłego tekstu.
Rozmiar zestawu danych :
1.61 MiB
Podziały :
Podział | Przykłady |
---|---|
'test' | 903 |
'train' | 5946 |
'validation' | 671 |
- Struktura funkcji :
Translation({
'az': Text(shape=(), dtype=string),
'en': Text(shape=(), dtype=string),
})
- Dokumentacja funkcji :
Funkcja | Klasa | Kształt | Typ D | Opis |
---|---|---|---|---|
Tłumaczenie | ||||
az | Tekst | strunowy | ||
en | Tekst | strunowy |
Nadzorowane klucze (Zobacz
as_supervised
doc ):('az', 'en')
Przykłady ( tfds.as_dataframe ):
ted_hrlr_translate/aztr_to_en
Opis konfiguracji: zestaw danych translacji z az_tr na en w postaci zwykłego tekstu.
Rozmiar zestawu danych :
42.54 MiB
Podziały :
Podział | Przykłady |
---|---|
'test' | 903 |
'train' | 188396 |
'validation' | 671 |
- Struktura funkcji :
Translation({
'az_tr': Text(shape=(), dtype=string),
'en': Text(shape=(), dtype=string),
})
- Dokumentacja funkcji :
Funkcja | Klasa | Kształt | Typ D | Opis |
---|---|---|---|---|
Tłumaczenie | ||||
az_tr | Tekst | strunowy | ||
en | Tekst | strunowy |
Klucze nadzorowane (zobacz dokument
as_supervised
):('az_tr', 'en')
Przykłady ( tfds.as_dataframe ):
ted_hrlr_translate/be_to_en
Opis konfiguracji : zestaw danych translacji z be na en w postaci zwykłego tekstu.
Rozmiar zestawu danych :
1.47 MiB
Podziały :
Podział | Przykłady |
---|---|
'test' | 664 |
'train' | 4509 |
'validation' | 248 |
- Struktura funkcji :
Translation({
'be': Text(shape=(), dtype=string),
'en': Text(shape=(), dtype=string),
})
- Dokumentacja funkcji :
Funkcja | Klasa | Kształt | Typ D | Opis |
---|---|---|---|---|
Tłumaczenie | ||||
Być | Tekst | strunowy | ||
en | Tekst | strunowy |
Nadzorowane klucze (Zobacz
as_supervised
doc ):('be', 'en')
Przykłady ( tfds.as_dataframe ):
ted_hrlr_translate/beru_to_en
Opis konfiguracji: zestaw danych tłumaczenia z be_ru na en w postaci zwykłego tekstu.
Rozmiar zestawu danych :
62.45 MiB
Podziały :
Podział | Przykłady |
---|---|
'test' | 664 |
'train' | 212614 |
'validation' | 248 |
- Struktura funkcji :
Translation({
'be_ru': Text(shape=(), dtype=string),
'en': Text(shape=(), dtype=string),
})
- Dokumentacja funkcji :
Funkcja | Klasa | Kształt | Typ D | Opis |
---|---|---|---|---|
Tłumaczenie | ||||
be_ru | Tekst | strunowy | ||
en | Tekst | strunowy |
Nadzorowane klucze (Zobacz
as_supervised
doc ):('be_ru', 'en')
Przykłady ( tfds.as_dataframe ):
ted_hrlr_translate/es_to_pt
Opis konfiguracji : zestaw danych translacji z es na pt w postaci zwykłego tekstu.
Rozmiar zestawu danych :
9.62 MiB
Podziały :
Podział | Przykłady |
---|---|
'test' | 1763 |
'train' | 44 938 |
'validation' | 1016 |
- Struktura funkcji :
Translation({
'es': Text(shape=(), dtype=string),
'pt': Text(shape=(), dtype=string),
})
- Dokumentacja funkcji :
Funkcja | Klasa | Kształt | Typ D | Opis |
---|---|---|---|---|
Tłumaczenie | ||||
es | Tekst | strunowy | ||
pkt | Tekst | strunowy |
Nadzorowane klucze (Zobacz
as_supervised
doc ):('es', 'pt')
Przykłady ( tfds.as_dataframe ):
ted_hrlr_translate/fr_to_pt
Opis konfiguracji : zestaw danych translacji z fr na pt w postaci zwykłego tekstu.
Rozmiar zestawu danych :
9.74 MiB
Podziały :
Podział | Przykłady |
---|---|
'test' | 1494 |
'train' | 43873 |
'validation' | 1131 |
- Struktura funkcji :
Translation({
'fr': Text(shape=(), dtype=string),
'pt': Text(shape=(), dtype=string),
})
- Dokumentacja funkcji :
Funkcja | Klasa | Kształt | Typ D | Opis |
---|---|---|---|---|
Tłumaczenie | ||||
fr | Tekst | strunowy | ||
pkt | Tekst | strunowy |
Nadzorowane klucze (Zobacz
as_supervised
doc ):('fr', 'pt')
Przykłady ( tfds.as_dataframe ):
ted_hrlr_translate/gl_to_pl
Opis konfiguracji : Translacja zestawu danych z gl na en w postaci zwykłego tekstu.
Rozmiar zestawu danych :
2.41 MiB
Podziały :
Podział | Przykłady |
---|---|
'test' | 1007 |
'train' | 10017 |
'validation' | 682 |
- Struktura funkcji :
Translation({
'en': Text(shape=(), dtype=string),
'gl': Text(shape=(), dtype=string),
})
- Dokumentacja funkcji :
Funkcja | Klasa | Kształt | Typ D | Opis |
---|---|---|---|---|
Tłumaczenie | ||||
en | Tekst | strunowy | ||
gl | Tekst | strunowy |
Nadzorowane klucze (zobacz
as_supervised
doc ):('gl', 'en')
Przykłady ( tfds.as_dataframe ):
ted_hrlr_translate/glpt_to_en
Opis konfiguracji: Translacja zestawu danych z gl_pt na en w postaci zwykłego tekstu.
Rozmiar zestawu danych :
12.90 MiB
Podziały :
Podział | Przykłady |
---|---|
'test' | 1007 |
'train' | 61802 |
'validation' | 682 |
- Struktura funkcji :
Translation({
'en': Text(shape=(), dtype=string),
'gl_pt': Text(shape=(), dtype=string),
})
- Dokumentacja funkcji :
Funkcja | Klasa | Kształt | Typ D | Opis |
---|---|---|---|---|
Tłumaczenie | ||||
en | Tekst | strunowy | ||
gl_pt | Tekst | strunowy |
Nadzorowane klucze (Zobacz
as_supervised
doc ):('gl_pt', 'en')
Przykłady ( tfds.as_dataframe ):
ted_hrlr_translate/he_to_pt
Opis konfiguracji : Zestaw danych tłumaczenia z he na pt w postaci zwykłego tekstu.
Rozmiar zestawu danych :
11.71 MiB
Podziały :
Podział | Przykłady |
---|---|
'test' | 1623 |
'train' | 48511 |
'validation' | 1145 |
- Struktura funkcji :
Translation({
'he': Text(shape=(), dtype=string),
'pt': Text(shape=(), dtype=string),
})
- Dokumentacja funkcji :
Funkcja | Klasa | Kształt | Typ D | Opis |
---|---|---|---|---|
Tłumaczenie | ||||
On | Tekst | strunowy | ||
pkt | Tekst | strunowy |
Nadzorowane klucze (patrz
as_supervised
doc ):('he', 'pt')
Przykłady ( tfds.as_dataframe ):
ted_hrlr_translate/it_to_pt
Opis konfiguracji : Translacja zbioru danych z niego na pt w postaci zwykłego tekstu.
Rozmiar zestawu danych :
9.94 MiB
Podziały :
Podział | Przykłady |
---|---|
'test' | 1669 |
'train' | 46259 |
'validation' | 1162 |
- Struktura funkcji :
Translation({
'it': Text(shape=(), dtype=string),
'pt': Text(shape=(), dtype=string),
})
- Dokumentacja funkcji :
Funkcja | Klasa | Kształt | Typ D | Opis |
---|---|---|---|---|
Tłumaczenie | ||||
To | Tekst | strunowy | ||
pkt | Tekst | strunowy |
Nadzorowane klucze (zobacz
as_supervised
doc ):('it', 'pt')
Przykłady ( tfds.as_dataframe ):
ted_hrlr_translate/pt_to_en
Opis konfiguracji : Translacja zbioru danych z pt na en w postaci zwykłego tekstu.
Rozmiar zestawu danych :
10.89 MiB
Podziały :
Podział | Przykłady |
---|---|
'test' | 1803 |
'train' | 51785 |
'validation' | 1193 |
- Struktura funkcji :
Translation({
'en': Text(shape=(), dtype=string),
'pt': Text(shape=(), dtype=string),
})
- Dokumentacja funkcji :
Funkcja | Klasa | Kształt | Typ D | Opis |
---|---|---|---|---|
Tłumaczenie | ||||
en | Tekst | strunowy | ||
pkt | Tekst | strunowy |
Nadzorowane klucze (zobacz
as_supervised
doc ):('pt', 'en')
Przykłady ( tfds.as_dataframe ):
ted_hrlr_translate/ru_to_en
Opis konfiguracji : Translacja zestawu danych z ru na en w postaci zwykłego tekstu.
Rozmiar zestawu danych :
63.22 MiB
Podziały :
Podział | Przykłady |
---|---|
'test' | 5476 |
'train' | 208106 |
'validation' | 4805 |
- Struktura funkcji :
Translation({
'en': Text(shape=(), dtype=string),
'ru': Text(shape=(), dtype=string),
})
- Dokumentacja funkcji :
Funkcja | Klasa | Kształt | Typ D | Opis |
---|---|---|---|---|
Tłumaczenie | ||||
en | Tekst | strunowy | ||
ru | Tekst | strunowy |
Nadzorowane klucze (Zobacz
as_supervised
doc ):('ru', 'en')
Przykłady ( tfds.as_dataframe ):
ted_hrlr_translate/ru_to_pt
Opis konfiguracji : zestaw danych translacji z ru na pt w postaci zwykłego tekstu.
Rozmiar zestawu danych :
13.00 MiB
Podziały :
Podział | Przykłady |
---|---|
'test' | 1588 |
'train' | 47278 |
'validation' | 1184 |
- Struktura funkcji :
Translation({
'pt': Text(shape=(), dtype=string),
'ru': Text(shape=(), dtype=string),
})
- Dokumentacja funkcji :
Funkcja | Klasa | Kształt | Typ D | Opis |
---|---|---|---|---|
Tłumaczenie | ||||
pkt | Tekst | strunowy | ||
ru | Tekst | strunowy |
Klucze nadzorowane (zobacz dokument
as_supervised
):('ru', 'pt')
Przykłady ( tfds.as_dataframe ):
ted_hrlr_translate/tr_to_en
Opis konfiguracji : zestaw danych translacji z tr na en w postaci zwykłego tekstu.
Rozmiar zestawu danych :
42.33 MiB
Podziały :
Podział | Przykłady |
---|---|
'test' | 5029 |
'train' | 182 450 |
'validation' | 4045 |
- Struktura funkcji :
Translation({
'en': Text(shape=(), dtype=string),
'tr': Text(shape=(), dtype=string),
})
- Dokumentacja funkcji :
Funkcja | Klasa | Kształt | Typ D | Opis |
---|---|---|---|---|
Tłumaczenie | ||||
en | Tekst | strunowy | ||
tr | Tekst | strunowy |
Nadzorowane klucze (Zobacz
as_supervised
doc ):('tr', 'en')
Przykłady ( tfds.as_dataframe ):