- opis :
Zdania w Wikipedii z oznaczonymi najistotniejszymi rozpiętościami.
Strona główna : https://www.tensorflow.org/datasets/catalog/salient_span_wikipedia
Kod źródłowy :
tfds.datasets.salient_span_wikipedia.Builder
Wersje :
-
1.0.0
(domyślnie): Brak informacji o wersji.
-
Rozmiar pliku do pobrania :
Unknown size
Automatyczne buforowanie ( dokumentacja ): Nie
Klucze nadzorowane (Zobacz dokument
as_supervised
):None
Rysunek ( tfds.show_examples ): Nieobsługiwany.
Cytat :
@article{guu2020realm,
title={REALM: Retrieval-Augmented Language Model Pre-Training},
author={Kelvin Guu and Kenton Lee and Zora Tung and Panupong Pasupat and Ming-Wei Chang},
year={2020},
journal = {arXiv e-prints},
archivePrefix = {arXiv},
eprint={2002.08909},
}
salient_span_wikipedia/sentences (domyślna konfiguracja)
Opis konfiguracji : Przykładami są pojedyncze zdania zawierające byty.
Rozmiar zestawu danych :
20.57 GiB
Podziały :
Podział | Przykłady |
---|---|
'train' | 82 291 706 |
- Struktura funkcji :
FeaturesDict({
'spans': Sequence({
'limit': int32,
'start': int32,
'type': string,
}),
'text': Text(shape=(), dtype=string),
'title': Text(shape=(), dtype=string),
})
- Dokumentacja funkcji :
Funkcja | Klasa | Kształtować się | Typ D | Opis |
---|---|---|---|---|
FunkcjeDict | ||||
rozpiętości | Sekwencja | |||
rozpiętości/granica | Napinacz | int32 | ||
przęsła/start | Napinacz | int32 | ||
rozpiętości/typ | Napinacz | strunowy | ||
tekst | Tekst | strunowy | ||
tytuł | Tekst | strunowy |
- Przykłady ( tfds.as_dataframe ):
salient_span_wikipedia/documents
Opis konfiguracji : Przykłady dotyczą pełnych dokumentów.
Rozmiar zestawu danych :
16.52 GiB
Podziały :
Podział | Przykłady |
---|---|
'train' | 13 353 718 |
- Struktura funkcji :
FeaturesDict({
'sentences': Sequence({
'limit': int32,
'start': int32,
}),
'spans': Sequence({
'limit': int32,
'start': int32,
'type': string,
}),
'text': Text(shape=(), dtype=string),
'title': Text(shape=(), dtype=string),
})
- Dokumentacja funkcji :
Funkcja | Klasa | Kształtować się | Typ D | Opis |
---|---|---|---|---|
FunkcjeDict | ||||
zdania | Sekwencja | |||
zdania/limit | Napinacz | int32 | ||
zdania/początek | Napinacz | int32 | ||
rozpiętości | Sekwencja | |||
rozpiętości/granica | Napinacz | int32 | ||
przęsła/start | Napinacz | int32 | ||
rozpiętości/typ | Napinacz | strunowy | ||
tekst | Tekst | strunowy | ||
tytuł | Tekst | strunowy |
- Przykłady ( tfds.as_dataframe ):