- Opis :
Ramię Franki współdziałające z kuchnią
Strona główna : https://www.kaggle.com/datasets/oiermees/taco-robot
Kod źródłowy :
tfds.robotics.rtx.TacoPlay
Wersje :
-
0.1.0
(domyślnie): Wersja pierwsza.
-
Rozmiar pobierania :
Unknown size
Rozmiar zbioru danych :
47.77 GiB
Automatyczne buforowanie ( dokumentacja ): Nie
Podziały :
Podział | Przykłady |
---|---|
'test' | 361 |
'train' | 3242 |
- Struktura funkcji :
FeaturesDict({
'steps': Dataset({
'action': FeaturesDict({
'actions': Tensor(shape=(7,), dtype=float32, description=absolute desired values for gripper pose (first 6 dimensions are x, y, z, yaw, pitch, roll), last dimension is open_gripper (-1 is open gripper, 1 is close)),
'rel_actions_gripper': Tensor(shape=(7,), dtype=float32, description=relative actions for gripper pose in the gripper camera frame (first 6 dimensions are x, y, z, yaw, pitch, roll), last dimension is open_gripper (-1 is open gripper, 1 is close)),
'rel_actions_world': Tensor(shape=(7,), dtype=float32, description=relative actions for gripper pose in the robot base frame (first 6 dimensions are x, y, z, yaw, pitch, roll), last dimension is open_gripper (-1 is open gripper, 1 is close)),
'terminate_episode': float32,
}),
'is_first': bool,
'is_last': bool,
'is_terminal': bool,
'observation': FeaturesDict({
'depth_gripper': Tensor(shape=(84, 84), dtype=float32),
'depth_static': Tensor(shape=(150, 200), dtype=float32),
'natural_language_embedding': Tensor(shape=(512,), dtype=float32),
'natural_language_instruction': string,
'rgb_gripper': Image(shape=(84, 84, 3), dtype=uint8),
'rgb_static': Image(shape=(150, 200, 3), dtype=uint8, description=RGB static image of shape. (150, 200, 3). Subsampled from (200,200, 3) image.),
'robot_obs': Tensor(shape=(15,), dtype=float32, description=EE position (3), EE orientation in euler angles (3), gripper width (1), joint positions (7), gripper action (1)),
'structured_language_instruction': string,
}),
'reward': Scalar(shape=(), dtype=float32),
}),
})
- Dokumentacja funkcji :
Funkcja | Klasa | Kształt | Typ D | Opis |
---|---|---|---|---|
FunkcjeDykt | ||||
kroki | Zbiór danych | |||
kroki/akcja | FunkcjeDykt | |||
kroki/akcja/działania | Napinacz | (7,) | pływak32 | bezwzględnie pożądane wartości pozycji chwytaka (pierwsze 6 wymiarów to x, y, z, odchylenie, nachylenie, przechylenie), ostatni wymiar to open_gripper (-1 to otwarty chwytak, 1 to zamknięty) |
kroki/akcja/rel_actions_gripper | Napinacz | (7,) | pływak32 | względne działania dla pozycji chwytaka w ramce kamery chwytaka (pierwsze 6 wymiarów to x, y, z, odchylenie, nachylenie, przechylenie), ostatni wymiar to open_gripper (-1 to otwarty chwytak, 1 to zamknięty) |
kroki/akcja/rel_actions_world | Napinacz | (7,) | pływak32 | względne działania dla pozycji chwytaka w ramie podstawowej robota (pierwsze 6 wymiarów to x, y, z, odchylenie, nachylenie, przechylenie), ostatni wymiar to open_gripper (-1 to otwarty chwytak, 1 to zamknięty) |
kroki/akcja/zakończ_odcinek | Napinacz | pływak32 | ||
kroki/jest_pierwszy | Napinacz | bool | ||
kroki/jest_ostatni | Napinacz | bool | ||
kroki/is_terminal | Napinacz | bool | ||
kroki/obserwacje | FunkcjeDykt | |||
kroki/obserwacja/chwytak_głębokości | Napinacz | (84, 84) | pływak32 | |
kroki/obserwacja/głębia_statyczna | Napinacz | (150, 200) | pływak32 | |
kroki/obserwacja/osadzanie_języka_naturalnego | Napinacz | (512,) | pływak32 | |
kroki/obserwacja/instrukcja_języka_naturalnego | Napinacz | smyczkowy | Instrukcja języka naturalnego to instrukcja języka naturalnego losowo wybrana na podstawie potencjalnych synonimów zadań pochodzących z zadania języka strukturalnego. Na przykład „wyłącz niebieskie światło” może oznaczać „wyłącz niebieskie światło”. | |
kroki/obserwacja/rgb_gripper | Obraz | (84, 84, 3) | uint8 | |
kroki/obserwacja/rgb_static | Obraz | (150, 200, 3) | uint8 | Statyczny obraz kształtu RGB. (150, 200, 3). Podpróbkowanie z (200,200, 3) obrazu. |
kroki/obserwacja/robot_obs | Napinacz | (15,) | pływak32 | pozycja EE (3), orientacja EE w kątach Eulera (3), szerokość chwytaka (1), pozycje przegubów (7), działanie chwytaka (1) |
kroki/obserwacja/instrukcja_języka_strukturalnego | Napinacz | smyczkowy | Jedna z 25 możliwych instrukcji w języku strukturalnym, patrz lista w https://arxiv.org/pdf/2210.01911.pdf Tabela 2. | |
kroki/nagroda | Skalarny | pływak32 |
Klucze nadzorowane (zobacz dokument
as_supervised
):None
Rysunek ( tfds.show_examples ): Nieobsługiwany.
Przykłady ( tfds.as_dataframe ): Brak.
Cytat :
@inproceedings{rosete2022tacorl,
author = {Erick Rosete-Beas and Oier Mees and Gabriel Kalweit and Joschka Boedecker and Wolfram Burgard},
title = {Latent Plans for Task Agnostic Offline Reinforcement Learning},
journal = {Proceedings of the 6th Conference on Robot Learning (CoRL)},
year = {2022}
}
@inproceedings{mees23hulc2,
title={Grounding Language with Visual Affordances over Unstructured Data},
author={Oier Mees and Jessica Borja-Diaz and Wolfram Burgard},
booktitle = {Proceedings of the IEEE International Conference on Robotics and Automation (ICRA)},
year={2023},
address = {London, UK}
}