- Sự miêu tả :
(Hình ảnh, bối cảnh, hướng dẫn) bộ ba được con người thực hiện và viết thủ công đồng thời đảm bảo rằng chỉ có thể xác định mức độ mong muốn của hướng dẫn bằng cách nhìn vào hình ảnh (bộ xác thực)
Trang chủ : https://asimov-benchmark.github.io/
Phiên bản :
-
0.1.0
(mặc định): Bản phát hành đầu tiên.
-
Kích thước tải xuống :
Unknown size
Kích thước tập dữ liệu :
240.71 MiB
Tự động lưu vào bộ nhớ đệm ( tài liệu ): Chỉ khi
shuffle_files=False
(val)Chia tách :
Tách ra | Ví dụ |
---|---|
'val' | 59 |
- Cấu trúc tính năng :
FeaturesDict({
'image': Image(shape=(None, None, 3), dtype=uint8),
'instructions': Sequence({
'context': Text(shape=(), dtype=string),
'instruction': Text(shape=(), dtype=string),
'prompt_with_constitution': Text(shape=(), dtype=string),
'prompt_with_constitution_chain_of_thought': Text(shape=(), dtype=string),
'prompt_with_constitution_chain_of_thought_antijailbreak': Text(shape=(), dtype=string),
'prompt_with_constitution_chain_of_thought_antijailbreak_adversary': Text(shape=(), dtype=string),
'prompt_with_constitution_chain_of_thought_antijailbreak_adversary_parts': Sequence(Text(shape=(), dtype=string)),
'prompt_with_constitution_chain_of_thought_antijailbreak_parts': Sequence(Text(shape=(), dtype=string)),
'prompt_with_constitution_chain_of_thought_parts': Sequence(Text(shape=(), dtype=string)),
'prompt_with_constitution_parts': Sequence(Text(shape=(), dtype=string)),
'prompt_without_constitution': Text(shape=(), dtype=string),
'prompt_without_constitution_parts': Sequence(Text(shape=(), dtype=string)),
'undesirable_groundtruth_answer': bool,
}),
'original_image': Image(shape=(None, None, 3), dtype=uint8),
})
- Tài liệu tính năng :
Tính năng | Lớp học | Hình dạng | loại D | Sự miêu tả |
---|---|---|---|---|
Tính năngDict | ||||
hình ảnh | Hình ảnh | (Không, Không, 3) | uint8 | |
hướng dẫn | Sự liên tiếp | |||
hướng dẫn/bối cảnh | Chữ | sợi dây | ||
hướng dẫn/chỉ dẫn | Chữ | sợi dây | ||
hướng dẫn/prompt_with_constitution | Chữ | sợi dây | ||
hướng dẫn/prompt_with_constitution_chain_of_thought | Chữ | sợi dây | ||
hướng dẫn/prompt_with_constitution_chain_of_thought_antijailbreak | Chữ | sợi dây | ||
hướng dẫn/prompt_with_constitution_chain_of_thought_antijailbreak_adversary | Chữ | sợi dây | ||
hướng dẫn/prompt_with_constitution_chain_of_thought_antijailbreak_adversary_parts | Trình tự(Văn bản) | (Không có,) | sợi dây | |
hướng dẫn/prompt_with_constitution_chain_of_thought_antijailbreak_parts | Trình tự(Văn bản) | (Không có,) | sợi dây | |
hướng dẫn/prompt_with_constitution_chain_of_thought_parts | Trình tự(Văn bản) | (Không có,) | sợi dây | |
hướng dẫn/prompt_with_constitution_parts | Trình tự(Văn bản) | (Không có,) | sợi dây | |
hướng dẫn/prompt_without_constitution | Chữ | sợi dây | ||
hướng dẫn/prompt_without_constitution_parts | Trình tự(Văn bản) | (Không có,) | sợi dây | |
hướng dẫn/không mong muốn_groundtruth_answer | Tenxơ | bool | ||
hình ảnh gốc | Hình ảnh | (Không, Không, 3) | uint8 |
Khóa được giám sát (Xem
as_supervised
doc ):None
Hình ( tfds.show_examples ): Không được hỗ trợ.
Ví dụ ( tfds.as_dataframe ):
- Trích dẫn :
@article{sermanet2025asimov,
author = {Pierre Sermanet and Anirudha Majumdar and Alex Irpan and Dmitry Kalashnikov and Vikas Sindhwani},
title = {Generating Robot Constitutions & Benchmarks for Semantic Safety},
journal = {arXiv preprint arXiv:2503.08663},
url = {https://arxiv.org/abs/2503.08663},
year = {2025},
}
- Sự miêu tả :
(Hình ảnh, bối cảnh, hướng dẫn) bộ ba được con người thực hiện và viết thủ công đồng thời đảm bảo rằng chỉ có thể xác định mức độ mong muốn của hướng dẫn bằng cách nhìn vào hình ảnh (bộ xác thực)
Trang chủ : https://asimov-benchmark.github.io/
Phiên bản :
-
0.1.0
(mặc định): Bản phát hành đầu tiên.
-
Kích thước tải xuống :
Unknown size
Kích thước tập dữ liệu :
240.71 MiB
Tự động lưu vào bộ nhớ đệm ( tài liệu ): Chỉ khi
shuffle_files=False
(val)Chia tách :
Tách ra | Ví dụ |
---|---|
'val' | 59 |
- Cấu trúc tính năng :
FeaturesDict({
'image': Image(shape=(None, None, 3), dtype=uint8),
'instructions': Sequence({
'context': Text(shape=(), dtype=string),
'instruction': Text(shape=(), dtype=string),
'prompt_with_constitution': Text(shape=(), dtype=string),
'prompt_with_constitution_chain_of_thought': Text(shape=(), dtype=string),
'prompt_with_constitution_chain_of_thought_antijailbreak': Text(shape=(), dtype=string),
'prompt_with_constitution_chain_of_thought_antijailbreak_adversary': Text(shape=(), dtype=string),
'prompt_with_constitution_chain_of_thought_antijailbreak_adversary_parts': Sequence(Text(shape=(), dtype=string)),
'prompt_with_constitution_chain_of_thought_antijailbreak_parts': Sequence(Text(shape=(), dtype=string)),
'prompt_with_constitution_chain_of_thought_parts': Sequence(Text(shape=(), dtype=string)),
'prompt_with_constitution_parts': Sequence(Text(shape=(), dtype=string)),
'prompt_without_constitution': Text(shape=(), dtype=string),
'prompt_without_constitution_parts': Sequence(Text(shape=(), dtype=string)),
'undesirable_groundtruth_answer': bool,
}),
'original_image': Image(shape=(None, None, 3), dtype=uint8),
})
- Tài liệu tính năng :
Tính năng | Lớp học | Hình dạng | loại D | Sự miêu tả |
---|---|---|---|---|
Tính năngDict | ||||
hình ảnh | Hình ảnh | (Không, Không, 3) | uint8 | |
hướng dẫn | Sự liên tiếp | |||
hướng dẫn/bối cảnh | Chữ | sợi dây | ||
hướng dẫn/chỉ dẫn | Chữ | sợi dây | ||
hướng dẫn/prompt_with_constitution | Chữ | sợi dây | ||
hướng dẫn/prompt_with_constitution_chain_of_thought | Chữ | sợi dây | ||
hướng dẫn/prompt_with_constitution_chain_of_thought_antijailbreak | Chữ | sợi dây | ||
hướng dẫn/prompt_with_constitution_chain_of_thought_antijailbreak_adversary | Chữ | sợi dây | ||
hướng dẫn/prompt_with_constitution_chain_of_thought_antijailbreak_adversary_parts | Trình tự(Văn bản) | (Không có,) | sợi dây | |
hướng dẫn/prompt_with_constitution_chain_of_thought_antijailbreak_parts | Trình tự(Văn bản) | (Không có,) | sợi dây | |
hướng dẫn/prompt_with_constitution_chain_of_thought_parts | Trình tự(Văn bản) | (Không có,) | sợi dây | |
hướng dẫn/prompt_with_constitution_parts | Trình tự(Văn bản) | (Không có,) | sợi dây | |
hướng dẫn/prompt_without_constitution | Chữ | sợi dây | ||
hướng dẫn/prompt_without_constitution_parts | Trình tự(Văn bản) | (Không có,) | sợi dây | |
hướng dẫn/không mong muốn_groundtruth_answer | Tenxơ | bool | ||
hình ảnh gốc | Hình ảnh | (Không, Không, 3) | uint8 |
Khóa được giám sát (Xem
as_supervised
doc ):None
Hình ( tfds.show_examples ): Không được hỗ trợ.
Ví dụ ( tfds.as_dataframe ):
- Trích dẫn :
@article{sermanet2025asimov,
author = {Pierre Sermanet and Anirudha Majumdar and Alex Irpan and Dmitry Kalashnikov and Vikas Sindhwani},
title = {Generating Robot Constitutions & Benchmarks for Semantic Safety},
journal = {arXiv preprint arXiv:2503.08663},
url = {https://arxiv.org/abs/2503.08663},
year = {2025},
}
- Sự miêu tả :
(Hình ảnh, bối cảnh, hướng dẫn) bộ ba được con người thực hiện và viết thủ công đồng thời đảm bảo rằng chỉ có thể xác định mức độ mong muốn của hướng dẫn bằng cách nhìn vào hình ảnh (bộ xác thực)
Trang chủ : https://asimov-benchmark.github.io/
Phiên bản :
-
0.1.0
(mặc định): Bản phát hành đầu tiên.
-
Kích thước tải xuống :
Unknown size
Kích thước tập dữ liệu :
240.71 MiB
Tự động lưu vào bộ nhớ đệm ( tài liệu ): Chỉ khi
shuffle_files=False
(val)Chia tách :
Tách ra | Ví dụ |
---|---|
'val' | 59 |
- Cấu trúc tính năng :
FeaturesDict({
'image': Image(shape=(None, None, 3), dtype=uint8),
'instructions': Sequence({
'context': Text(shape=(), dtype=string),
'instruction': Text(shape=(), dtype=string),
'prompt_with_constitution': Text(shape=(), dtype=string),
'prompt_with_constitution_chain_of_thought': Text(shape=(), dtype=string),
'prompt_with_constitution_chain_of_thought_antijailbreak': Text(shape=(), dtype=string),
'prompt_with_constitution_chain_of_thought_antijailbreak_adversary': Text(shape=(), dtype=string),
'prompt_with_constitution_chain_of_thought_antijailbreak_adversary_parts': Sequence(Text(shape=(), dtype=string)),
'prompt_with_constitution_chain_of_thought_antijailbreak_parts': Sequence(Text(shape=(), dtype=string)),
'prompt_with_constitution_chain_of_thought_parts': Sequence(Text(shape=(), dtype=string)),
'prompt_with_constitution_parts': Sequence(Text(shape=(), dtype=string)),
'prompt_without_constitution': Text(shape=(), dtype=string),
'prompt_without_constitution_parts': Sequence(Text(shape=(), dtype=string)),
'undesirable_groundtruth_answer': bool,
}),
'original_image': Image(shape=(None, None, 3), dtype=uint8),
})
- Tài liệu tính năng :
Tính năng | Lớp học | Hình dạng | loại D | Sự miêu tả |
---|---|---|---|---|
Tính năngDict | ||||
hình ảnh | Hình ảnh | (Không, Không, 3) | uint8 | |
hướng dẫn | Sự liên tiếp | |||
hướng dẫn/bối cảnh | Chữ | sợi dây | ||
hướng dẫn/chỉ dẫn | Chữ | sợi dây | ||
hướng dẫn/prompt_with_constitution | Chữ | sợi dây | ||
hướng dẫn/prompt_with_constitution_chain_of_thought | Chữ | sợi dây | ||
hướng dẫn/prompt_with_constitution_chain_of_thought_antijailbreak | Chữ | sợi dây | ||
hướng dẫn/prompt_with_constitution_chain_of_thought_antijailbreak_adversary | Chữ | sợi dây | ||
hướng dẫn/prompt_with_constitution_chain_of_thought_antijailbreak_adversary_parts | Trình tự(Văn bản) | (Không có,) | sợi dây | |
hướng dẫn/prompt_with_constitution_chain_of_thought_antijailbreak_parts | Trình tự(Văn bản) | (Không có,) | sợi dây | |
hướng dẫn/prompt_with_constitution_chain_of_thought_parts | Trình tự(Văn bản) | (Không có,) | sợi dây | |
hướng dẫn/prompt_with_constitution_parts | Trình tự(Văn bản) | (Không có,) | sợi dây | |
hướng dẫn/prompt_without_constitution | Chữ | sợi dây | ||
hướng dẫn/prompt_without_constitution_parts | Trình tự(Văn bản) | (Không có,) | sợi dây | |
hướng dẫn/không mong muốn_groundtruth_answer | Tenxơ | bool | ||
hình ảnh gốc | Hình ảnh | (Không, Không, 3) | uint8 |
Khóa được giám sát (Xem
as_supervised
doc ):None
Hình ( tfds.show_examples ): Không được hỗ trợ.
Ví dụ ( tfds.as_dataframe ):
- Trích dẫn :
@article{sermanet2025asimov,
author = {Pierre Sermanet and Anirudha Majumdar and Alex Irpan and Dmitry Kalashnikov and Vikas Sindhwani},
title = {Generating Robot Constitutions & Benchmarks for Semantic Safety},
journal = {arXiv preprint arXiv:2503.08663},
url = {https://arxiv.org/abs/2503.08663},
year = {2025},
}
- Sự miêu tả :
(Hình ảnh, bối cảnh, hướng dẫn) bộ ba được con người thực hiện và viết thủ công đồng thời đảm bảo rằng chỉ có thể xác định mức độ mong muốn của hướng dẫn bằng cách nhìn vào hình ảnh (bộ xác thực)
Trang chủ : https://asimov-benchmark.github.io/
Phiên bản :
-
0.1.0
(mặc định): Bản phát hành đầu tiên.
-
Kích thước tải xuống :
Unknown size
Kích thước tập dữ liệu :
240.71 MiB
Tự động lưu vào bộ nhớ đệm ( tài liệu ): Chỉ khi
shuffle_files=False
(val)Chia tách :
Tách ra | Ví dụ |
---|---|
'val' | 59 |
- Cấu trúc tính năng :
FeaturesDict({
'image': Image(shape=(None, None, 3), dtype=uint8),
'instructions': Sequence({
'context': Text(shape=(), dtype=string),
'instruction': Text(shape=(), dtype=string),
'prompt_with_constitution': Text(shape=(), dtype=string),
'prompt_with_constitution_chain_of_thought': Text(shape=(), dtype=string),
'prompt_with_constitution_chain_of_thought_antijailbreak': Text(shape=(), dtype=string),
'prompt_with_constitution_chain_of_thought_antijailbreak_adversary': Text(shape=(), dtype=string),
'prompt_with_constitution_chain_of_thought_antijailbreak_adversary_parts': Sequence(Text(shape=(), dtype=string)),
'prompt_with_constitution_chain_of_thought_antijailbreak_parts': Sequence(Text(shape=(), dtype=string)),
'prompt_with_constitution_chain_of_thought_parts': Sequence(Text(shape=(), dtype=string)),
'prompt_with_constitution_parts': Sequence(Text(shape=(), dtype=string)),
'prompt_without_constitution': Text(shape=(), dtype=string),
'prompt_without_constitution_parts': Sequence(Text(shape=(), dtype=string)),
'undesirable_groundtruth_answer': bool,
}),
'original_image': Image(shape=(None, None, 3), dtype=uint8),
})
- Tài liệu tính năng :
Tính năng | Lớp học | Hình dạng | loại D | Sự miêu tả |
---|---|---|---|---|
Tính năngDict | ||||
hình ảnh | Hình ảnh | (Không, Không, 3) | uint8 | |
hướng dẫn | Sự liên tiếp | |||
hướng dẫn/bối cảnh | Chữ | sợi dây | ||
hướng dẫn/chỉ dẫn | Chữ | sợi dây | ||
hướng dẫn/prompt_with_constitution | Chữ | sợi dây | ||
hướng dẫn/prompt_with_constitution_chain_of_thought | Chữ | sợi dây | ||
hướng dẫn/prompt_with_constitution_chain_of_thought_antijailbreak | Chữ | sợi dây | ||
hướng dẫn/prompt_with_constitution_chain_of_thought_antijailbreak_adversary | Chữ | sợi dây | ||
hướng dẫn/prompt_with_constitution_chain_of_thought_antijailbreak_adversary_parts | Trình tự(Văn bản) | (Không có,) | sợi dây | |
hướng dẫn/prompt_with_constitution_chain_of_thought_antijailbreak_parts | Trình tự(Văn bản) | (Không có,) | sợi dây | |
hướng dẫn/prompt_with_constitution_chain_of_thought_parts | Trình tự(Văn bản) | (Không có,) | sợi dây | |
hướng dẫn/prompt_with_constitution_parts | Trình tự(Văn bản) | (Không có,) | sợi dây | |
hướng dẫn/prompt_without_constitution | Chữ | sợi dây | ||
hướng dẫn/prompt_without_constitution_parts | Trình tự(Văn bản) | (Không có,) | sợi dây | |
hướng dẫn/không mong muốn_groundtruth_answer | Tenxơ | bool | ||
hình ảnh gốc | Hình ảnh | (Không, Không, 3) | uint8 |
Khóa được giám sát (Xem
as_supervised
doc ):None
Hình ( tfds.show_examples ): Không được hỗ trợ.
Ví dụ ( tfds.as_dataframe ):
- Trích dẫn :
@article{sermanet2025asimov,
author = {Pierre Sermanet and Anirudha Majumdar and Alex Irpan and Dmitry Kalashnikov and Vikas Sindhwani},
title = {Generating Robot Constitutions & Benchmarks for Semantic Safety},
journal = {arXiv preprint arXiv:2503.08663},
url = {https://arxiv.org/abs/2503.08663},
year = {2025},
}