ScanNet200 3D Semantic Label Results

The 3D semantic labeling task involves predicting a semantic labeling of a 3D scan mesh.

Evaluation and metrics

Our evaluation ranks all methods according to the PASCAL VOC intersection-over-union metric (IoU). IoU = TP/(TP+FP+FN), where TP, FP, and FN are the numbers of true positive, false positive, and false negative pixels, respectively. Predicted labels are evaluated per-vertex over the respective 3D scan mesh; for 3D approaches that operate on other representations like grids or points, the predicted labels should be mapped onto the mesh vertices (e.g., one such example for grid to mesh vertices is provided in the evaluation helpers).

This table lists the benchmark results for the ScanNet200 3D semantic label scenario.

Method	avg iou	head iou	common iou	tail iou	wall	chair	floor	table	door	couch	cabinet	shelf	desk	office chair	bed	pillow	sink	picture	window	toilet	bookshelf	monitor	curtain	book	coffee table	box	refrigerator	lamp	kitchen cabinet	towel	clothes	tv	nightstand	counter	dresser	stool	cushion	plant	ceiling	bathtub	end table	dining table	keyboard	bag	backpack	toilet paper	printer	tv stand	whiteboard	blanket	shower curtain	trash can	closet	stairs	microwave	stove	shoe	computer tower	bottle	bin	bench	board	washing machine	mirror	copier	basket	sofa chair	file cabinet	fan	laptop	shower	paper	person	paper towel dispenser	oven	blinds	rack	plate	blackboard	piano	suitcase	radiator	recycling bin	wardrobe	soap dispenser	telephone	bucket	clock	stand	light	laundry basket	pipe	clothes dryer	seat	speaker	column	bicycle	ladder	bathroom stall	shower wall	cup	jacket	storage bin	coffee maker	dishwasher	paper towel roll	machine	mat	windowsill	bar	toaster	bulletin board	ironing board	kitchen counter	doorframe	toilet paper dispenser	mini fridge	fire extinguisher	ball	hat	shower curtain rod	water cooler	paper cutter	tray	ledge	mouse	cart	storage container	scale	tissue box	light switch	power outlet	decoration	sign	projector	vacuum cleaner	candle	plunger	stuffed animal	headphones	dish rack	broom	range hood	water bottle	vent	shower floor	water pitcher	mailbox	bowl	paper bag	music stand	projector screen	laundry detergent	object	bathroom vanity	laundry hamper	bathroom stall door	ceiling light	trash bin	dumbbell	stair rail	tube	bathroom cabinet	closet rod	coffee kettle	structure	shower head	keyboard piano	case of water bottles	coat rack	storage organizer	folded chair	fire alarm	power strip	calendar	poster

OctFormer ScanNet200	0.326 4	0.539 4	0.265 3	0.131 3	0.806 3	0.670 4	0.943 3	0.535 4	0.662 1	0.705 7	0.423 4	0.407 3	0.505 5	0.003 6	0.765 4	0.582 2	0.686 6	0.227 7	0.680 3	0.943 3	0.601 1	0.854 5	0.892 1	0.335 1	0.417 8	0.357 4	0.724 5	0.453 3	0.632 3	0.596 1	0.432 2	0.783 4	0.512 8	0.021 6	0.244 6	0.637 1	0.000 1	0.787 3	0.873 3	0.743 6	0.000 8	0.000 5	0.534 3	0.110 1	0.499 2	0.289 3	0.626 3	0.620 6	0.168 8	0.204 1	0.849 2	0.679 2	0.117 1	0.633 4	0.684 1	0.650 3	0.552 1	0.684 5	0.312 2	0.000 3	0.175 3	0.429 4	0.865 2	0.413 1	0.837 4	0.000 1	0.145 3	0.626 3	0.451 2	0.487 4	0.513 1	0.000 1	0.529 3	0.613 4	0.000 4	0.033 2	0.000 1	0.000 3	0.828 1	0.871 1	0.622 2	0.587 4	0.411 2	0.137 6	0.645 5	0.343 3	0.000 3	0.000 3	0.000 1	0.022 6	0.000 2	0.026 8	0.829 5	0.000 1	0.022 4	0.089 3	0.842 1	0.253 7	0.318 8	0.296 1	0.178 3	0.291 2	0.224 1	0.584 2	0.200 6	0.132 4	0.000 3	0.128 2	0.227 7	0.000 1	0.230 4	0.047 5	0.149 2	0.331 4	0.412 3	0.618 2	0.164 4	0.102 4	0.522 1	0.000 1	0.655 2	0.378 4	0.469 6	0.000 1	0.000 5	0.000 3	0.105 3	0.000 4	0.000 3	0.483 2	0.000 3	0.000 2	0.028 2	0.000 1	0.000 1	0.906 1	0.000 1	0.339 6	0.000 1	0.000 4	0.457 4	0.000 1	0.612 3	0.000 1	0.000 1	0.408 1	0.000 7	0.900 4	0.000 4	0.000 3	0.000 1	0.029 3	0.000 1	0.074 8	0.455 6	0.479 2	0.427 4	0.079 6	0.140 6	0.496 3	0.414 5	0.022 1	0.000 1	0.471 5	0.000 1	0.000 2	0.000 4	0.722 2	0.000 2	0.000 1	0.000 1	0.138 5	0.000 2	0.000 2	0.000 3	0.000 1
Peng-Shuai Wang: OctFormer: Octree-based Transformers for 3D Point Clouds. SIGGRAPH 2023
CeCo	0.340 1	0.551 3	0.247 4	0.181 1	0.784 4	0.661 5	0.939 4	0.564 2	0.624 4	0.721 3	0.484 2	0.429 2	0.575 1	0.027 4	0.774 3	0.503 5	0.753 1	0.242 4	0.656 4	0.945 2	0.534 2	0.865 4	0.860 3	0.177 8	0.616 3	0.400 2	0.818 1	0.579 1	0.615 4	0.367 5	0.408 3	0.726 6	0.633 1	0.162 1	0.360 2	0.619 2	0.000 1	0.828 1	0.873 3	0.924 1	0.109 5	0.083 2	0.564 1	0.057 8	0.475 4	0.266 4	0.781 1	0.767 3	0.257 3	0.100 5	0.825 3	0.663 4	0.048 8	0.620 6	0.551 4	0.595 6	0.532 3	0.692 4	0.246 3	0.000 3	0.213 2	0.615 1	0.861 4	0.376 2	0.900 1	0.000 1	0.102 7	0.660 2	0.321 6	0.547 1	0.226 4	0.000 1	0.311 4	0.742 1	0.011 3	0.006 3	0.000 1	0.000 3	0.546 8	0.824 3	0.345 5	0.665 1	0.450 1	0.435 1	0.683 1	0.411 1	0.338 1	0.000 3	0.000 1	0.030 4	0.000 2	0.068 4	0.892 3	0.000 1	0.063 2	0.000 7	0.257 4	0.304 6	0.387 3	0.079 6	0.228 1	0.190 3	0.000 8	0.586 1	0.347 1	0.133 3	0.000 3	0.037 4	0.377 4	0.000 1	0.384 2	0.006 7	0.003 5	0.421 1	0.410 4	0.643 1	0.171 3	0.121 2	0.142 7	0.000 1	0.510 6	0.447 3	0.474 5	0.000 1	0.000 5	0.286 1	0.083 4	0.000 4	0.000 3	0.603 1	0.096 1	0.063 1	0.000 4	0.000 1	0.000 1	0.898 3	0.000 1	0.429 2	0.000 1	0.400 1	0.550 1	0.000 1	0.633 2	0.000 1	0.000 1	0.377 2	0.000 7	0.916 1	0.000 4	0.000 3	0.000 1	0.000 4	0.000 1	0.102 7	0.499 4	0.296 5	0.463 3	0.089 4	0.304 1	0.740 1	0.401 7	0.010 2	0.000 1	0.560 1	0.000 1	0.000 2	0.709 1	0.652 4	0.000 2	0.000 1	0.000 1	0.143 3	0.000 2	0.000 2	0.609 1	0.000 1
: Understanding Imbalanced Semantic Segmentation Through Neural Collapse.
PPT-SpUNet-F.T.	0.332 3	0.556 2	0.270 1	0.123 5	0.816 2	0.682 2	0.946 1	0.549 3	0.657 3	0.756 1	0.459 3	0.376 4	0.550 3	0.001 7	0.807 1	0.616 1	0.727 3	0.267 2	0.691 2	0.942 4	0.530 4	0.872 3	0.874 2	0.330 3	0.542 5	0.374 3	0.792 2	0.400 5	0.673 1	0.572 2	0.433 1	0.793 3	0.623 2	0.008 8	0.351 3	0.594 5	0.000 1	0.783 4	0.876 1	0.833 2	0.213 2	0.000 5	0.537 2	0.091 2	0.519 1	0.304 2	0.620 4	0.942 1	0.264 1	0.124 3	0.855 1	0.695 1	0.086 3	0.646 3	0.506 7	0.658 2	0.535 2	0.715 2	0.314 1	0.000 3	0.241 1	0.608 2	0.897 1	0.359 3	0.858 3	0.000 1	0.076 8	0.611 4	0.392 3	0.509 3	0.378 2	0.000 1	0.579 1	0.565 7	0.000 4	0.000 4	0.000 1	0.000 3	0.755 3	0.806 4	0.661 1	0.572 6	0.350 4	0.181 4	0.660 3	0.300 5	0.000 3	0.000 3	0.000 1	0.023 5	0.000 2	0.042 7	0.930 1	0.000 1	0.000 6	0.077 4	0.584 2	0.392 3	0.339 6	0.185 3	0.171 4	0.308 1	0.006 7	0.563 3	0.256 3	0.150 1	0.000 3	0.002 7	0.345 6	0.000 1	0.045 5	0.197 1	0.063 3	0.323 5	0.453 1	0.600 3	0.163 5	0.037 6	0.349 2	0.000 1	0.672 1	0.679 1	0.753 1	0.000 1	0.000 5	0.000 3	0.117 1	0.000 4	0.000 3	0.291 5	0.000 3	0.000 2	0.039 1	0.000 1	0.000 1	0.899 2	0.000 1	0.374 5	0.000 1	0.000 4	0.545 2	0.000 1	0.634 1	0.000 1	0.000 1	0.074 5	0.223 3	0.914 3	0.000 4	0.021 2	0.000 1	0.000 4	0.000 1	0.112 3	0.498 5	0.649 1	0.383 5	0.095 1	0.135 7	0.449 5	0.432 4	0.008 3	0.000 1	0.518 2	0.000 1	0.000 2	0.000 4	0.796 1	0.000 2	0.000 1	0.000 1	0.138 5	0.000 2	0.000 2	0.000 3	0.000 1
Xiaoyang Wu, Zhuotao Tian, Xin Wen, Bohao Peng, Xihui Liu, Kaicheng Yu, Hengshuang Zhao: Towards Large-scale 3D Representation Learning with Multi-dataset Point Prompt Training.
OA-CNN-L_ScanNet200	0.333 2	0.558 1	0.269 2	0.124 4	0.821 1	0.703 1	0.946 1	0.569 1	0.662 1	0.748 2	0.487 1	0.455 1	0.572 2	0.000 8	0.789 2	0.534 3	0.736 2	0.271 1	0.713 1	0.949 1	0.498 7	0.877 2	0.860 3	0.332 2	0.706 1	0.474 1	0.788 3	0.406 4	0.637 2	0.495 3	0.355 4	0.805 2	0.592 6	0.015 7	0.396 1	0.602 4	0.000 1	0.799 2	0.876 1	0.713 8	0.276 1	0.000 5	0.493 4	0.080 4	0.448 6	0.363 1	0.661 2	0.833 2	0.262 2	0.125 2	0.823 4	0.665 3	0.076 4	0.720 1	0.557 3	0.637 4	0.517 4	0.672 6	0.227 4	0.000 3	0.158 4	0.496 3	0.843 5	0.352 4	0.835 5	0.000 1	0.103 6	0.711 1	0.527 1	0.526 2	0.320 3	0.000 1	0.568 2	0.625 3	0.067 1	0.000 4	0.000 1	0.001 2	0.806 2	0.836 2	0.621 3	0.591 3	0.373 3	0.314 2	0.668 2	0.398 2	0.003 2	0.000 3	0.000 1	0.016 8	0.024 1	0.043 6	0.906 2	0.000 1	0.052 3	0.000 7	0.384 3	0.330 5	0.342 5	0.100 4	0.223 2	0.183 4	0.112 3	0.476 4	0.313 2	0.130 5	0.196 2	0.112 3	0.370 5	0.000 1	0.234 3	0.071 4	0.160 1	0.403 2	0.398 5	0.492 7	0.197 1	0.076 5	0.272 3	0.000 1	0.200 8	0.560 2	0.735 3	0.000 1	0.000 5	0.000 3	0.110 2	0.002 3	0.021 2	0.412 3	0.000 3	0.000 2	0.000 4	0.000 1	0.000 1	0.794 4	0.000 1	0.445 1	0.000 1	0.022 2	0.509 3	0.000 1	0.517 7	0.000 1	0.000 1	0.001 8	0.245 2	0.915 2	0.024 2	0.089 1	0.000 1	0.262 1	0.000 1	0.103 6	0.524 2	0.392 4	0.515 2	0.013 8	0.251 3	0.411 6	0.662 1	0.001 5	0.000 1	0.473 4	0.000 1	0.000 2	0.150 3	0.699 3	0.000 2	0.000 1	0.000 1	0.166 2	0.000 2	0.024 1	0.000 3	0.000 1

AWCS	0.305 5	0.508 5	0.225 5	0.142 2	0.782 5	0.634 8	0.937 5	0.489 6	0.578 5	0.721 3	0.364 6	0.355 5	0.515 4	0.023 5	0.764 5	0.523 4	0.707 5	0.264 3	0.633 5	0.922 5	0.507 6	0.886 1	0.804 6	0.179 6	0.436 7	0.300 5	0.656 7	0.529 2	0.501 6	0.394 4	0.296 7	0.820 1	0.603 3	0.131 2	0.179 8	0.619 2	0.000 1	0.707 7	0.865 5	0.773 3	0.171 3	0.010 4	0.484 5	0.063 6	0.463 5	0.254 5	0.332 7	0.649 5	0.220 5	0.100 5	0.729 6	0.613 6	0.071 6	0.582 7	0.628 2	0.702 1	0.424 6	0.749 1	0.137 6	0.000 3	0.142 5	0.360 5	0.863 3	0.305 5	0.877 2	0.000 1	0.173 1	0.606 5	0.337 5	0.478 5	0.154 6	0.000 1	0.253 5	0.664 2	0.000 4	0.000 4	0.000 1	0.000 3	0.626 6	0.782 5	0.302 7	0.602 2	0.185 7	0.282 3	0.651 4	0.317 4	0.000 3	0.000 3	0.000 1	0.022 6	0.000 2	0.154 1	0.876 4	0.000 1	0.014 5	0.063 6	0.029 8	0.553 1	0.467 2	0.084 5	0.124 5	0.157 7	0.049 6	0.373 5	0.252 4	0.097 6	0.000 3	0.219 1	0.542 1	0.000 1	0.392 1	0.172 3	0.000 7	0.339 3	0.417 2	0.533 6	0.093 6	0.115 3	0.195 5	0.000 1	0.516 5	0.288 7	0.741 2	0.000 1	0.001 4	0.233 2	0.056 5	0.000 4	0.159 1	0.334 4	0.077 2	0.000 2	0.000 4	0.000 1	0.000 1	0.749 5	0.000 1	0.411 3	0.000 1	0.008 3	0.452 5	0.000 1	0.595 4	0.000 1	0.000 1	0.220 4	0.006 5	0.894 6	0.006 3	0.000 3	0.000 1	0.000 4	0.000 1	0.112 3	0.504 3	0.404 3	0.551 1	0.093 3	0.129 8	0.484 4	0.381 8	0.000 6	0.000 1	0.396 6	0.000 1	0.000 2	0.620 2	0.402 8	0.000 2	0.000 1	0.000 1	0.142 4	0.000 2	0.000 2	0.512 2	0.000 1

LGround	0.272 6	0.485 6	0.184 6	0.106 6	0.778 6	0.676 3	0.932 6	0.479 8	0.572 6	0.718 5	0.399 5	0.265 6	0.453 7	0.085 2	0.745 6	0.446 6	0.726 4	0.232 6	0.622 6	0.901 6	0.512 5	0.826 6	0.786 7	0.178 7	0.549 4	0.277 6	0.659 6	0.381 6	0.518 5	0.295 8	0.323 5	0.777 5	0.599 4	0.028 4	0.321 4	0.363 7	0.000 1	0.708 6	0.858 6	0.746 5	0.063 6	0.022 3	0.457 6	0.077 5	0.476 3	0.243 6	0.402 5	0.397 8	0.233 4	0.077 8	0.720 8	0.610 7	0.103 2	0.629 5	0.437 8	0.626 5	0.446 5	0.702 3	0.190 5	0.005 1	0.058 7	0.322 6	0.702 7	0.244 6	0.768 6	0.000 1	0.134 5	0.552 6	0.279 7	0.395 6	0.147 7	0.000 1	0.207 6	0.612 5	0.000 4	0.000 4	0.000 1	0.000 3	0.658 5	0.566 6	0.323 6	0.525 8	0.229 6	0.179 5	0.467 8	0.154 7	0.000 3	0.002 1	0.000 1	0.051 1	0.000 2	0.127 2	0.703 6	0.000 1	0.000 6	0.216 1	0.112 7	0.358 4	0.547 1	0.187 2	0.092 7	0.156 8	0.055 5	0.296 6	0.252 4	0.143 2	0.000 3	0.014 5	0.398 3	0.000 1	0.028 7	0.173 2	0.000 7	0.265 7	0.348 6	0.415 8	0.179 2	0.019 7	0.218 4	0.000 1	0.597 4	0.274 8	0.565 4	0.000 1	0.012 3	0.000 3	0.039 7	0.022 2	0.000 3	0.117 6	0.000 3	0.000 2	0.000 4	0.000 1	0.000 1	0.324 7	0.000 1	0.384 4	0.000 1	0.000 4	0.251 8	0.000 1	0.566 5	0.000 1	0.000 1	0.066 6	0.404 1	0.886 7	0.199 1	0.000 3	0.000 1	0.059 2	0.000 1	0.136 1	0.540 1	0.127 8	0.295 6	0.085 5	0.143 5	0.514 2	0.413 6	0.000 6	0.000 1	0.498 3	0.000 1	0.000 2	0.000 4	0.623 5	0.000 2	0.000 1	0.000 1	0.132 7	0.000 2	0.000 2	0.000 3	0.000 1
David Rozenberszki, Or Litany, Angela Dai: Language-Grounded Indoor 3D Semantic Segmentation in the Wild. arXiv
CSC-Pretrain	0.249 8	0.455 8	0.171 7	0.079 8	0.766 8	0.659 6	0.930 8	0.494 5	0.542 8	0.700 8	0.314 8	0.215 8	0.430 8	0.121 1	0.697 8	0.441 7	0.683 7	0.235 5	0.609 8	0.895 7	0.476 8	0.816 7	0.770 8	0.186 5	0.634 2	0.216 8	0.734 4	0.340 7	0.471 7	0.307 7	0.293 8	0.591 8	0.542 7	0.076 3	0.205 7	0.464 6	0.000 1	0.484 8	0.832 8	0.766 4	0.052 7	0.000 5	0.413 7	0.059 7	0.418 7	0.222 7	0.318 8	0.609 7	0.206 7	0.112 4	0.743 5	0.625 5	0.076 4	0.579 8	0.548 5	0.590 7	0.371 7	0.552 8	0.081 7	0.003 2	0.142 5	0.201 8	0.638 8	0.233 7	0.686 8	0.000 1	0.142 4	0.444 8	0.375 4	0.247 8	0.198 5	0.000 1	0.128 8	0.454 8	0.019 2	0.097 1	0.000 1	0.000 3	0.553 7	0.557 7	0.373 4	0.545 7	0.164 8	0.014 8	0.547 7	0.174 6	0.000 3	0.002 1	0.000 1	0.037 2	0.000 2	0.063 5	0.664 8	0.000 1	0.000 6	0.130 2	0.170 5	0.152 8	0.335 7	0.079 6	0.110 6	0.175 5	0.098 4	0.175 8	0.166 7	0.045 8	0.207 1	0.014 5	0.465 2	0.000 1	0.001 8	0.001 8	0.046 4	0.299 6	0.327 7	0.537 5	0.033 7	0.012 8	0.186 6	0.000 1	0.205 7	0.377 5	0.463 7	0.000 1	0.058 2	0.000 3	0.055 6	0.041 1	0.000 3	0.105 7	0.000 3	0.000 2	0.000 4	0.000 1	0.000 1	0.398 6	0.000 1	0.308 8	0.000 1	0.000 4	0.319 6	0.000 1	0.543 6	0.000 1	0.000 1	0.062 7	0.004 6	0.862 8	0.000 4	0.000 3	0.000 1	0.000 4	0.000 1	0.123 2	0.316 7	0.225 6	0.250 7	0.094 2	0.180 4	0.332 7	0.441 3	0.000 6	0.000 1	0.310 8	0.000 1	0.000 2	0.000 4	0.592 6	0.000 2	0.000 1	0.000 1	0.203 1	0.000 2	0.000 2	0.000 3	0.000 1
Ji Hou, Benjamin Graham, Matthias Nießner, Saining Xie: Exploring Data-Efficient 3D Scene Understanding with Contrastive Scene Contexts. CVPR 2021
Minkowski 34D	0.253 7	0.463 7	0.154 8	0.102 7	0.771 7	0.650 7	0.932 6	0.483 7	0.571 7	0.710 6	0.331 7	0.250 7	0.492 6	0.044 3	0.703 7	0.419 8	0.606 8	0.227 7	0.621 7	0.865 8	0.531 3	0.771 8	0.813 5	0.291 4	0.484 6	0.242 7	0.612 8	0.282 8	0.440 8	0.351 6	0.299 6	0.622 7	0.593 5	0.027 5	0.293 5	0.310 8	0.000 1	0.757 5	0.858 6	0.737 7	0.150 4	0.164 1	0.368 8	0.084 3	0.381 8	0.142 8	0.357 6	0.720 4	0.214 6	0.092 7	0.724 7	0.596 8	0.056 7	0.655 2	0.525 6	0.581 8	0.352 8	0.594 7	0.056 8	0.000 3	0.014 8	0.224 7	0.772 6	0.205 8	0.720 7	0.000 1	0.159 2	0.531 7	0.163 8	0.294 7	0.136 8	0.000 1	0.169 7	0.589 6	0.000 4	0.000 4	0.000 1	0.002 1	0.663 4	0.466 8	0.265 8	0.582 5	0.337 5	0.016 7	0.559 6	0.084 8	0.000 3	0.000 3	0.000 1	0.036 3	0.000 2	0.125 3	0.670 7	0.000 1	0.102 1	0.071 5	0.164 6	0.406 2	0.386 4	0.046 8	0.068 8	0.159 6	0.117 2	0.284 7	0.111 8	0.094 7	0.000 3	0.000 8	0.197 8	0.000 1	0.044 6	0.013 6	0.002 6	0.228 8	0.307 8	0.588 4	0.025 8	0.545 1	0.134 8	0.000 1	0.655 2	0.302 6	0.282 8	0.000 1	0.060 1	0.000 3	0.035 8	0.000 4	0.000 3	0.097 8	0.000 3	0.000 2	0.005 3	0.000 1	0.000 1	0.096 8	0.000 1	0.334 7	0.000 1	0.000 4	0.274 7	0.000 1	0.513 8	0.000 1	0.000 1	0.280 3	0.194 4	0.897 5	0.000 4	0.000 3	0.000 1	0.000 4	0.000 1	0.108 5	0.279 8	0.189 7	0.141 8	0.059 7	0.272 2	0.307 8	0.445 2	0.003 4	0.000 1	0.353 7	0.000 1	0.026 1	0.000 4	0.581 7	0.001 1	0.000 1	0.000 1	0.093 8	0.002 1	0.000 2	0.000 3	0.000 1
C. Choy, J. Gwak, S. Savarese: 4D Spatio-Temporal ConvNets: Minkowski Convolutional Neural Networks. CVPR 2019

ScanNet200 3D Semantic Label Benchmark