ScanNet200 3D Semantic Label Results

The 3D semantic labeling task involves predicting a semantic labeling of a 3D scan mesh.

Evaluation and metrics

Our evaluation ranks all methods according to the PASCAL VOC intersection-over-union metric (IoU). IoU = TP/(TP+FP+FN), where TP, FP, and FN are the numbers of true positive, false positive, and false negative pixels, respectively. Predicted labels are evaluated per-vertex over the respective 3D scan mesh; for 3D approaches that operate on other representations like grids or points, the predicted labels should be mapped onto the mesh vertices (e.g., one such example for grid to mesh vertices is provided in the evaluation helpers).

This table lists the benchmark results for the ScanNet200 3D semantic label scenario.

Method	avg iou	head iou	common iou	tail iou	backpack	bag	ball	bar	basket	bathroom cabinet	bathroom stall	bathroom stall door	bathroom vanity	bathtub	bed	bench	bicycle	bin	blackboard	blanket	blinds	board	book	bookshelf	bottle	bowl	box	broom	bucket	bulletin board	cabinet	calendar	candle	cart	case of water bottles	ceiling	ceiling light	chair	clock	closet	closet rod	clothes	clothes dryer	coat rack	coffee kettle	coffee maker	coffee table	column	computer tower	copier	couch	counter	cup	curtain	cushion	decoration	desk	dining table	dish rack	dishwasher	door	doorframe	dresser	dumbbell	end table	fan	file cabinet	fire alarm	fire extinguisher	floor	folded chair	hat	headphones	ironing board	jacket	keyboard	keyboard piano	kitchen cabinet	kitchen counter	ladder	lamp	laptop	laundry basket	laundry detergent	laundry hamper	ledge	light	light switch	machine	mailbox	mat	microwave	mini fridge	mirror	monitor	mouse	music stand	nightstand	object	office chair	oven	paper	paper bag	paper cutter	paper towel dispenser	paper towel roll	person	piano	picture	pillow	pipe	plant	plate	plunger	poster	power outlet	power strip	printer	projector	projector screen	rack	radiator	range hood	recycling bin	refrigerator	scale	seat	shelf	shoe	shower	shower curtain	shower curtain rod	shower floor	shower head	shower wall	sign	sink	soap dispenser	sofa chair	speaker	stair rail	stairs	stand	stool	storage bin	storage container	storage organizer	stove	structure	stuffed animal	suitcase	table	telephone	tissue box	toaster	toilet	toilet paper	toilet paper dispenser	towel	trash bin	trash can	tray	tube	tv	tv stand	vacuum cleaner	vent	wall	wardrobe	washing machine	water bottle	water cooler	water pitcher	whiteboard	window	windowsill

CeCo	0.340 1	0.551 3	0.247 4	0.181 1	0.475 4	0.057 8	0.142 7	0.000 1	0.000 1	0.000 1	0.387 3	0.463 3	0.499 4	0.924 1	0.774 3	0.213 2	0.257 4	0.000 3	0.546 8	0.100 5	0.006 3	0.615 1	0.177 8	0.534 2	0.246 3	0.000 4	0.400 2	0.000 1	0.338 1	0.006 7	0.484 2	0.609 1	0.000 1	0.083 4	0.000 2	0.873 3	0.089 4	0.661 5	0.000 3	0.048 8	0.560 1	0.408 3	0.892 3	0.000 1	0.000 1	0.586 1	0.616 3	0.000 7	0.692 4	0.900 1	0.721 3	0.162 1	0.228 1	0.860 3	0.000 1	0.000 4	0.575 1	0.083 2	0.550 1	0.347 1	0.624 4	0.410 4	0.360 2	0.740 1	0.109 5	0.321 6	0.660 2	0.000 2	0.121 2	0.939 4	0.143 3	0.000 1	0.400 1	0.003 5	0.190 3	0.564 1	0.652 4	0.615 4	0.421 1	0.304 6	0.579 1	0.547 1	0.000 2	0.000 1	0.296 5	0.000 5	0.030 4	0.096 1	0.000 3	0.916 1	0.037 4	0.551 4	0.171 3	0.376 2	0.865 4	0.286 1	0.000 1	0.633 1	0.102 7	0.027 4	0.011 3	0.000 1	0.000 3	0.474 5	0.742 1	0.133 3	0.311 4	0.824 3	0.242 4	0.503 5	0.068 4	0.828 1	0.000 3	0.429 2	0.000 1	0.063 1	0.000 2	0.781 1	0.000 1	0.000 4	0.000 1	0.665 1	0.633 2	0.450 1	0.818 1	0.000 3	0.000 1	0.429 2	0.532 3	0.226 4	0.825 3	0.510 6	0.377 2	0.709 1	0.079 6	0.000 1	0.753 1	0.683 1	0.102 7	0.063 2	0.401 7	0.620 6	0.000 1	0.619 2	0.000 8	0.000 4	0.000 1	0.595 6	0.000 2	0.000 1	0.345 5	0.564 2	0.411 1	0.603 1	0.384 2	0.945 2	0.266 4	0.643 1	0.367 5	0.304 1	0.663 4	0.000 1	0.010 2	0.726 6	0.767 3	0.898 3	0.000 1	0.784 4	0.435 1	0.861 4	0.000 1	0.447 3	0.000 7	0.257 3	0.656 4	0.377 4
: Understanding Imbalanced Semantic Segmentation Through Neural Collapse.
OA-CNN-L_ScanNet200	0.333 2	0.558 1	0.269 2	0.124 4	0.448 6	0.080 4	0.272 3	0.000 1	0.000 1	0.000 1	0.342 5	0.515 2	0.524 2	0.713 8	0.789 2	0.158 4	0.384 3	0.000 3	0.806 2	0.125 2	0.000 4	0.496 3	0.332 2	0.498 7	0.227 4	0.024 2	0.474 1	0.000 1	0.003 2	0.071 4	0.487 1	0.000 3	0.000 1	0.110 2	0.000 2	0.876 1	0.013 8	0.703 1	0.000 3	0.076 4	0.473 4	0.355 4	0.906 2	0.000 1	0.000 1	0.476 4	0.706 1	0.000 7	0.672 6	0.835 5	0.748 2	0.015 7	0.223 2	0.860 3	0.000 1	0.000 4	0.572 2	0.000 5	0.509 3	0.313 2	0.662 1	0.398 5	0.396 1	0.411 6	0.276 1	0.527 1	0.711 1	0.000 2	0.076 5	0.946 1	0.166 2	0.000 1	0.022 2	0.160 1	0.183 4	0.493 4	0.699 3	0.637 2	0.403 2	0.330 5	0.406 4	0.526 2	0.024 1	0.000 1	0.392 4	0.000 5	0.016 8	0.000 3	0.196 2	0.915 2	0.112 3	0.557 3	0.197 1	0.352 4	0.877 2	0.000 3	0.000 1	0.592 6	0.103 6	0.000 8	0.067 1	0.000 1	0.089 1	0.735 3	0.625 3	0.130 5	0.568 2	0.836 2	0.271 1	0.534 3	0.043 6	0.799 2	0.001 2	0.445 1	0.000 1	0.000 2	0.024 1	0.661 2	0.000 1	0.262 1	0.000 1	0.591 3	0.517 7	0.373 3	0.788 3	0.021 2	0.000 1	0.455 1	0.517 4	0.320 3	0.823 4	0.200 8	0.001 8	0.150 3	0.100 4	0.000 1	0.736 2	0.668 2	0.103 6	0.052 3	0.662 1	0.720 1	0.000 1	0.602 4	0.112 3	0.002 3	0.000 1	0.637 4	0.000 2	0.000 1	0.621 3	0.569 1	0.398 2	0.412 3	0.234 3	0.949 1	0.363 1	0.492 7	0.495 3	0.251 3	0.665 3	0.000 1	0.001 5	0.805 2	0.833 2	0.794 4	0.000 1	0.821 1	0.314 2	0.843 5	0.000 1	0.560 2	0.245 2	0.262 2	0.713 1	0.370 5

PPT-SpUNet-F.T.	0.332 3	0.556 2	0.270 1	0.123 5	0.519 1	0.091 2	0.349 2	0.000 1	0.000 1	0.000 1	0.339 6	0.383 5	0.498 5	0.833 2	0.807 1	0.241 1	0.584 2	0.000 3	0.755 3	0.124 3	0.000 4	0.608 2	0.330 3	0.530 4	0.314 1	0.000 4	0.374 3	0.000 1	0.000 3	0.197 1	0.459 3	0.000 3	0.000 1	0.117 1	0.000 2	0.876 1	0.095 1	0.682 2	0.000 3	0.086 3	0.518 2	0.433 1	0.930 1	0.000 1	0.000 1	0.563 3	0.542 5	0.077 4	0.715 2	0.858 3	0.756 1	0.008 8	0.171 4	0.874 2	0.000 1	0.039 1	0.550 3	0.000 5	0.545 2	0.256 3	0.657 3	0.453 1	0.351 3	0.449 5	0.213 2	0.392 3	0.611 4	0.000 2	0.037 6	0.946 1	0.138 5	0.000 1	0.000 4	0.063 3	0.308 1	0.537 2	0.796 1	0.673 1	0.323 5	0.392 3	0.400 5	0.509 3	0.000 2	0.000 1	0.649 1	0.000 5	0.023 5	0.000 3	0.000 3	0.914 3	0.002 7	0.506 7	0.163 5	0.359 3	0.872 3	0.000 3	0.000 1	0.623 2	0.112 3	0.001 7	0.000 4	0.000 1	0.021 2	0.753 1	0.565 7	0.150 1	0.579 1	0.806 4	0.267 2	0.616 1	0.042 7	0.783 4	0.000 3	0.374 5	0.000 1	0.000 2	0.000 2	0.620 4	0.000 1	0.000 4	0.000 1	0.572 6	0.634 1	0.350 4	0.792 2	0.000 3	0.000 1	0.376 4	0.535 2	0.378 2	0.855 1	0.672 1	0.074 5	0.000 4	0.185 3	0.000 1	0.727 3	0.660 3	0.076 8	0.000 6	0.432 4	0.646 3	0.000 1	0.594 5	0.006 7	0.000 4	0.000 1	0.658 2	0.000 2	0.000 1	0.661 1	0.549 3	0.300 5	0.291 5	0.045 5	0.942 4	0.304 2	0.600 3	0.572 2	0.135 7	0.695 1	0.000 1	0.008 3	0.793 3	0.942 1	0.899 2	0.000 1	0.816 2	0.181 4	0.897 1	0.000 1	0.679 1	0.223 3	0.264 1	0.691 2	0.345 6

OctFormer ScanNet200	0.326 4	0.539 4	0.265 3	0.131 3	0.499 2	0.110 1	0.522 1	0.000 1	0.000 1	0.000 1	0.318 8	0.427 4	0.455 6	0.743 6	0.765 4	0.175 3	0.842 1	0.000 3	0.828 1	0.204 1	0.033 2	0.429 4	0.335 1	0.601 1	0.312 2	0.000 4	0.357 4	0.000 1	0.000 3	0.047 5	0.423 4	0.000 3	0.000 1	0.105 3	0.000 2	0.873 3	0.079 6	0.670 4	0.000 3	0.117 1	0.471 5	0.432 2	0.829 5	0.000 1	0.000 1	0.584 2	0.417 8	0.089 3	0.684 5	0.837 4	0.705 7	0.021 6	0.178 3	0.892 1	0.000 1	0.028 2	0.505 5	0.000 5	0.457 4	0.200 6	0.662 1	0.412 3	0.244 6	0.496 3	0.000 8	0.451 2	0.626 3	0.000 2	0.102 4	0.943 3	0.138 5	0.000 1	0.000 4	0.149 2	0.291 2	0.534 3	0.722 2	0.632 3	0.331 4	0.253 7	0.453 3	0.487 4	0.000 2	0.000 1	0.479 2	0.000 5	0.022 6	0.000 3	0.000 3	0.900 4	0.128 2	0.684 1	0.164 4	0.413 1	0.854 5	0.000 3	0.000 1	0.512 8	0.074 8	0.003 6	0.000 4	0.000 1	0.000 3	0.469 6	0.613 4	0.132 4	0.529 3	0.871 1	0.227 7	0.582 2	0.026 8	0.787 3	0.000 3	0.339 6	0.000 1	0.000 2	0.000 2	0.626 3	0.000 1	0.029 3	0.000 1	0.587 4	0.612 3	0.411 2	0.724 5	0.000 3	0.000 1	0.407 3	0.552 1	0.513 1	0.849 2	0.655 2	0.408 1	0.000 4	0.296 1	0.000 1	0.686 6	0.645 5	0.145 3	0.022 4	0.414 5	0.633 4	0.000 1	0.637 1	0.224 1	0.000 4	0.000 1	0.650 3	0.000 2	0.000 1	0.622 2	0.535 4	0.343 3	0.483 2	0.230 4	0.943 3	0.289 3	0.618 2	0.596 1	0.140 6	0.679 2	0.000 1	0.022 1	0.783 4	0.620 6	0.906 1	0.000 1	0.806 3	0.137 6	0.865 2	0.000 1	0.378 4	0.000 7	0.168 8	0.680 3	0.227 7
Peng-Shuai Wang: OctFormer: Octree-based Transformers for 3D Point Clouds. SIGGRAPH 2023
AWCS	0.305 5	0.508 5	0.225 5	0.142 2	0.463 5	0.063 6	0.195 5	0.000 1	0.000 1	0.000 1	0.467 2	0.551 1	0.504 3	0.773 3	0.764 5	0.142 5	0.029 8	0.000 3	0.626 6	0.100 5	0.000 4	0.360 5	0.179 6	0.507 6	0.137 6	0.006 3	0.300 5	0.000 1	0.000 3	0.172 3	0.364 6	0.512 2	0.000 1	0.056 5	0.000 2	0.865 5	0.093 3	0.634 8	0.000 3	0.071 6	0.396 6	0.296 7	0.876 4	0.000 1	0.000 1	0.373 5	0.436 7	0.063 6	0.749 1	0.877 2	0.721 3	0.131 2	0.124 5	0.804 6	0.000 1	0.000 4	0.515 4	0.010 4	0.452 5	0.252 4	0.578 5	0.417 2	0.179 8	0.484 4	0.171 3	0.337 5	0.606 5	0.000 2	0.115 3	0.937 5	0.142 4	0.000 1	0.008 3	0.000 7	0.157 7	0.484 5	0.402 8	0.501 6	0.339 3	0.553 1	0.529 2	0.478 5	0.000 2	0.000 1	0.404 3	0.001 4	0.022 6	0.077 2	0.000 3	0.894 6	0.219 1	0.628 2	0.093 6	0.305 5	0.886 1	0.233 2	0.000 1	0.603 3	0.112 3	0.023 5	0.000 4	0.000 1	0.000 3	0.741 2	0.664 2	0.097 6	0.253 5	0.782 5	0.264 3	0.523 4	0.154 1	0.707 7	0.000 3	0.411 3	0.000 1	0.000 2	0.000 2	0.332 7	0.000 1	0.000 4	0.000 1	0.602 2	0.595 4	0.185 7	0.656 7	0.159 1	0.000 1	0.355 5	0.424 6	0.154 6	0.729 6	0.516 5	0.220 4	0.620 2	0.084 5	0.000 1	0.707 5	0.651 4	0.173 1	0.014 5	0.381 8	0.582 7	0.000 1	0.619 2	0.049 6	0.000 4	0.000 1	0.702 1	0.000 2	0.000 1	0.302 7	0.489 6	0.317 4	0.334 4	0.392 1	0.922 5	0.254 5	0.533 6	0.394 4	0.129 8	0.613 6	0.000 1	0.000 6	0.820 1	0.649 5	0.749 5	0.000 1	0.782 5	0.282 3	0.863 3	0.000 1	0.288 7	0.006 5	0.220 5	0.633 5	0.542 1

LGround	0.272 6	0.485 6	0.184 6	0.106 6	0.476 3	0.077 5	0.218 4	0.000 1	0.000 1	0.000 1	0.547 1	0.295 6	0.540 1	0.746 5	0.745 6	0.058 7	0.112 7	0.005 1	0.658 5	0.077 8	0.000 4	0.322 6	0.178 7	0.512 5	0.190 5	0.199 1	0.277 6	0.000 1	0.000 3	0.173 2	0.399 5	0.000 3	0.000 1	0.039 7	0.000 2	0.858 6	0.085 5	0.676 3	0.002 1	0.103 2	0.498 3	0.323 5	0.703 6	0.000 1	0.000 1	0.296 6	0.549 4	0.216 1	0.702 3	0.768 6	0.718 5	0.028 4	0.092 7	0.786 7	0.000 1	0.000 4	0.453 7	0.022 3	0.251 8	0.252 4	0.572 6	0.348 6	0.321 4	0.514 2	0.063 6	0.279 7	0.552 6	0.000 2	0.019 7	0.932 6	0.132 7	0.000 1	0.000 4	0.000 7	0.156 8	0.457 6	0.623 5	0.518 5	0.265 7	0.358 4	0.381 6	0.395 6	0.000 2	0.000 1	0.127 8	0.012 3	0.051 1	0.000 3	0.000 3	0.886 7	0.014 5	0.437 8	0.179 2	0.244 6	0.826 6	0.000 3	0.000 1	0.599 4	0.136 1	0.085 2	0.000 4	0.000 1	0.000 3	0.565 4	0.612 5	0.143 2	0.207 6	0.566 6	0.232 6	0.446 6	0.127 2	0.708 6	0.000 3	0.384 4	0.000 1	0.000 2	0.000 2	0.402 5	0.000 1	0.059 2	0.000 1	0.525 8	0.566 5	0.229 6	0.659 6	0.000 3	0.000 1	0.265 6	0.446 5	0.147 7	0.720 8	0.597 4	0.066 6	0.000 4	0.187 2	0.000 1	0.726 4	0.467 8	0.134 5	0.000 6	0.413 6	0.629 5	0.000 1	0.363 7	0.055 5	0.022 2	0.000 1	0.626 5	0.000 2	0.000 1	0.323 6	0.479 8	0.154 7	0.117 6	0.028 7	0.901 6	0.243 6	0.415 8	0.295 8	0.143 5	0.610 7	0.000 1	0.000 6	0.777 5	0.397 8	0.324 7	0.000 1	0.778 6	0.179 5	0.702 7	0.000 1	0.274 8	0.404 1	0.233 4	0.622 6	0.398 3
David Rozenberszki, Or Litany, Angela Dai: Language-Grounded Indoor 3D Semantic Segmentation in the Wild. arXiv
CSC-Pretrain	0.249 8	0.455 8	0.171 7	0.079 8	0.418 7	0.059 7	0.186 6	0.000 1	0.000 1	0.000 1	0.335 7	0.250 7	0.316 7	0.766 4	0.697 8	0.142 5	0.170 5	0.003 2	0.553 7	0.112 4	0.097 1	0.201 8	0.186 5	0.476 8	0.081 7	0.000 4	0.216 8	0.000 1	0.000 3	0.001 8	0.314 8	0.000 3	0.000 1	0.055 6	0.000 2	0.832 8	0.094 2	0.659 6	0.002 1	0.076 4	0.310 8	0.293 8	0.664 8	0.000 1	0.000 1	0.175 8	0.634 2	0.130 2	0.552 8	0.686 8	0.700 8	0.076 3	0.110 6	0.770 8	0.000 1	0.000 4	0.430 8	0.000 5	0.319 6	0.166 7	0.542 8	0.327 7	0.205 7	0.332 7	0.052 7	0.375 4	0.444 8	0.000 2	0.012 8	0.930 8	0.203 1	0.000 1	0.000 4	0.046 4	0.175 5	0.413 7	0.592 6	0.471 7	0.299 6	0.152 8	0.340 7	0.247 8	0.000 2	0.000 1	0.225 6	0.058 2	0.037 2	0.000 3	0.207 1	0.862 8	0.014 5	0.548 5	0.033 7	0.233 7	0.816 7	0.000 3	0.000 1	0.542 7	0.123 2	0.121 1	0.019 2	0.000 1	0.000 3	0.463 7	0.454 8	0.045 8	0.128 8	0.557 7	0.235 5	0.441 7	0.063 5	0.484 8	0.000 3	0.308 8	0.000 1	0.000 2	0.000 2	0.318 8	0.000 1	0.000 4	0.000 1	0.545 7	0.543 6	0.164 8	0.734 4	0.000 3	0.000 1	0.215 8	0.371 7	0.198 5	0.743 5	0.205 7	0.062 7	0.000 4	0.079 6	0.000 1	0.683 7	0.547 7	0.142 4	0.000 6	0.441 3	0.579 8	0.000 1	0.464 6	0.098 4	0.041 1	0.000 1	0.590 7	0.000 2	0.000 1	0.373 4	0.494 5	0.174 6	0.105 7	0.001 8	0.895 7	0.222 7	0.537 5	0.307 7	0.180 4	0.625 5	0.000 1	0.000 6	0.591 8	0.609 7	0.398 6	0.000 1	0.766 8	0.014 8	0.638 8	0.000 1	0.377 5	0.004 6	0.206 7	0.609 8	0.465 2
Ji Hou, Benjamin Graham, Matthias Nießner, Saining Xie: Exploring Data-Efficient 3D Scene Understanding with Contrastive Scene Contexts. CVPR 2021
Minkowski 34D	0.253 7	0.463 7	0.154 8	0.102 7	0.381 8	0.084 3	0.134 8	0.000 1	0.000 1	0.000 1	0.386 4	0.141 8	0.279 8	0.737 7	0.703 7	0.014 8	0.164 6	0.000 3	0.663 4	0.092 7	0.000 4	0.224 7	0.291 4	0.531 3	0.056 8	0.000 4	0.242 7	0.000 1	0.000 3	0.013 6	0.331 7	0.000 3	0.000 1	0.035 8	0.001 1	0.858 6	0.059 7	0.650 7	0.000 3	0.056 7	0.353 7	0.299 6	0.670 7	0.000 1	0.000 1	0.284 7	0.484 6	0.071 5	0.594 7	0.720 7	0.710 6	0.027 5	0.068 8	0.813 5	0.000 1	0.005 3	0.492 6	0.164 1	0.274 7	0.111 8	0.571 7	0.307 8	0.293 5	0.307 8	0.150 4	0.163 8	0.531 7	0.002 1	0.545 1	0.932 6	0.093 8	0.000 1	0.000 4	0.002 6	0.159 6	0.368 8	0.581 7	0.440 8	0.228 8	0.406 2	0.282 8	0.294 7	0.000 2	0.000 1	0.189 7	0.060 1	0.036 3	0.000 3	0.000 3	0.897 5	0.000 8	0.525 6	0.025 8	0.205 8	0.771 8	0.000 3	0.000 1	0.593 5	0.108 5	0.044 3	0.000 4	0.000 1	0.000 3	0.282 8	0.589 6	0.094 7	0.169 7	0.466 8	0.227 7	0.419 8	0.125 3	0.757 5	0.002 1	0.334 7	0.000 1	0.000 2	0.000 2	0.357 6	0.000 1	0.000 4	0.000 1	0.582 5	0.513 8	0.337 5	0.612 8	0.000 3	0.000 1	0.250 7	0.352 8	0.136 8	0.724 7	0.655 2	0.280 3	0.000 4	0.046 8	0.000 1	0.606 8	0.559 6	0.159 2	0.102 1	0.445 2	0.655 2	0.000 1	0.310 8	0.117 2	0.000 4	0.000 1	0.581 8	0.026 1	0.000 1	0.265 8	0.483 7	0.084 8	0.097 8	0.044 6	0.865 8	0.142 8	0.588 4	0.351 6	0.272 2	0.596 8	0.000 1	0.003 4	0.622 7	0.720 4	0.096 8	0.000 1	0.771 7	0.016 7	0.772 6	0.000 1	0.302 6	0.194 4	0.214 6	0.621 7	0.197 8
C. Choy, J. Gwak, S. Savarese: 4D Spatio-Temporal ConvNets: Minkowski Convolutional Neural Networks. CVPR 2019

ScanNet200 3D Semantic Label Benchmark