ScanNet200 3D Semantic Label Results

The 3D semantic labeling task involves predicting a semantic labeling of a 3D scan mesh.

Evaluation and metrics

Our evaluation ranks all methods according to the PASCAL VOC intersection-over-union metric (IoU). IoU = TP/(TP+FP+FN), where TP, FP, and FN are the numbers of true positive, false positive, and false negative pixels, respectively. Predicted labels are evaluated per-vertex over the respective 3D scan mesh; for 3D approaches that operate on other representations like grids or points, the predicted labels should be mapped onto the mesh vertices (e.g., one such example for grid to mesh vertices is provided in the evaluation helpers).

This table lists the benchmark results for the ScanNet200 3D semantic label scenario.

Method	avg iou	head iou	common iou	tail iou	backpack	bag	ball	bar	basket	bathroom cabinet	bathroom stall	bathroom stall door	bathroom vanity	bathtub	bed	bench	bicycle	bin	blackboard	blanket	blinds	board	book	bookshelf	bottle	bowl	box	broom	bucket	bulletin board	cabinet	calendar	candle	cart	case of water bottles	ceiling	ceiling light	chair	clock	closet	closet rod	clothes	clothes dryer	coat rack	coffee kettle	coffee maker	coffee table	column	computer tower	copier	couch	counter	cup	curtain	cushion	decoration	desk	dining table	dish rack	dishwasher	door	doorframe	dresser	dumbbell	end table	fan	file cabinet	fire alarm	fire extinguisher	floor	folded chair	hat	headphones	ironing board	jacket	keyboard	keyboard piano	kitchen cabinet	kitchen counter	ladder	lamp	laptop	laundry basket	laundry detergent	laundry hamper	ledge	light	light switch	machine	mailbox	mat	microwave	mini fridge	mirror	monitor	mouse	music stand	nightstand	object	office chair	oven	paper	paper bag	paper cutter	paper towel dispenser	paper towel roll	person	piano	picture	pillow	pipe	plant	plate	plunger	poster	power outlet	power strip	printer	projector	projector screen	rack	radiator	range hood	recycling bin	refrigerator	scale	seat	shelf	shoe	shower	shower curtain	shower curtain rod	shower floor	shower head	shower wall	sign	sink	soap dispenser	sofa chair	speaker	stair rail	stairs	stand	stool	storage bin	storage container	storage organizer	stove	structure	stuffed animal	suitcase	table	telephone	tissue box	toaster	toilet	toilet paper	toilet paper dispenser	towel	trash bin	trash can	tray	tube	tv	tv stand	vacuum cleaner	vent	wall	wardrobe	washing machine	water bottle	water cooler	water pitcher	whiteboard	window	windowsill

DITR	0.409 2	0.616 1	0.351 1	0.215 3	0.651 1	0.238 1	0.400 2	0.000 1	0.340 1	0.000 1	0.534 2	0.476 4	0.585 2	0.687 14	0.853 1	0.143 12	0.854 3	0.000 3	0.865 3	0.167 6	0.000 9	0.175 16	0.573 1	0.617 2	0.372 1	0.362 1	0.591 1	0.000 1	0.000 3	0.330 1	0.494 2	0.247 9	0.000 1	0.385 1	0.000 2	0.878 7	0.037 15	0.791 1	0.053 2	0.118 3	0.479 11	0.429 4	0.940 3	0.000 1	0.000 2	0.461 8	0.562 10	0.093 5	0.628 14	0.991 1	0.762 3	0.135 3	0.270 3	0.917 3	0.000 1	0.140 4	0.597 2	0.000 7	0.361 13	0.375 1	0.730 2	0.431 5	0.459 3	0.410 13	0.008 15	0.656 1	0.814 1	0.036 5	0.554 4	0.947 6	0.139 11	0.000 1	0.263 3	0.896 1	0.191 10	0.615 4	0.839 3	0.757 1	0.399 6	0.877 1	0.504 5	0.524 6	0.000 4	0.000 1	0.587 3	0.000 8	0.022 10	0.077 9	0.921 1	0.928 2	0.132 9	0.670 4	0.759 1	0.652 1	0.862 7	0.091 10	0.000 1	0.662 3	0.072 16	0.000 11	0.000 4	0.000 1	0.496 1	0.852 2	0.752 2	0.152 3	0.743 1	0.953 1	0.301 3	0.625 3	0.053 13	0.913 1	0.399 1	0.452 5	0.000 1	0.000 7	0.000 4	0.742 2	0.000 3	0.000 6	0.000 1	0.694 2	0.643 4	0.444 6	0.784 7	0.000 9	0.000 1	0.571 1	0.614 3	0.491 3	0.938 1	0.559 9	0.357 5	0.107 8	0.404 1	0.000 2	0.796 2	0.688 4	0.148 6	0.186 1	0.629 6	0.827 2	0.000 1	0.558 10	0.198 4	0.000 6	0.000 1	0.723 2	0.000 2	0.000 1	0.833 1	0.619 1	0.609 2	0.478 4	0.617 1	0.959 4	0.370 3	0.597 10	0.737 2	0.191 5	0.752 2	0.000 1	0.118 1	0.853 1	0.925 2	0.670 13	0.000 1	0.831 3	0.000 15	0.873 3	0.000 1	0.699 1	0.005 10	0.360 1	0.723 3	0.235 14

ALS-MinkowskiNet	0.414 1	0.610 2	0.322 3	0.271 1	0.542 2	0.153 2	0.159 11	0.000 1	0.000 4	0.000 1	0.404 4	0.503 3	0.532 7	0.672 16	0.804 5	0.285 2	0.888 1	0.000 3	0.900 1	0.226 1	0.087 2	0.598 3	0.342 5	0.671 1	0.217 9	0.087 3	0.449 3	0.000 1	0.000 3	0.253 2	0.477 5	1.000 1	0.000 1	0.118 4	0.000 2	0.905 1	0.071 12	0.710 3	0.076 1	0.047 15	0.665 1	0.376 9	0.981 1	0.000 1	0.000 2	0.466 7	0.632 6	0.113 3	0.769 1	0.956 3	0.795 1	0.031 10	0.314 1	0.936 1	0.000 1	0.390 2	0.601 1	0.000 7	0.458 8	0.366 2	0.719 3	0.440 4	0.564 1	0.699 3	0.314 2	0.464 7	0.784 2	0.200 1	0.283 6	0.973 1	0.142 9	0.000 1	0.250 5	0.285 7	0.220 6	0.718 1	0.752 6	0.723 2	0.460 1	0.248 15	0.475 7	0.463 12	0.000 4	0.000 1	0.446 8	0.021 4	0.025 8	0.285 1	0.000 5	0.972 1	0.149 7	0.769 1	0.230 2	0.535 2	0.879 2	0.252 4	0.000 1	0.693 1	0.129 2	0.000 11	0.000 4	0.000 1	0.447 2	0.958 1	0.662 8	0.159 2	0.598 3	0.780 13	0.344 2	0.646 2	0.106 4	0.893 2	0.135 2	0.455 4	0.000 1	0.194 3	0.259 1	0.726 3	0.475 2	0.000 6	0.000 1	0.741 1	0.865 1	0.571 2	0.817 3	0.445 3	0.000 1	0.506 2	0.630 2	0.230 11	0.916 2	0.728 1	0.635 1	1.000 1	0.252 6	0.000 2	0.804 1	0.697 3	0.137 9	0.043 6	0.717 2	0.807 4	0.000 1	0.510 12	0.245 1	0.000 6	0.000 1	0.709 3	0.000 2	0.000 1	0.703 2	0.572 3	0.646 1	0.223 12	0.531 3	0.984 1	0.397 2	0.813 1	0.798 1	0.135 13	0.800 1	0.000 1	0.097 2	0.832 3	0.752 9	0.842 8	0.000 1	0.852 1	0.149 9	0.846 10	0.000 1	0.666 5	0.359 2	0.252 8	0.777 1	0.690 2

PTv3 ScanNet200	0.393 3	0.592 3	0.330 2	0.216 2	0.520 4	0.109 4	0.108 15	0.000 1	0.337 2	0.000 1	0.310 12	0.394 8	0.494 12	0.753 9	0.848 2	0.256 5	0.717 7	0.000 3	0.842 5	0.192 4	0.065 4	0.449 7	0.346 4	0.546 6	0.190 11	0.000 8	0.384 6	0.000 1	0.000 3	0.218 3	0.505 1	0.791 2	0.000 1	0.136 3	0.000 2	0.903 2	0.073 11	0.687 8	0.000 7	0.168 1	0.551 5	0.387 8	0.941 2	0.000 1	0.000 2	0.397 12	0.654 4	0.000 10	0.714 5	0.759 14	0.752 9	0.118 5	0.264 4	0.926 2	0.000 1	0.048 5	0.575 4	0.000 7	0.597 1	0.366 2	0.755 1	0.469 1	0.474 2	0.798 1	0.140 9	0.617 2	0.692 6	0.000 8	0.592 3	0.971 2	0.188 3	0.000 1	0.133 8	0.593 2	0.349 1	0.650 3	0.717 8	0.699 3	0.455 2	0.790 2	0.523 3	0.636 1	0.301 1	0.000 1	0.622 2	0.000 8	0.017 14	0.259 3	0.000 5	0.921 4	0.337 2	0.733 2	0.210 4	0.514 3	0.860 8	0.407 1	0.000 1	0.688 2	0.109 8	0.000 11	0.000 4	0.000 1	0.151 4	0.671 8	0.782 1	0.115 11	0.641 2	0.903 2	0.349 1	0.616 4	0.088 6	0.832 5	0.000 6	0.480 3	0.000 1	0.428 1	0.000 4	0.497 10	0.000 3	0.000 6	0.000 1	0.662 4	0.690 2	0.612 1	0.828 1	0.575 1	0.000 1	0.404 7	0.644 1	0.325 7	0.887 4	0.728 1	0.009 14	0.134 6	0.026 16	0.000 2	0.761 3	0.731 1	0.172 4	0.077 3	0.528 7	0.727 7	0.000 1	0.603 5	0.220 3	0.022 3	0.000 1	0.740 1	0.000 2	0.000 1	0.661 4	0.586 2	0.566 3	0.436 5	0.531 3	0.978 2	0.457 1	0.708 4	0.583 6	0.141 8	0.748 3	0.000 1	0.026 5	0.822 5	0.871 4	0.879 5	0.000 1	0.851 2	0.405 2	0.914 1	0.000 1	0.682 3	0.000 14	0.281 4	0.738 2	0.463 6
Xiaoyang Wu, Li Jiang, Peng-Shuai Wang, Zhijian Liu, Xihui Liu, Yu Qiao, Wanli Ouyang, Tong He, Hengshuang Zhao: Point Transformer V3: Simpler, Faster, Stronger. CVPR 2024 (Oral)
PPT-SpUNet-F.T.	0.332 11	0.556 5	0.270 7	0.123 13	0.519 5	0.091 6	0.349 4	0.000 1	0.000 4	0.000 1	0.339 9	0.383 9	0.498 11	0.833 4	0.807 4	0.241 6	0.584 8	0.000 3	0.755 8	0.124 9	0.000 9	0.608 2	0.330 8	0.530 10	0.314 2	0.000 8	0.374 7	0.000 1	0.000 3	0.197 4	0.459 6	0.000 10	0.000 1	0.117 6	0.000 2	0.876 8	0.095 2	0.682 9	0.000 7	0.086 8	0.518 7	0.433 2	0.930 4	0.000 1	0.000 2	0.563 3	0.542 13	0.077 7	0.715 4	0.858 10	0.756 7	0.008 15	0.171 10	0.874 8	0.000 1	0.039 6	0.550 8	0.000 7	0.545 4	0.256 9	0.657 10	0.453 3	0.351 9	0.449 10	0.213 6	0.392 11	0.611 11	0.000 8	0.037 14	0.946 8	0.138 12	0.000 1	0.000 12	0.063 10	0.308 2	0.537 7	0.796 4	0.673 4	0.323 11	0.392 10	0.400 13	0.509 7	0.000 4	0.000 1	0.649 1	0.000 8	0.023 9	0.000 11	0.000 5	0.914 7	0.002 15	0.506 14	0.163 9	0.359 8	0.872 5	0.000 11	0.000 1	0.623 8	0.112 5	0.001 10	0.000 4	0.000 1	0.021 6	0.753 3	0.565 15	0.150 4	0.579 4	0.806 11	0.267 7	0.616 4	0.042 15	0.783 12	0.000 6	0.374 12	0.000 1	0.000 7	0.000 4	0.620 7	0.000 3	0.000 6	0.000 1	0.572 13	0.634 5	0.350 10	0.792 4	0.000 9	0.000 1	0.376 9	0.535 6	0.378 5	0.855 6	0.672 3	0.074 11	0.000 11	0.185 8	0.000 2	0.727 11	0.660 10	0.076 15	0.000 10	0.432 11	0.646 10	0.000 1	0.594 7	0.006 13	0.000 6	0.000 1	0.658 6	0.000 2	0.000 1	0.661 4	0.549 7	0.300 13	0.291 10	0.045 13	0.942 10	0.304 7	0.600 9	0.572 7	0.135 13	0.695 5	0.000 1	0.008 9	0.793 8	0.942 1	0.899 2	0.000 1	0.816 6	0.181 7	0.897 2	0.000 1	0.679 4	0.223 4	0.264 5	0.691 6	0.345 13
Xiaoyang Wu, Zhuotao Tian, Xin Wen, Bohao Peng, Xihui Liu, Kaicheng Yu, Hengshuang Zhao: Towards Large-scale 3D Representation Learning with Multi-dataset Point Prompt Training. CVPR 2024
GSTran	0.339 7	0.536 10	0.273 6	0.169 7	0.491 9	0.071 12	0.365 3	0.000 1	0.000 4	0.000 1	0.178 16	0.246 13	0.458 13	0.754 8	0.788 9	0.316 1	0.834 5	0.000 3	0.872 2	0.202 3	0.079 3	0.318 13	0.286 11	0.538 7	0.156 13	0.004 7	0.310 12	0.000 1	0.000 3	0.009 14	0.397 12	0.297 7	0.000 1	0.093 11	0.000 2	0.876 8	0.060 13	0.690 5	0.000 7	0.086 8	0.517 8	0.358 10	0.667 13	0.000 1	0.000 2	0.473 6	0.670 3	0.000 10	0.731 3	0.896 7	0.765 2	0.061 8	0.256 5	0.889 6	0.000 1	0.000 11	0.480 13	0.000 7	0.412 12	0.279 8	0.690 4	0.366 13	0.373 7	0.466 9	0.357 1	0.514 5	0.648 8	0.024 6	0.615 2	0.949 5	0.183 4	0.000 1	0.162 7	0.564 3	0.196 8	0.535 8	0.413 14	0.638 5	0.410 4	0.682 5	0.445 9	0.470 11	0.289 2	0.000 1	0.358 12	0.000 8	0.022 10	0.161 4	0.008 4	0.877 13	0.495 1	0.461 15	0.161 10	0.348 10	0.853 11	0.199 7	0.000 1	0.643 4	0.109 8	0.014 8	0.000 4	0.000 1	0.000 8	0.681 7	0.705 6	0.079 15	0.441 8	0.872 3	0.282 5	0.593 7	0.096 5	0.786 11	0.021 3	0.495 1	0.000 1	0.118 5	0.000 4	0.487 11	0.000 3	0.002 5	0.000 1	0.589 8	0.563 12	0.144 15	0.682 13	0.109 7	0.000 1	0.235 15	0.455 12	0.368 6	0.659 16	0.609 6	0.000 16	0.060 10	0.033 15	0.000 2	0.746 8	0.648 12	0.084 14	0.000 10	0.803 1	0.832 1	0.000 1	0.614 4	0.000 14	0.497 1	0.000 1	0.597 13	0.000 2	0.000 1	0.621 9	0.506 12	0.459 6	0.252 11	0.228 12	0.913 13	0.369 4	0.665 6	0.598 4	0.139 10	0.666 8	0.000 1	0.097 2	0.841 2	0.698 11	0.857 6	0.000 1	0.811 7	0.129 11	0.784 13	0.000 1	0.386 10	0.012 7	0.317 3	0.696 5	0.425 8

OA-CNN-L_ScanNet200	0.333 10	0.558 4	0.269 9	0.124 12	0.448 14	0.080 8	0.272 5	0.000 1	0.000 4	0.000 1	0.342 7	0.515 2	0.524 8	0.713 13	0.789 8	0.158 11	0.384 11	0.000 3	0.806 7	0.125 8	0.000 9	0.496 5	0.332 7	0.498 14	0.227 7	0.024 4	0.474 2	0.000 1	0.003 2	0.071 9	0.487 3	0.000 10	0.000 1	0.110 8	0.000 2	0.876 8	0.013 16	0.703 4	0.000 7	0.076 10	0.473 12	0.355 11	0.906 6	0.000 1	0.000 2	0.476 5	0.706 1	0.000 10	0.672 11	0.835 12	0.748 10	0.015 14	0.223 7	0.860 9	0.000 1	0.000 11	0.572 6	0.000 7	0.509 6	0.313 7	0.662 6	0.398 11	0.396 5	0.411 12	0.276 4	0.527 3	0.711 5	0.000 8	0.076 11	0.946 8	0.166 6	0.000 1	0.022 10	0.160 8	0.183 12	0.493 11	0.699 9	0.637 6	0.403 5	0.330 12	0.406 12	0.526 5	0.024 3	0.000 1	0.392 11	0.000 8	0.016 15	0.000 11	0.196 3	0.915 6	0.112 11	0.557 9	0.197 5	0.352 9	0.877 3	0.000 11	0.000 1	0.592 13	0.103 11	0.000 11	0.067 1	0.000 1	0.089 5	0.735 6	0.625 11	0.130 10	0.568 6	0.836 8	0.271 6	0.534 10	0.043 14	0.799 9	0.001 5	0.445 6	0.000 1	0.000 7	0.024 3	0.661 4	0.000 3	0.262 2	0.000 1	0.591 7	0.517 14	0.373 8	0.788 6	0.021 8	0.000 1	0.455 3	0.517 9	0.320 8	0.823 10	0.200 16	0.001 15	0.150 5	0.100 10	0.000 2	0.736 10	0.668 8	0.103 12	0.052 5	0.662 3	0.720 8	0.000 1	0.602 6	0.112 6	0.002 5	0.000 1	0.637 9	0.000 2	0.000 1	0.621 9	0.569 4	0.398 9	0.412 6	0.234 10	0.949 7	0.363 5	0.492 14	0.495 10	0.251 4	0.665 9	0.000 1	0.001 11	0.805 7	0.833 6	0.794 10	0.000 1	0.821 5	0.314 5	0.843 11	0.000 1	0.560 8	0.245 3	0.262 6	0.713 4	0.370 12

IMFSegNet	0.337 8	0.535 11	0.266 10	0.169 8	0.527 3	0.072 11	0.147 12	0.000 1	0.000 4	0.000 1	0.341 8	0.152 15	0.544 5	0.678 15	0.803 7	0.264 3	0.868 2	0.000 3	0.853 4	0.181 5	0.040 5	0.398 10	0.357 3	0.366 16	0.208 10	0.000 8	0.317 11	0.000 1	0.000 3	0.187 6	0.418 9	0.274 8	0.000 1	0.118 4	0.000 2	0.884 5	0.095 2	0.715 2	0.000 7	0.095 6	0.592 3	0.424 5	0.472 16	0.000 1	0.000 2	0.426 10	0.564 9	0.000 10	0.692 8	0.915 5	0.759 5	0.001 16	0.170 11	0.831 12	0.000 1	0.004 10	0.493 11	0.000 7	0.492 7	0.228 12	0.675 5	0.396 12	0.382 6	0.277 16	0.311 3	0.442 9	0.551 14	0.177 2	0.066 12	0.947 6	0.126 15	0.000 1	0.051 9	0.544 4	0.263 4	0.469 13	0.786 5	0.633 7	0.311 13	0.708 4	0.422 11	0.432 13	0.000 4	0.000 1	0.497 4	0.000 8	0.038 3	0.122 5	0.000 5	0.910 8	0.251 5	0.655 6	0.211 3	0.343 11	0.840 13	0.204 6	0.000 1	0.637 5	0.112 5	0.000 11	0.000 4	0.000 1	0.000 8	0.743 4	0.660 9	0.143 5	0.359 10	0.821 10	0.264 9	0.571 9	0.054 12	0.810 8	0.000 6	0.380 10	0.000 1	0.133 4	0.094 2	0.576 9	0.667 1	0.000 6	0.000 1	0.546 14	0.572 10	0.361 9	0.699 11	0.000 9	0.000 1	0.406 6	0.524 8	0.568 1	0.829 8	0.505 12	0.196 10	0.119 7	0.263 5	0.032 1	0.755 5	0.683 5	0.036 16	0.026 7	0.634 5	0.791 5	0.000 1	0.383 14	0.109 7	0.000 6	0.000 1	0.645 8	0.000 2	0.000 1	0.469 11	0.545 8	0.373 10	0.297 9	0.447 5	0.953 5	0.300 8	0.728 3	0.509 9	0.132 15	0.642 11	0.000 1	0.031 4	0.824 4	0.769 7	0.839 9	0.000 1	0.810 8	0.000 15	0.867 4	0.000 1	0.378 11	0.004 11	0.177 15	0.644 12	0.442 7

OctFormer ScanNet200	0.326 12	0.539 9	0.265 11	0.131 11	0.499 7	0.110 3	0.522 1	0.000 1	0.000 4	0.000 1	0.318 11	0.427 6	0.455 14	0.743 11	0.765 12	0.175 10	0.842 4	0.000 3	0.828 6	0.204 2	0.033 6	0.429 8	0.335 6	0.601 3	0.312 3	0.000 8	0.357 9	0.000 1	0.000 3	0.047 11	0.423 8	0.000 10	0.000 1	0.105 9	0.000 2	0.873 11	0.079 9	0.670 12	0.000 7	0.117 4	0.471 13	0.432 3	0.829 10	0.000 1	0.000 2	0.584 2	0.417 16	0.089 6	0.684 10	0.837 11	0.705 15	0.021 13	0.178 9	0.892 5	0.000 1	0.028 7	0.505 10	0.000 7	0.457 9	0.200 13	0.662 6	0.412 9	0.244 14	0.496 7	0.000 16	0.451 8	0.626 9	0.000 8	0.102 9	0.943 11	0.138 12	0.000 1	0.000 12	0.149 9	0.291 3	0.534 9	0.722 7	0.632 8	0.331 10	0.253 14	0.453 8	0.487 9	0.000 4	0.000 1	0.479 6	0.000 8	0.022 10	0.000 11	0.000 5	0.900 9	0.128 10	0.684 3	0.164 8	0.413 4	0.854 10	0.000 11	0.000 1	0.512 15	0.074 15	0.003 9	0.000 4	0.000 1	0.000 8	0.469 14	0.613 12	0.132 9	0.529 7	0.871 4	0.227 15	0.582 8	0.026 16	0.787 10	0.000 6	0.339 14	0.000 1	0.000 7	0.000 4	0.626 6	0.000 3	0.029 4	0.000 1	0.587 9	0.612 7	0.411 7	0.724 9	0.000 9	0.000 1	0.407 5	0.552 5	0.513 2	0.849 7	0.655 4	0.408 3	0.000 11	0.296 3	0.000 2	0.686 14	0.645 13	0.145 7	0.022 8	0.414 13	0.633 11	0.000 1	0.637 1	0.224 2	0.000 6	0.000 1	0.650 7	0.000 2	0.000 1	0.622 8	0.535 10	0.343 11	0.483 3	0.230 11	0.943 9	0.289 9	0.618 8	0.596 5	0.140 9	0.679 7	0.000 1	0.022 6	0.783 10	0.620 13	0.906 1	0.000 1	0.806 10	0.137 10	0.865 5	0.000 1	0.378 11	0.000 14	0.168 16	0.680 8	0.227 15
Peng-Shuai Wang: OctFormer: Octree-based Transformers for 3D Point Clouds. SIGGRAPH 2023
BFANet ScanNet200	0.360 4	0.553 6	0.293 4	0.193 4	0.483 10	0.096 5	0.266 6	0.000 1	0.000 4	0.000 1	0.298 13	0.255 11	0.661 1	0.810 5	0.810 3	0.194 9	0.785 6	0.000 3	0.000 16	0.161 7	0.000 9	0.494 6	0.382 2	0.574 4	0.258 4	0.000 8	0.372 8	0.000 1	0.000 3	0.043 12	0.436 7	0.000 10	0.000 1	0.239 2	0.000 2	0.901 3	0.105 1	0.689 6	0.025 4	0.128 2	0.614 2	0.436 1	0.493 15	0.000 1	0.000 2	0.526 4	0.546 12	0.109 4	0.651 13	0.953 4	0.753 8	0.101 6	0.143 12	0.897 4	0.000 1	0.431 1	0.469 14	0.000 7	0.522 5	0.337 5	0.661 8	0.459 2	0.409 4	0.666 4	0.102 12	0.508 6	0.757 4	0.000 8	0.060 13	0.970 3	0.497 1	0.000 1	0.376 2	0.511 5	0.262 5	0.688 2	0.921 1	0.617 9	0.321 12	0.590 6	0.491 6	0.556 3	0.000 4	0.000 1	0.481 5	0.093 1	0.043 2	0.284 2	0.000 5	0.875 14	0.135 8	0.669 5	0.124 12	0.394 6	0.849 12	0.298 2	0.000 1	0.476 16	0.088 13	0.042 5	0.000 4	0.000 1	0.254 3	0.653 10	0.741 4	0.215 1	0.573 5	0.852 6	0.266 8	0.654 1	0.056 11	0.835 3	0.000 6	0.492 2	0.000 1	0.000 7	0.000 4	0.612 8	0.000 3	0.000 6	0.000 1	0.616 5	0.469 16	0.460 4	0.698 12	0.516 2	0.000 1	0.378 8	0.563 4	0.476 4	0.863 5	0.574 8	0.330 6	0.000 11	0.282 4	0.000 2	0.760 4	0.710 2	0.233 1	0.000 10	0.641 4	0.814 3	0.000 1	0.585 8	0.053 11	0.000 6	0.000 1	0.629 10	0.000 2	0.000 1	0.678 3	0.528 11	0.534 4	0.129 13	0.596 2	0.973 3	0.264 11	0.772 2	0.526 8	0.139 10	0.707 4	0.000 1	0.000 12	0.764 13	0.591 15	0.848 7	0.000 1	0.827 4	0.338 3	0.806 12	0.000 1	0.568 7	0.151 6	0.358 2	0.659 10	0.510 4

CeCo	0.340 6	0.551 8	0.247 12	0.181 5	0.475 12	0.057 16	0.142 13	0.000 1	0.000 4	0.000 1	0.387 5	0.463 5	0.499 10	0.924 2	0.774 11	0.213 7	0.257 12	0.000 3	0.546 14	0.100 12	0.006 8	0.615 1	0.177 16	0.534 8	0.246 5	0.000 8	0.400 4	0.000 1	0.338 1	0.006 15	0.484 4	0.609 3	0.000 1	0.083 12	0.000 2	0.873 11	0.089 6	0.661 13	0.000 7	0.048 14	0.560 4	0.408 7	0.892 7	0.000 1	0.000 2	0.586 1	0.616 7	0.000 10	0.692 8	0.900 6	0.721 11	0.162 1	0.228 6	0.860 9	0.000 1	0.000 11	0.575 4	0.083 3	0.550 3	0.347 4	0.624 12	0.410 10	0.360 8	0.740 2	0.109 11	0.321 14	0.660 7	0.000 8	0.121 7	0.939 12	0.143 8	0.000 1	0.400 1	0.003 12	0.190 11	0.564 5	0.652 10	0.615 10	0.421 3	0.304 13	0.579 1	0.547 4	0.000 4	0.000 1	0.296 13	0.000 8	0.030 7	0.096 7	0.000 5	0.916 5	0.037 12	0.551 10	0.171 7	0.376 7	0.865 6	0.286 3	0.000 1	0.633 6	0.102 12	0.027 6	0.011 3	0.000 1	0.000 8	0.474 13	0.742 3	0.133 8	0.311 12	0.824 9	0.242 12	0.503 13	0.068 8	0.828 6	0.000 6	0.429 7	0.000 1	0.063 6	0.000 4	0.781 1	0.000 3	0.000 6	0.000 1	0.665 3	0.633 6	0.450 5	0.818 2	0.000 9	0.000 1	0.429 4	0.532 7	0.226 12	0.825 9	0.510 11	0.377 4	0.709 2	0.079 12	0.000 2	0.753 6	0.683 5	0.102 13	0.063 4	0.401 15	0.620 13	0.000 1	0.619 2	0.000 14	0.000 6	0.000 1	0.595 14	0.000 2	0.000 1	0.345 13	0.564 5	0.411 8	0.603 1	0.384 7	0.945 8	0.266 10	0.643 7	0.367 13	0.304 1	0.663 10	0.000 1	0.010 7	0.726 14	0.767 8	0.898 3	0.000 1	0.784 12	0.435 1	0.861 7	0.000 1	0.447 9	0.000 14	0.257 7	0.656 11	0.377 11
Zhisheng Zhong, Jiequan Cui, Yibo Yang, Xiaoyang Wu, Xiaojuan Qi, Xiangyu Zhang, Jiaya Jia: Understanding Imbalanced Semantic Segmentation Through Neural Collapse. CVPR 2023
L3DETR-ScanNet_200	0.336 9	0.533 12	0.279 5	0.155 9	0.508 6	0.073 10	0.101 16	0.000 1	0.058 3	0.000 1	0.294 14	0.233 14	0.548 4	0.927 1	0.788 9	0.264 3	0.463 10	0.000 3	0.638 11	0.098 14	0.014 7	0.411 9	0.226 12	0.525 11	0.225 8	0.010 5	0.397 5	0.000 1	0.000 3	0.192 5	0.380 13	0.598 4	0.000 1	0.117 6	0.000 2	0.883 6	0.082 8	0.689 6	0.000 7	0.032 16	0.549 6	0.417 6	0.910 5	0.000 1	0.000 2	0.448 9	0.613 8	0.000 10	0.697 7	0.960 2	0.759 5	0.158 2	0.293 2	0.883 7	0.000 1	0.312 3	0.583 3	0.079 4	0.422 11	0.068 16	0.660 9	0.418 7	0.298 11	0.430 11	0.114 10	0.526 4	0.776 3	0.051 4	0.679 1	0.946 8	0.152 7	0.000 1	0.183 6	0.000 14	0.211 7	0.511 10	0.409 15	0.565 11	0.355 8	0.448 8	0.512 4	0.557 2	0.000 4	0.000 1	0.420 9	0.000 8	0.007 16	0.104 6	0.000 5	0.125 16	0.330 3	0.514 13	0.146 11	0.321 12	0.860 8	0.174 9	0.000 1	0.629 7	0.075 14	0.000 11	0.000 4	0.000 1	0.002 7	0.671 8	0.712 5	0.141 7	0.339 11	0.856 5	0.261 11	0.529 11	0.067 9	0.835 3	0.000 6	0.369 13	0.000 1	0.259 2	0.000 4	0.629 5	0.000 3	0.487 1	0.000 1	0.579 11	0.646 3	0.107 16	0.720 10	0.122 6	0.000 1	0.333 12	0.505 10	0.303 9	0.908 3	0.503 14	0.565 2	0.074 9	0.324 2	0.000 2	0.740 9	0.661 9	0.109 11	0.000 10	0.427 12	0.563 16	0.000 1	0.579 9	0.108 8	0.000 6	0.000 1	0.664 5	0.000 2	0.000 1	0.641 7	0.539 9	0.416 7	0.515 2	0.256 9	0.940 11	0.312 6	0.209 16	0.620 3	0.138 12	0.636 12	0.000 1	0.000 12	0.775 12	0.861 5	0.765 11	0.000 1	0.801 11	0.119 12	0.860 8	0.000 1	0.687 2	0.001 13	0.192 14	0.679 9	0.699 1
Yanmin Wu, Qiankun Gao, Renrui Zhang, Jian Zhang: Language-Assisted 3D Scene Understanding. arXiv23.12
PonderV2 ScanNet200	0.346 5	0.552 7	0.270 8	0.175 6	0.497 8	0.070 13	0.239 7	0.000 1	0.000 4	0.000 1	0.232 15	0.412 7	0.584 3	0.842 3	0.804 5	0.212 8	0.540 9	0.000 3	0.433 15	0.106 11	0.000 9	0.590 4	0.290 10	0.548 5	0.243 6	0.000 8	0.356 10	0.000 1	0.000 3	0.062 10	0.398 11	0.441 6	0.000 1	0.104 10	0.000 2	0.888 4	0.076 10	0.682 9	0.030 3	0.094 7	0.491 10	0.351 12	0.869 9	0.000 1	0.063 1	0.403 11	0.700 2	0.000 10	0.660 12	0.881 8	0.761 4	0.050 9	0.186 8	0.852 11	0.000 1	0.007 8	0.570 7	0.100 2	0.565 2	0.326 6	0.641 11	0.431 5	0.290 13	0.621 5	0.259 5	0.408 10	0.622 10	0.125 3	0.082 10	0.950 4	0.179 5	0.000 1	0.263 3	0.424 6	0.193 9	0.558 6	0.880 2	0.545 12	0.375 7	0.727 3	0.445 9	0.499 8	0.000 4	0.000 1	0.475 7	0.002 6	0.034 6	0.083 8	0.000 5	0.924 3	0.290 4	0.636 7	0.115 13	0.400 5	0.874 4	0.186 8	0.000 1	0.611 9	0.128 3	0.113 2	0.000 4	0.000 1	0.000 8	0.584 11	0.636 10	0.103 12	0.385 9	0.843 7	0.283 4	0.603 6	0.080 7	0.825 7	0.000 6	0.377 11	0.000 1	0.000 7	0.000 4	0.457 12	0.000 3	0.000 6	0.000 1	0.574 12	0.608 8	0.481 3	0.792 4	0.394 4	0.000 1	0.357 10	0.503 11	0.261 10	0.817 11	0.504 13	0.304 7	0.472 4	0.115 9	0.000 2	0.750 7	0.677 7	0.202 2	0.000 10	0.509 8	0.729 6	0.000 1	0.519 11	0.000 14	0.000 6	0.000 1	0.620 12	0.000 2	0.000 1	0.660 6	0.560 6	0.486 5	0.384 7	0.346 8	0.952 6	0.247 13	0.667 5	0.436 11	0.269 3	0.691 6	0.000 1	0.010 7	0.787 9	0.889 3	0.880 4	0.000 1	0.810 8	0.336 4	0.860 8	0.000 1	0.606 6	0.009 8	0.248 9	0.681 7	0.392 10
Haoyi Zhu, Honghui Yang, Xiaoyang Wu, Di Huang, Sha Zhang, Xianglong He, Tong He, Hengshuang Zhao, Chunhua Shen, Yu Qiao, Wanli Ouyang: PonderV2: Pave the Way for 3D Foundataion Model with A Universal Pre-training Paradigm.
LGround	0.272 14	0.485 14	0.184 14	0.106 14	0.476 11	0.077 9	0.218 8	0.000 1	0.000 4	0.000 1	0.547 1	0.295 10	0.540 6	0.746 10	0.745 14	0.058 15	0.112 15	0.005 1	0.658 10	0.077 16	0.000 9	0.322 12	0.178 15	0.512 12	0.190 11	0.199 2	0.277 14	0.000 1	0.000 3	0.173 7	0.399 10	0.000 10	0.000 1	0.039 15	0.000 2	0.858 14	0.085 7	0.676 11	0.002 5	0.103 5	0.498 9	0.323 13	0.703 11	0.000 1	0.000 2	0.296 14	0.549 11	0.216 1	0.702 6	0.768 13	0.718 13	0.028 11	0.092 15	0.786 15	0.000 1	0.000 11	0.453 15	0.022 5	0.251 16	0.252 10	0.572 14	0.348 14	0.321 10	0.514 6	0.063 13	0.279 15	0.552 13	0.000 8	0.019 15	0.932 14	0.132 14	0.000 1	0.000 12	0.000 14	0.156 16	0.457 14	0.623 11	0.518 13	0.265 15	0.358 11	0.381 14	0.395 14	0.000 4	0.000 1	0.127 16	0.012 5	0.051 1	0.000 11	0.000 5	0.886 12	0.014 13	0.437 16	0.179 6	0.244 14	0.826 14	0.000 11	0.000 1	0.599 11	0.136 1	0.085 3	0.000 4	0.000 1	0.000 8	0.565 12	0.612 13	0.143 5	0.207 14	0.566 14	0.232 14	0.446 14	0.127 2	0.708 14	0.000 6	0.384 9	0.000 1	0.000 7	0.000 4	0.402 13	0.000 3	0.059 3	0.000 1	0.525 16	0.566 11	0.229 12	0.659 14	0.000 9	0.000 1	0.265 13	0.446 13	0.147 15	0.720 15	0.597 7	0.066 12	0.000 11	0.187 7	0.000 2	0.726 12	0.467 16	0.134 10	0.000 10	0.413 14	0.629 12	0.000 1	0.363 15	0.055 10	0.022 3	0.000 1	0.626 11	0.000 2	0.000 1	0.323 14	0.479 16	0.154 15	0.117 14	0.028 15	0.901 14	0.243 14	0.415 15	0.295 16	0.143 7	0.610 15	0.000 1	0.000 12	0.777 11	0.397 16	0.324 15	0.000 1	0.778 14	0.179 8	0.702 15	0.000 1	0.274 16	0.404 1	0.233 10	0.622 14	0.398 9
David Rozenberszki, Or Litany, Angela Dai: Language-Grounded Indoor 3D Semantic Segmentation in the Wild. arXiv
AWCS	0.305 13	0.508 13	0.225 13	0.142 10	0.463 13	0.063 14	0.195 9	0.000 1	0.000 4	0.000 1	0.467 3	0.551 1	0.504 9	0.773 6	0.764 13	0.142 13	0.029 16	0.000 3	0.626 12	0.100 12	0.000 9	0.360 11	0.179 14	0.507 13	0.137 14	0.006 6	0.300 13	0.000 1	0.000 3	0.172 8	0.364 14	0.512 5	0.000 1	0.056 13	0.000 2	0.865 13	0.093 5	0.634 16	0.000 7	0.071 12	0.396 14	0.296 15	0.876 8	0.000 1	0.000 2	0.373 13	0.436 15	0.063 9	0.749 2	0.877 9	0.721 11	0.131 4	0.124 13	0.804 14	0.000 1	0.000 11	0.515 9	0.010 6	0.452 10	0.252 10	0.578 13	0.417 8	0.179 16	0.484 8	0.171 7	0.337 13	0.606 12	0.000 8	0.115 8	0.937 13	0.142 9	0.000 1	0.008 11	0.000 14	0.157 15	0.484 12	0.402 16	0.501 14	0.339 9	0.553 7	0.529 2	0.478 10	0.000 4	0.000 1	0.404 10	0.001 7	0.022 10	0.077 9	0.000 5	0.894 11	0.219 6	0.628 8	0.093 14	0.305 13	0.886 1	0.233 5	0.000 1	0.603 10	0.112 5	0.023 7	0.000 4	0.000 1	0.000 8	0.741 5	0.664 7	0.097 13	0.253 13	0.782 12	0.264 9	0.523 12	0.154 1	0.707 15	0.000 6	0.411 8	0.000 1	0.000 7	0.000 4	0.332 15	0.000 3	0.000 6	0.000 1	0.602 6	0.595 9	0.185 13	0.656 15	0.159 5	0.000 1	0.355 11	0.424 14	0.154 14	0.729 13	0.516 10	0.220 9	0.620 3	0.084 11	0.000 2	0.707 13	0.651 11	0.173 3	0.014 9	0.381 16	0.582 14	0.000 1	0.619 2	0.049 12	0.000 6	0.000 1	0.702 4	0.000 2	0.000 1	0.302 15	0.489 14	0.317 12	0.334 8	0.392 6	0.922 12	0.254 12	0.533 13	0.394 12	0.129 16	0.613 14	0.000 1	0.000 12	0.820 6	0.649 12	0.749 12	0.000 1	0.782 13	0.282 6	0.863 6	0.000 1	0.288 15	0.006 9	0.220 11	0.633 13	0.542 3

CSC-Pretrain	0.249 16	0.455 16	0.171 15	0.079 16	0.418 15	0.059 15	0.186 10	0.000 1	0.000 4	0.000 1	0.335 10	0.250 12	0.316 15	0.766 7	0.697 16	0.142 13	0.170 13	0.003 2	0.553 13	0.112 10	0.097 1	0.201 15	0.186 13	0.476 15	0.081 15	0.000 8	0.216 16	0.000 1	0.000 3	0.001 16	0.314 16	0.000 10	0.000 1	0.055 14	0.000 2	0.832 16	0.094 4	0.659 14	0.002 5	0.076 10	0.310 16	0.293 16	0.664 14	0.000 1	0.000 2	0.175 16	0.634 5	0.130 2	0.552 16	0.686 16	0.700 16	0.076 7	0.110 14	0.770 16	0.000 1	0.000 11	0.430 16	0.000 7	0.319 14	0.166 14	0.542 16	0.327 15	0.205 15	0.332 14	0.052 14	0.375 12	0.444 16	0.000 8	0.012 16	0.930 16	0.203 2	0.000 1	0.000 12	0.046 11	0.175 13	0.413 15	0.592 12	0.471 15	0.299 14	0.152 16	0.340 15	0.247 16	0.000 4	0.000 1	0.225 14	0.058 3	0.037 4	0.000 11	0.207 2	0.862 15	0.014 13	0.548 11	0.033 15	0.233 15	0.816 15	0.000 11	0.000 1	0.542 14	0.123 4	0.121 1	0.019 2	0.000 1	0.000 8	0.463 15	0.454 16	0.045 16	0.128 16	0.557 15	0.235 13	0.441 15	0.063 10	0.484 16	0.000 6	0.308 16	0.000 1	0.000 7	0.000 4	0.318 16	0.000 3	0.000 6	0.000 1	0.545 15	0.543 13	0.164 14	0.734 8	0.000 9	0.000 1	0.215 16	0.371 15	0.198 13	0.743 12	0.205 15	0.062 13	0.000 11	0.079 12	0.000 2	0.683 15	0.547 15	0.142 8	0.000 10	0.441 10	0.579 15	0.000 1	0.464 13	0.098 9	0.041 2	0.000 1	0.590 15	0.000 2	0.000 1	0.373 12	0.494 13	0.174 14	0.105 15	0.001 16	0.895 15	0.222 15	0.537 12	0.307 15	0.180 6	0.625 13	0.000 1	0.000 12	0.591 16	0.609 14	0.398 14	0.000 1	0.766 16	0.014 14	0.638 16	0.000 1	0.377 13	0.004 11	0.206 13	0.609 16	0.465 5
Ji Hou, Benjamin Graham, Matthias Nießner, Saining Xie: Exploring Data-Efficient 3D Scene Understanding with Contrastive Scene Contexts. CVPR 2021
Minkowski 34D	0.253 15	0.463 15	0.154 16	0.102 15	0.381 16	0.084 7	0.134 14	0.000 1	0.000 4	0.000 1	0.386 6	0.141 16	0.279 16	0.737 12	0.703 15	0.014 16	0.164 14	0.000 3	0.663 9	0.092 15	0.000 9	0.224 14	0.291 9	0.531 9	0.056 16	0.000 8	0.242 15	0.000 1	0.000 3	0.013 13	0.331 15	0.000 10	0.000 1	0.035 16	0.001 1	0.858 14	0.059 14	0.650 15	0.000 7	0.056 13	0.353 15	0.299 14	0.670 12	0.000 1	0.000 2	0.284 15	0.484 14	0.071 8	0.594 15	0.720 15	0.710 14	0.027 12	0.068 16	0.813 13	0.000 1	0.005 9	0.492 12	0.164 1	0.274 15	0.111 15	0.571 15	0.307 16	0.293 12	0.307 15	0.150 8	0.163 16	0.531 15	0.002 7	0.545 5	0.932 14	0.093 16	0.000 1	0.000 12	0.002 13	0.159 14	0.368 16	0.581 13	0.440 16	0.228 16	0.406 9	0.282 16	0.294 15	0.000 4	0.000 1	0.189 15	0.060 2	0.036 5	0.000 11	0.000 5	0.897 10	0.000 16	0.525 12	0.025 16	0.205 16	0.771 16	0.000 11	0.000 1	0.593 12	0.108 10	0.044 4	0.000 4	0.000 1	0.000 8	0.282 16	0.589 14	0.094 14	0.169 15	0.466 16	0.227 15	0.419 16	0.125 3	0.757 13	0.002 4	0.334 15	0.000 1	0.000 7	0.000 4	0.357 14	0.000 3	0.000 6	0.000 1	0.582 10	0.513 15	0.337 11	0.612 16	0.000 9	0.000 1	0.250 14	0.352 16	0.136 16	0.724 14	0.655 4	0.280 8	0.000 11	0.046 14	0.000 2	0.606 16	0.559 14	0.159 5	0.102 2	0.445 9	0.655 9	0.000 1	0.310 16	0.117 5	0.000 6	0.000 1	0.581 16	0.026 1	0.000 1	0.265 16	0.483 15	0.084 16	0.097 16	0.044 14	0.865 16	0.142 16	0.588 11	0.351 14	0.272 2	0.596 16	0.000 1	0.003 10	0.622 15	0.720 10	0.096 16	0.000 1	0.771 15	0.016 13	0.772 14	0.000 1	0.302 14	0.194 5	0.214 12	0.621 15	0.197 16
C. Choy, J. Gwak, S. Savarese: 4D Spatio-Temporal ConvNets: Minkowski Convolutional Neural Networks. CVPR 2019

ScanNet200 3D Semantic Label Benchmark