ScanNet200 3D Semantic Label Results

The 3D semantic labeling task involves predicting a semantic labeling of a 3D scan mesh.

Evaluation and metrics

Our evaluation ranks all methods according to the PASCAL VOC intersection-over-union metric (IoU). IoU = TP/(TP+FP+FN), where TP, FP, and FN are the numbers of true positive, false positive, and false negative pixels, respectively. Predicted labels are evaluated per-vertex over the respective 3D scan mesh; for 3D approaches that operate on other representations like grids or points, the predicted labels should be mapped onto the mesh vertices (e.g., one such example for grid to mesh vertices is provided in the evaluation helpers).

This table lists the benchmark results for the ScanNet200 3D semantic label scenario.

Method	avg iou	head iou	common iou	tail iou	wall	chair	floor	table	door	couch	cabinet	shelf	desk	office chair	bed	pillow	sink	picture	window	toilet	bookshelf	monitor	curtain	book	coffee table	box	refrigerator	lamp	kitchen cabinet	towel	clothes	tv	nightstand	counter	dresser	stool	cushion	plant	ceiling	bathtub	end table	dining table	keyboard	bag	backpack	toilet paper	printer	tv stand	whiteboard	blanket	shower curtain	trash can	closet	stairs	microwave	stove	shoe	computer tower	bottle	bin	bench	board	washing machine	mirror	copier	basket	sofa chair	file cabinet	fan	laptop	shower	paper	person	paper towel dispenser	oven	blinds	rack	plate	blackboard	piano	suitcase	radiator	recycling bin	wardrobe	soap dispenser	telephone	bucket	clock	stand	light	laundry basket	pipe	clothes dryer	seat	speaker	column	bicycle	ladder	bathroom stall	shower wall	cup	jacket	storage bin	coffee maker	dishwasher	paper towel roll	machine	mat	windowsill	bar	toaster	bulletin board	ironing board	kitchen counter	doorframe	toilet paper dispenser	mini fridge	fire extinguisher	ball	hat	shower curtain rod	water cooler	paper cutter	tray	ledge	mouse	cart	storage container	scale	tissue box	light switch	power outlet	decoration	sign	projector	vacuum cleaner	candle	plunger	stuffed animal	headphones	dish rack	broom	range hood	water bottle	vent	shower floor	water pitcher	mailbox	bowl	paper bag	music stand	projector screen	laundry detergent	object	bathroom vanity	laundry hamper	bathroom stall door	ceiling light	trash bin	dumbbell	stair rail	tube	bathroom cabinet	closet rod	coffee kettle	structure	shower head	keyboard piano	case of water bottles	coat rack	storage organizer	folded chair	fire alarm	power strip	calendar	poster

PPT-SpUNet-F.T.	0.332 11	0.556 5	0.270 6	0.123 13	0.816 6	0.682 9	0.946 6	0.549 9	0.657 8	0.756 5	0.459 6	0.376 8	0.550 10	0.001 11	0.807 4	0.616 4	0.727 11	0.267 8	0.691 5	0.942 11	0.530 9	0.872 5	0.874 7	0.330 7	0.542 13	0.374 7	0.792 4	0.400 13	0.673 4	0.572 6	0.433 2	0.793 8	0.623 6	0.008 16	0.351 9	0.594 7	0.000 1	0.783 12	0.876 7	0.833 4	0.213 6	0.000 7	0.537 7	0.091 6	0.519 4	0.304 7	0.620 7	0.942 1	0.264 4	0.124 7	0.855 6	0.695 5	0.086 7	0.646 10	0.506 15	0.658 6	0.535 6	0.715 3	0.314 2	0.000 3	0.241 4	0.608 2	0.897 2	0.359 8	0.858 10	0.000 6	0.076 16	0.611 10	0.392 11	0.509 7	0.378 6	0.000 1	0.579 4	0.565 15	0.000 4	0.000 9	0.000 1	0.000 5	0.755 6	0.806 9	0.661 4	0.572 12	0.350 9	0.181 7	0.660 11	0.300 13	0.000 3	0.000 7	0.000 1	0.023 10	0.000 3	0.042 13	0.930 4	0.000 1	0.000 9	0.077 7	0.584 8	0.392 10	0.339 8	0.185 9	0.171 11	0.308 2	0.006 12	0.563 3	0.256 8	0.150 4	0.000 4	0.002 15	0.345 11	0.000 3	0.045 13	0.197 4	0.063 10	0.323 10	0.453 3	0.600 7	0.163 10	0.037 14	0.349 3	0.000 1	0.672 3	0.679 4	0.753 5	0.000 1	0.000 10	0.000 11	0.117 5	0.000 7	0.000 8	0.291 9	0.000 11	0.000 7	0.039 6	0.000 1	0.000 4	0.899 2	0.000 1	0.374 10	0.000 1	0.000 12	0.545 4	0.000 1	0.634 5	0.000 1	0.000 1	0.074 12	0.223 6	0.914 7	0.000 9	0.021 8	0.000 1	0.000 7	0.000 1	0.112 5	0.498 10	0.649 1	0.383 9	0.095 2	0.135 12	0.449 9	0.432 11	0.008 9	0.000 1	0.518 6	0.000 2	0.000 2	0.000 11	0.796 4	0.000 2	0.000 1	0.000 1	0.138 13	0.000 8	0.000 3	0.000 10	0.000 1
Xiaoyang Wu, Zhuotao Tian, Xin Wen, Bohao Peng, Xihui Liu, Kaicheng Yu, Hengshuang Zhao: Towards Large-scale 3D Representation Learning with Multi-dataset Point Prompt Training. CVPR 2024
DITR	0.409 2	0.616 1	0.351 1	0.215 3	0.831 3	0.791 1	0.947 5	0.619 1	0.730 2	0.762 2	0.494 2	0.571 1	0.597 2	0.000 12	0.853 1	0.625 3	0.796 2	0.301 3	0.723 3	0.959 4	0.617 2	0.862 7	0.917 3	0.573 1	0.562 10	0.591 1	0.784 7	0.504 5	0.757 1	0.737 2	0.429 4	0.853 1	0.662 3	0.135 3	0.459 3	0.558 11	0.000 1	0.913 1	0.878 6	0.687 15	0.008 15	0.000 7	0.615 4	0.238 1	0.651 1	0.370 3	0.742 2	0.925 2	0.360 1	0.167 4	0.938 1	0.752 2	0.118 3	0.827 1	0.670 4	0.723 2	0.614 3	0.628 14	0.372 1	0.000 3	0.143 12	0.175 16	0.873 3	0.652 1	0.991 1	0.340 1	0.148 8	0.814 1	0.656 1	0.524 6	0.491 4	0.000 1	0.743 1	0.752 4	0.000 4	0.000 9	0.000 1	0.399 1	0.865 2	0.953 1	0.833 1	0.694 2	0.444 6	0.000 16	0.688 6	0.609 2	0.000 3	0.053 2	0.000 1	0.022 11	0.000 3	0.053 11	0.940 3	0.000 1	0.186 1	0.093 5	0.854 2	0.877 1	0.534 2	0.404 1	0.270 3	0.191 8	0.198 4	0.461 7	0.375 1	0.152 3	0.921 1	0.132 9	0.235 12	0.000 3	0.617 1	0.330 1	0.896 1	0.399 5	0.431 5	0.597 8	0.759 1	0.554 3	0.400 2	0.000 1	0.559 10	0.699 1	0.852 2	0.000 1	0.000 10	0.091 10	0.385 1	0.000 7	0.000 8	0.478 4	0.077 9	0.000 7	0.140 4	0.000 1	0.000 4	0.670 13	0.000 1	0.452 4	0.000 1	0.263 5	0.361 11	0.000 1	0.643 4	0.000 1	0.000 1	0.357 5	0.005 11	0.928 2	0.362 1	0.496 1	0.000 1	0.000 7	0.000 1	0.072 15	0.585 2	0.587 3	0.476 4	0.037 13	0.191 5	0.410 12	0.629 4	0.118 1	0.000 1	0.479 11	0.000 2	0.000 2	0.107 7	0.839 3	0.000 2	0.000 1	0.000 1	0.139 10	0.036 6	0.000 3	0.247 9	0.000 1

PonderV2 ScanNet200	0.346 5	0.552 7	0.270 7	0.175 8	0.810 7	0.682 9	0.950 4	0.560 6	0.641 9	0.761 3	0.398 12	0.357 9	0.570 7	0.113 2	0.804 5	0.603 6	0.750 6	0.283 4	0.681 6	0.952 5	0.548 5	0.874 4	0.852 12	0.290 11	0.700 2	0.356 10	0.792 4	0.445 11	0.545 12	0.436 11	0.351 12	0.787 9	0.611 7	0.050 8	0.290 13	0.519 12	0.000 1	0.825 9	0.888 4	0.842 3	0.259 3	0.100 2	0.558 6	0.070 11	0.497 7	0.247 13	0.457 10	0.889 3	0.248 8	0.106 9	0.817 12	0.691 6	0.094 6	0.729 6	0.636 6	0.620 11	0.503 10	0.660 12	0.243 6	0.000 3	0.212 6	0.590 4	0.860 7	0.400 5	0.881 8	0.000 6	0.202 2	0.622 9	0.408 10	0.499 8	0.261 10	0.000 1	0.385 9	0.636 10	0.000 4	0.000 9	0.000 1	0.000 5	0.433 15	0.843 6	0.660 6	0.574 11	0.481 3	0.336 4	0.677 8	0.486 5	0.000 3	0.030 3	0.000 1	0.034 5	0.000 3	0.080 6	0.869 9	0.000 1	0.000 9	0.000 10	0.540 9	0.727 3	0.232 16	0.115 10	0.186 9	0.193 7	0.000 13	0.403 11	0.326 6	0.103 13	0.000 4	0.290 3	0.392 8	0.000 3	0.346 9	0.062 9	0.424 4	0.375 6	0.431 5	0.667 4	0.115 13	0.082 11	0.239 6	0.000 1	0.504 13	0.606 8	0.584 11	0.000 1	0.002 8	0.186 8	0.104 9	0.000 7	0.394 4	0.384 7	0.083 8	0.000 7	0.007 8	0.000 1	0.000 4	0.880 4	0.000 1	0.377 9	0.000 1	0.263 5	0.565 2	0.000 1	0.608 8	0.000 1	0.000 1	0.304 7	0.009 9	0.924 3	0.000 9	0.000 10	0.000 1	0.000 7	0.000 1	0.128 3	0.584 3	0.475 6	0.412 7	0.076 9	0.269 3	0.621 5	0.509 8	0.010 7	0.000 1	0.491 10	0.063 1	0.000 2	0.472 4	0.880 2	0.000 2	0.000 1	0.000 1	0.179 4	0.125 2	0.000 3	0.441 8	0.000 1
Haoyi Zhu, Honghui Yang, Xiaoyang Wu, Di Huang, Sha Zhang, Xianglong He, Tong He, Hengshuang Zhao, Chunhua Shen, Yu Qiao, Wanli Ouyang: PonderV2: Pave the Way for 3D Foundataion Model with A Universal Pre-training Paradigm.
PTv3 ScanNet200	0.393 3	0.592 3	0.330 2	0.216 2	0.851 2	0.687 6	0.971 2	0.586 2	0.755 1	0.752 7	0.505 1	0.404 6	0.575 4	0.000 12	0.848 2	0.616 4	0.761 3	0.349 1	0.738 2	0.978 2	0.546 6	0.860 8	0.926 2	0.346 3	0.654 3	0.384 6	0.828 1	0.523 3	0.699 3	0.583 5	0.387 7	0.822 3	0.688 2	0.118 5	0.474 2	0.603 4	0.000 1	0.832 7	0.903 2	0.753 8	0.140 9	0.000 7	0.650 3	0.109 4	0.520 3	0.457 1	0.497 9	0.871 4	0.281 3	0.192 3	0.887 4	0.748 3	0.168 1	0.727 7	0.733 2	0.740 1	0.644 1	0.714 4	0.190 12	0.000 3	0.256 3	0.449 9	0.914 1	0.514 3	0.759 14	0.337 2	0.172 6	0.692 6	0.617 2	0.636 1	0.325 7	0.000 1	0.641 2	0.782 1	0.000 4	0.065 3	0.000 1	0.000 5	0.842 3	0.903 2	0.661 4	0.662 4	0.612 1	0.405 2	0.731 3	0.566 3	0.000 3	0.000 7	0.000 1	0.017 14	0.301 1	0.088 5	0.941 2	0.000 1	0.077 3	0.000 10	0.717 7	0.790 2	0.310 11	0.026 16	0.264 4	0.349 1	0.220 3	0.397 12	0.366 2	0.115 12	0.000 4	0.337 1	0.463 6	0.000 3	0.531 5	0.218 3	0.593 2	0.455 2	0.469 1	0.708 3	0.210 3	0.592 2	0.108 15	0.000 1	0.728 1	0.682 3	0.671 8	0.000 1	0.000 10	0.407 1	0.136 3	0.022 3	0.575 1	0.436 5	0.259 3	0.428 1	0.048 5	0.000 1	0.000 4	0.879 5	0.000 1	0.480 2	0.000 1	0.133 9	0.597 1	0.000 1	0.690 2	0.000 1	0.000 1	0.009 15	0.000 14	0.921 4	0.000 9	0.151 4	0.000 1	0.000 7	0.000 1	0.109 7	0.494 11	0.622 2	0.394 8	0.073 10	0.141 8	0.798 1	0.528 7	0.026 5	0.000 1	0.551 4	0.000 2	0.000 2	0.134 6	0.717 7	0.000 2	0.000 1	0.000 1	0.188 3	0.000 8	0.000 3	0.791 2	0.000 1
Xiaoyang Wu, Li Jiang, Peng-Shuai Wang, Zhijian Liu, Xihui Liu, Yu Qiao, Wanli Ouyang, Tong He, Hengshuang Zhao: Point Transformer V3: Simpler, Faster, Stronger. CVPR 2024 (Oral)
L3DETR-ScanNet_200	0.336 7	0.533 10	0.279 5	0.155 9	0.801 9	0.689 4	0.946 6	0.539 10	0.660 7	0.759 4	0.380 13	0.333 13	0.583 3	0.000 12	0.788 10	0.529 9	0.740 7	0.261 11	0.679 8	0.940 12	0.525 10	0.860 8	0.883 6	0.226 12	0.613 9	0.397 5	0.720 10	0.512 4	0.565 11	0.620 3	0.417 5	0.775 12	0.629 5	0.158 2	0.298 11	0.579 10	0.000 1	0.835 5	0.883 5	0.927 1	0.114 10	0.079 4	0.511 9	0.073 10	0.508 5	0.312 5	0.629 5	0.861 5	0.192 13	0.098 12	0.908 3	0.636 10	0.032 16	0.563 16	0.514 14	0.664 5	0.505 9	0.697 6	0.225 8	0.000 3	0.264 2	0.411 11	0.860 7	0.321 12	0.960 2	0.058 5	0.109 13	0.776 3	0.526 4	0.557 2	0.303 9	0.000 1	0.339 11	0.712 7	0.000 4	0.014 7	0.000 1	0.000 5	0.638 11	0.856 4	0.641 7	0.579 10	0.107 16	0.119 11	0.661 10	0.416 6	0.000 3	0.000 7	0.000 1	0.007 16	0.000 3	0.067 8	0.910 5	0.000 1	0.000 9	0.000 10	0.463 10	0.448 8	0.294 13	0.324 2	0.293 2	0.211 6	0.108 7	0.448 8	0.068 16	0.141 6	0.000 4	0.330 2	0.699 1	0.000 3	0.256 10	0.192 5	0.000 14	0.355 7	0.418 7	0.209 16	0.146 11	0.679 1	0.101 16	0.000 1	0.503 14	0.687 2	0.671 8	0.000 1	0.000 10	0.174 9	0.117 5	0.000 7	0.122 6	0.515 2	0.104 6	0.259 2	0.312 3	0.000 1	0.000 4	0.765 11	0.000 1	0.369 11	0.000 1	0.183 8	0.422 10	0.000 1	0.646 3	0.000 1	0.000 1	0.565 2	0.001 13	0.125 16	0.010 7	0.002 9	0.000 1	0.487 1	0.000 1	0.075 12	0.548 4	0.420 8	0.233 13	0.082 7	0.138 11	0.430 10	0.427 12	0.000 12	0.000 1	0.549 5	0.000 2	0.000 2	0.074 8	0.409 15	0.000 2	0.000 1	0.000 1	0.152 6	0.051 3	0.000 3	0.598 4	0.000 1
Yanmin Wu, Qiankun Gao, Renrui Zhang, Jian Zhang: Language-Assisted 3D Scene Understanding. arXiv23.12
OA-CNN-L_ScanNet200	0.333 10	0.558 4	0.269 8	0.124 12	0.821 5	0.703 3	0.946 6	0.569 4	0.662 4	0.748 8	0.487 3	0.455 3	0.572 6	0.000 12	0.789 9	0.534 8	0.736 8	0.271 7	0.713 4	0.949 6	0.498 13	0.877 3	0.860 10	0.332 6	0.706 1	0.474 2	0.788 6	0.406 12	0.637 5	0.495 10	0.355 11	0.805 7	0.592 11	0.015 13	0.396 7	0.602 5	0.000 1	0.799 10	0.876 7	0.713 12	0.276 2	0.000 7	0.493 12	0.080 8	0.448 14	0.363 4	0.661 4	0.833 6	0.262 5	0.125 6	0.823 11	0.665 8	0.076 8	0.720 8	0.557 10	0.637 8	0.517 8	0.672 9	0.227 7	0.000 3	0.158 11	0.496 7	0.843 10	0.352 9	0.835 12	0.000 6	0.103 14	0.711 5	0.527 3	0.526 5	0.320 8	0.000 1	0.568 6	0.625 11	0.067 1	0.000 9	0.000 1	0.001 4	0.806 5	0.836 7	0.621 9	0.591 7	0.373 8	0.314 5	0.668 9	0.398 8	0.003 2	0.000 7	0.000 1	0.016 15	0.024 2	0.043 12	0.906 6	0.000 1	0.052 5	0.000 10	0.384 11	0.330 12	0.342 7	0.100 11	0.223 6	0.183 12	0.112 6	0.476 5	0.313 7	0.130 9	0.196 3	0.112 11	0.370 10	0.000 3	0.234 11	0.071 8	0.160 6	0.403 4	0.398 13	0.492 14	0.197 5	0.076 12	0.272 4	0.000 1	0.200 16	0.560 10	0.735 7	0.000 1	0.000 10	0.000 11	0.110 7	0.002 6	0.021 7	0.412 6	0.000 11	0.000 7	0.000 10	0.000 1	0.000 4	0.794 10	0.000 1	0.445 5	0.000 1	0.022 10	0.509 6	0.000 1	0.517 12	0.000 1	0.000 1	0.001 16	0.245 5	0.915 6	0.024 6	0.089 6	0.000 1	0.262 2	0.000 1	0.103 9	0.524 7	0.392 10	0.515 2	0.013 16	0.251 4	0.411 11	0.662 2	0.001 11	0.000 1	0.473 12	0.000 2	0.000 2	0.150 5	0.699 8	0.000 2	0.000 1	0.000 1	0.166 5	0.000 8	0.024 2	0.000 10	0.000 1

CeCo	0.340 6	0.551 8	0.247 12	0.181 5	0.784 12	0.661 13	0.939 12	0.564 5	0.624 12	0.721 11	0.484 4	0.429 4	0.575 4	0.027 8	0.774 11	0.503 13	0.753 5	0.242 12	0.656 10	0.945 9	0.534 7	0.865 6	0.860 10	0.177 16	0.616 8	0.400 4	0.818 2	0.579 1	0.615 10	0.367 13	0.408 6	0.726 14	0.633 4	0.162 1	0.360 8	0.619 2	0.000 1	0.828 8	0.873 9	0.924 2	0.109 11	0.083 3	0.564 5	0.057 14	0.475 12	0.266 10	0.781 1	0.767 7	0.257 6	0.100 10	0.825 10	0.663 9	0.048 14	0.620 13	0.551 11	0.595 12	0.532 7	0.692 7	0.246 5	0.000 3	0.213 5	0.615 1	0.861 6	0.376 7	0.900 7	0.000 6	0.102 15	0.660 7	0.321 14	0.547 4	0.226 12	0.000 1	0.311 12	0.742 5	0.011 3	0.006 8	0.000 1	0.000 5	0.546 14	0.824 8	0.345 13	0.665 3	0.450 5	0.435 1	0.683 7	0.411 7	0.338 1	0.000 7	0.000 1	0.030 8	0.000 3	0.068 7	0.892 7	0.000 1	0.063 4	0.000 10	0.257 12	0.304 13	0.387 5	0.079 13	0.228 5	0.190 10	0.000 13	0.586 1	0.347 4	0.133 7	0.000 4	0.037 12	0.377 9	0.000 3	0.384 8	0.006 15	0.003 12	0.421 3	0.410 10	0.643 5	0.171 8	0.121 8	0.142 11	0.000 1	0.510 12	0.447 11	0.474 13	0.000 1	0.000 10	0.286 3	0.083 10	0.000 7	0.000 8	0.603 1	0.096 7	0.063 4	0.000 10	0.000 1	0.000 4	0.898 3	0.000 1	0.429 6	0.000 1	0.400 1	0.550 3	0.000 1	0.633 6	0.000 1	0.000 1	0.377 4	0.000 14	0.916 5	0.000 9	0.000 10	0.000 1	0.000 7	0.000 1	0.102 10	0.499 9	0.296 13	0.463 5	0.089 5	0.304 1	0.740 2	0.401 15	0.010 7	0.000 1	0.560 3	0.000 2	0.000 2	0.709 2	0.652 9	0.000 2	0.000 1	0.000 1	0.143 7	0.000 8	0.000 3	0.609 3	0.000 1
Zhisheng Zhong, Jiequan Cui, Yibo Yang, Xiaoyang Wu, Xiaojuan Qi, Xiangyu Zhang, Jiaya Jia: Understanding Imbalanced Semantic Segmentation Through Neural Collapse. CVPR 2023
ALS-MinkowskiNet	0.414 1	0.610 2	0.322 3	0.271 1	0.852 1	0.710 2	0.973 1	0.572 3	0.719 3	0.795 1	0.477 5	0.506 2	0.601 1	0.000 12	0.804 5	0.646 2	0.804 1	0.344 2	0.777 1	0.984 1	0.671 1	0.879 2	0.936 1	0.342 4	0.632 7	0.449 3	0.817 3	0.475 9	0.723 2	0.798 1	0.376 8	0.832 2	0.693 1	0.031 9	0.564 1	0.510 13	0.000 1	0.893 2	0.905 1	0.672 16	0.314 1	0.000 7	0.718 1	0.153 2	0.542 2	0.397 2	0.726 3	0.752 8	0.252 7	0.226 1	0.916 2	0.800 1	0.047 15	0.807 3	0.769 1	0.709 3	0.630 2	0.769 1	0.217 9	0.000 3	0.285 1	0.598 3	0.846 9	0.535 2	0.956 3	0.000 6	0.137 11	0.784 2	0.464 6	0.463 13	0.230 11	0.000 1	0.598 3	0.662 9	0.000 4	0.087 2	0.000 1	0.135 2	0.900 1	0.780 11	0.703 2	0.741 1	0.571 2	0.149 9	0.697 5	0.646 1	0.000 3	0.076 1	0.000 1	0.025 9	0.000 3	0.106 4	0.981 1	0.000 1	0.043 6	0.113 3	0.888 1	0.248 15	0.404 4	0.252 5	0.314 1	0.220 5	0.245 1	0.466 6	0.366 2	0.159 2	0.000 4	0.149 7	0.690 2	0.000 3	0.531 5	0.253 2	0.285 5	0.460 1	0.440 4	0.813 1	0.230 2	0.283 5	0.159 10	0.000 1	0.728 1	0.666 5	0.958 1	0.000 1	0.021 4	0.252 6	0.118 4	0.000 7	0.445 3	0.223 10	0.285 1	0.194 3	0.390 2	0.000 1	0.475 3	0.842 7	0.000 1	0.455 3	0.000 1	0.250 7	0.458 7	0.000 1	0.865 1	0.000 1	0.000 1	0.635 1	0.359 4	0.972 1	0.087 3	0.447 2	0.000 1	0.000 7	0.000 1	0.129 2	0.532 6	0.446 7	0.503 3	0.071 11	0.135 12	0.699 3	0.717 1	0.097 2	0.000 1	0.665 1	0.000 2	0.000 2	1.000 1	0.752 5	0.000 2	0.000 1	0.000 1	0.142 8	0.200 1	0.259 1	1.000 1	0.000 1

Minkowski 34D	0.253 15	0.463 15	0.154 16	0.102 15	0.771 15	0.650 15	0.932 14	0.483 15	0.571 15	0.710 14	0.331 15	0.250 15	0.492 13	0.044 6	0.703 15	0.419 16	0.606 16	0.227 15	0.621 15	0.865 16	0.531 8	0.771 16	0.813 13	0.291 10	0.484 14	0.242 15	0.612 16	0.282 16	0.440 16	0.351 14	0.299 14	0.622 15	0.593 10	0.027 11	0.293 12	0.310 16	0.000 1	0.757 13	0.858 14	0.737 11	0.150 8	0.164 1	0.368 16	0.084 7	0.381 16	0.142 16	0.357 14	0.720 9	0.214 11	0.092 13	0.724 15	0.596 16	0.056 13	0.655 9	0.525 13	0.581 14	0.352 16	0.594 15	0.056 16	0.000 3	0.014 16	0.224 14	0.772 14	0.205 16	0.720 15	0.000 6	0.159 7	0.531 15	0.163 16	0.294 15	0.136 16	0.000 1	0.169 15	0.589 14	0.000 4	0.000 9	0.000 1	0.002 3	0.663 9	0.466 16	0.265 16	0.582 9	0.337 10	0.016 14	0.559 14	0.084 16	0.000 3	0.000 7	0.000 1	0.036 4	0.000 3	0.125 3	0.670 12	0.000 1	0.102 2	0.071 8	0.164 14	0.406 9	0.386 6	0.046 15	0.068 16	0.159 14	0.117 5	0.284 15	0.111 15	0.094 15	0.000 4	0.000 16	0.197 16	0.000 3	0.044 14	0.013 14	0.002 13	0.228 16	0.307 16	0.588 11	0.025 16	0.545 4	0.134 14	0.000 1	0.655 4	0.302 14	0.282 16	0.000 1	0.060 2	0.000 11	0.035 16	0.000 7	0.000 8	0.097 16	0.000 11	0.000 7	0.005 9	0.000 1	0.000 4	0.096 16	0.000 1	0.334 15	0.000 1	0.000 12	0.274 15	0.000 1	0.513 13	0.000 1	0.000 1	0.280 8	0.194 7	0.897 11	0.000 9	0.000 10	0.000 1	0.000 7	0.000 1	0.108 8	0.279 16	0.189 15	0.141 16	0.059 12	0.272 2	0.307 16	0.445 9	0.003 10	0.000 1	0.353 15	0.000 2	0.026 1	0.000 11	0.581 14	0.001 1	0.000 1	0.000 1	0.093 16	0.002 7	0.000 3	0.000 10	0.000 1
C. Choy, J. Gwak, S. Savarese: 4D Spatio-Temporal ConvNets: Minkowski Convolutional Neural Networks. CVPR 2019
AWCS	0.305 13	0.508 13	0.225 13	0.142 10	0.782 13	0.634 16	0.937 13	0.489 14	0.578 13	0.721 11	0.364 14	0.355 10	0.515 11	0.023 9	0.764 13	0.523 10	0.707 13	0.264 10	0.633 13	0.922 13	0.507 12	0.886 1	0.804 14	0.179 14	0.436 15	0.300 11	0.656 15	0.529 2	0.501 14	0.394 12	0.296 15	0.820 5	0.603 8	0.131 4	0.179 16	0.619 2	0.000 1	0.707 15	0.865 13	0.773 6	0.171 7	0.010 6	0.484 13	0.063 12	0.463 13	0.254 12	0.332 15	0.649 10	0.220 10	0.100 10	0.729 14	0.613 14	0.071 12	0.582 14	0.628 7	0.702 4	0.424 14	0.749 2	0.137 14	0.000 3	0.142 13	0.360 12	0.863 5	0.305 13	0.877 9	0.000 6	0.173 5	0.606 11	0.337 13	0.478 12	0.154 14	0.000 1	0.253 13	0.664 8	0.000 4	0.000 9	0.000 1	0.000 5	0.626 12	0.782 10	0.302 15	0.602 6	0.185 12	0.282 6	0.651 12	0.317 12	0.000 3	0.000 7	0.000 1	0.022 11	0.000 3	0.154 1	0.876 8	0.000 1	0.014 8	0.063 9	0.029 16	0.553 7	0.467 3	0.084 12	0.124 13	0.157 15	0.049 11	0.373 13	0.252 9	0.097 14	0.000 4	0.219 6	0.542 3	0.000 3	0.392 7	0.172 7	0.000 14	0.339 8	0.417 8	0.533 13	0.093 14	0.115 9	0.195 8	0.000 1	0.516 11	0.288 15	0.741 6	0.000 1	0.001 9	0.233 7	0.056 13	0.000 7	0.159 5	0.334 8	0.077 9	0.000 7	0.000 10	0.000 1	0.000 4	0.749 12	0.000 1	0.411 7	0.000 1	0.008 11	0.452 9	0.000 1	0.595 9	0.000 1	0.000 1	0.220 9	0.006 10	0.894 12	0.006 8	0.000 10	0.000 1	0.000 7	0.000 1	0.112 5	0.504 8	0.404 9	0.551 1	0.093 4	0.129 14	0.484 8	0.381 16	0.000 12	0.000 1	0.396 14	0.000 2	0.000 2	0.620 3	0.402 16	0.000 2	0.000 1	0.000 1	0.142 8	0.000 8	0.000 3	0.512 7	0.000 1

OctFormer ScanNet200	0.326 12	0.539 9	0.265 9	0.131 11	0.806 8	0.670 12	0.943 9	0.535 11	0.662 4	0.705 15	0.423 8	0.407 5	0.505 12	0.003 10	0.765 12	0.582 7	0.686 14	0.227 15	0.680 7	0.943 10	0.601 3	0.854 10	0.892 5	0.335 5	0.417 16	0.357 9	0.724 9	0.453 10	0.632 6	0.596 4	0.432 3	0.783 10	0.512 15	0.021 12	0.244 14	0.637 1	0.000 1	0.787 11	0.873 9	0.743 10	0.000 16	0.000 7	0.534 8	0.110 3	0.499 6	0.289 9	0.626 6	0.620 11	0.168 14	0.204 2	0.849 9	0.679 7	0.117 4	0.633 11	0.684 3	0.650 7	0.552 5	0.684 8	0.312 3	0.000 3	0.175 10	0.429 10	0.865 4	0.413 4	0.837 11	0.000 6	0.145 9	0.626 8	0.451 7	0.487 11	0.513 3	0.000 1	0.529 7	0.613 12	0.000 4	0.033 6	0.000 1	0.000 5	0.828 4	0.871 3	0.622 8	0.587 8	0.411 7	0.137 10	0.645 13	0.343 11	0.000 3	0.000 7	0.000 1	0.022 11	0.000 3	0.026 16	0.829 10	0.000 1	0.022 7	0.089 6	0.842 3	0.253 14	0.318 10	0.296 3	0.178 10	0.291 3	0.224 2	0.584 2	0.200 13	0.132 8	0.000 4	0.128 10	0.227 13	0.000 3	0.230 12	0.047 10	0.149 7	0.331 9	0.412 9	0.618 6	0.164 9	0.102 10	0.522 1	0.000 1	0.655 4	0.378 12	0.469 14	0.000 1	0.000 10	0.000 11	0.105 8	0.000 7	0.000 8	0.483 3	0.000 11	0.000 7	0.028 7	0.000 1	0.000 4	0.906 1	0.000 1	0.339 14	0.000 1	0.000 12	0.457 8	0.000 1	0.612 7	0.000 1	0.000 1	0.408 3	0.000 14	0.900 10	0.000 9	0.000 10	0.000 1	0.029 6	0.000 1	0.074 13	0.455 14	0.479 5	0.427 6	0.079 8	0.140 9	0.496 7	0.414 13	0.022 6	0.000 1	0.471 13	0.000 2	0.000 2	0.000 11	0.722 6	0.000 2	0.000 1	0.000 1	0.138 13	0.000 8	0.000 3	0.000 10	0.000 1
Peng-Shuai Wang: OctFormer: Octree-based Transformers for 3D Point Clouds. SIGGRAPH 2023
GSTran	0.334 9	0.533 11	0.250 11	0.179 7	0.799 10	0.684 7	0.940 10	0.554 8	0.633 10	0.741 9	0.405 10	0.337 11	0.560 8	0.060 5	0.794 8	0.517 12	0.732 10	0.274 5	0.647 11	0.948 7	0.459 15	0.849 11	0.864 8	0.306 8	0.648 5	0.282 13	0.717 11	0.496 6	0.624 8	0.533 7	0.363 9	0.821 4	0.573 13	0.009 15	0.411 4	0.593 8	0.000 1	0.841 4	0.873 9	0.704 13	0.242 5	0.000 7	0.495 10	0.041 15	0.487 8	0.304 7	0.439 12	0.613 12	0.133 16	0.055 15	0.853 7	0.634 11	0.075 11	0.791 5	0.601 9	0.574 15	0.483 12	0.669 10	0.217 9	0.000 3	0.198 7	0.518 5	0.782 13	0.345 10	0.914 5	0.273 4	0.193 3	0.598 13	0.440 8	0.499 8	0.570 1	0.000 1	0.381 10	0.775 3	0.000 4	0.063 5	0.000 1	0.000 5	0.712 7	0.752 13	0.507 11	0.512 15	0.158 15	0.036 12	0.773 1	0.361 10	0.000 3	0.000 7	0.000 1	0.032 6	0.000 3	0.032 14	0.651 14	0.000 1	0.000 9	0.000 10	0.831 4	0.595 4	0.273 15	0.229 6	0.200 8	0.191 8	0.000 13	0.425 9	0.233 12	0.125 10	0.000 4	0.279 4	0.213 15	0.003 1	0.608 3	0.044 11	0.138 8	0.321 11	0.408 11	0.593 10	0.198 4	0.205 7	0.139 12	0.000 1	0.614 7	0.609 7	0.838 4	0.000 1	0.014 5	0.260 4	0.080 11	0.010 5	0.000 8	0.136 12	0.136 4	0.047 5	0.000 10	0.000 1	0.787 2	0.797 9	0.000 1	0.354 13	0.000 1	0.372 3	0.357 13	0.000 1	0.507 15	0.000 1	0.000 1	0.121 10	0.423 2	0.903 8	0.028 4	0.089 6	0.000 1	0.252 3	0.000 1	0.072 15	0.465 12	0.340 11	0.189 15	0.020 15	0.011 15	0.320 15	0.606 6	0.060 3	0.000 1	0.496 8	0.000 2	0.000 2	0.070 9	0.618 12	0.000 2	0.000 1	0.000 1	0.139 10	0.047 4	0.000 3	0.558 6	0.000 1

CSC-Pretrain	0.249 16	0.455 16	0.171 15	0.079 16	0.766 16	0.659 14	0.930 16	0.494 13	0.542 16	0.700 16	0.314 16	0.215 16	0.430 16	0.121 1	0.697 16	0.441 15	0.683 15	0.235 13	0.609 16	0.895 15	0.476 14	0.816 15	0.770 16	0.186 13	0.634 6	0.216 16	0.734 8	0.340 15	0.471 15	0.307 15	0.293 16	0.591 16	0.542 14	0.076 7	0.205 15	0.464 14	0.000 1	0.484 16	0.832 16	0.766 7	0.052 14	0.000 7	0.413 15	0.059 13	0.418 15	0.222 15	0.318 16	0.609 13	0.206 12	0.112 8	0.743 13	0.625 13	0.076 8	0.579 15	0.548 12	0.590 13	0.371 15	0.552 16	0.081 15	0.003 2	0.142 13	0.201 15	0.638 16	0.233 15	0.686 16	0.000 6	0.142 10	0.444 16	0.375 12	0.247 16	0.198 13	0.000 1	0.128 16	0.454 16	0.019 2	0.097 1	0.000 1	0.000 5	0.553 13	0.557 15	0.373 12	0.545 13	0.164 13	0.014 15	0.547 15	0.174 14	0.000 3	0.002 5	0.000 1	0.037 3	0.000 3	0.063 9	0.664 13	0.000 1	0.000 9	0.130 2	0.170 13	0.152 16	0.335 9	0.079 13	0.110 14	0.175 13	0.098 8	0.175 16	0.166 14	0.045 16	0.207 2	0.014 13	0.465 5	0.000 3	0.001 16	0.001 16	0.046 11	0.299 14	0.327 15	0.537 12	0.033 15	0.012 16	0.186 9	0.000 1	0.205 15	0.377 13	0.463 15	0.000 1	0.058 3	0.000 11	0.055 14	0.041 1	0.000 8	0.105 15	0.000 11	0.000 7	0.000 10	0.000 1	0.000 4	0.398 14	0.000 1	0.308 16	0.000 1	0.000 12	0.319 14	0.000 1	0.543 11	0.000 1	0.000 1	0.062 14	0.004 12	0.862 15	0.000 9	0.000 10	0.000 1	0.000 7	0.000 1	0.123 4	0.316 15	0.225 14	0.250 12	0.094 3	0.180 6	0.332 13	0.441 10	0.000 12	0.000 1	0.310 16	0.000 2	0.000 2	0.000 11	0.592 13	0.000 2	0.000 1	0.000 1	0.203 2	0.000 8	0.000 3	0.000 10	0.000 1
Ji Hou, Benjamin Graham, Matthias Nießner, Saining Xie: Exploring Data-Efficient 3D Scene Understanding with Contrastive Scene Contexts. CVPR 2021
IMFSegNet	0.334 8	0.532 12	0.251 10	0.179 6	0.799 10	0.683 8	0.940 10	0.555 7	0.631 11	0.740 10	0.406 9	0.336 12	0.560 8	0.062 4	0.795 7	0.518 11	0.733 9	0.274 5	0.646 12	0.947 8	0.458 16	0.848 13	0.862 9	0.305 9	0.649 4	0.284 12	0.713 12	0.495 7	0.626 7	0.527 8	0.363 9	0.820 5	0.574 12	0.010 14	0.411 4	0.597 6	0.000 1	0.842 3	0.873 9	0.704 13	0.246 4	0.000 7	0.495 10	0.041 15	0.486 9	0.305 6	0.444 11	0.604 14	0.134 15	0.055 15	0.852 8	0.633 12	0.076 8	0.792 4	0.612 8	0.573 16	0.484 11	0.668 11	0.216 11	0.000 3	0.197 8	0.518 5	0.784 12	0.344 11	0.908 6	0.283 3	0.190 4	0.599 12	0.439 9	0.496 10	0.569 2	0.000 1	0.392 8	0.776 2	0.000 4	0.064 4	0.000 1	0.000 5	0.710 8	0.756 12	0.508 10	0.512 15	0.159 14	0.034 13	0.773 1	0.363 9	0.000 3	0.000 7	0.000 1	0.032 6	0.000 3	0.029 15	0.648 15	0.000 1	0.000 9	0.000 10	0.830 5	0.595 4	0.274 14	0.228 7	0.206 7	0.188 11	0.000 13	0.425 9	0.237 11	0.123 11	0.000 4	0.277 5	0.214 14	0.003 1	0.610 2	0.044 11	0.124 9	0.320 13	0.408 11	0.594 9	0.196 6	0.213 6	0.139 12	0.000 1	0.615 6	0.618 6	0.839 3	0.000 1	0.014 5	0.260 4	0.080 11	0.025 2	0.000 8	0.139 11	0.135 5	0.035 6	0.000 10	0.000 1	0.793 1	0.799 8	0.000 1	0.357 12	0.000 1	0.369 4	0.359 12	0.000 1	0.512 14	0.000 1	0.000 1	0.120 11	0.424 1	0.903 8	0.027 5	0.091 5	0.000 1	0.245 4	0.000 1	0.073 14	0.457 13	0.340 11	0.191 14	0.021 14	0.009 16	0.322 14	0.608 5	0.060 3	0.000 1	0.494 9	0.000 2	0.000 2	0.068 10	0.624 10	0.000 2	0.000 1	0.000 1	0.139 10	0.047 4	0.000 3	0.561 5	0.000 1

BFANet ScanNet200	0.360 4	0.553 6	0.293 4	0.193 4	0.827 4	0.689 4	0.970 3	0.528 12	0.661 6	0.753 6	0.436 7	0.378 7	0.469 14	0.042 7	0.810 3	0.654 1	0.760 4	0.266 9	0.659 9	0.973 3	0.574 4	0.849 11	0.897 4	0.382 2	0.546 12	0.372 8	0.698 13	0.491 8	0.617 9	0.526 9	0.436 1	0.764 13	0.476 16	0.101 6	0.409 6	0.585 9	0.000 1	0.835 5	0.901 3	0.810 5	0.102 12	0.000 7	0.688 2	0.096 5	0.483 10	0.264 11	0.612 8	0.591 15	0.358 2	0.161 5	0.863 5	0.707 4	0.128 2	0.814 2	0.669 5	0.629 9	0.563 4	0.651 13	0.258 4	0.000 3	0.194 9	0.494 8	0.806 11	0.394 6	0.953 4	0.000 6	0.233 1	0.757 4	0.508 5	0.556 3	0.476 5	0.000 1	0.573 5	0.741 6	0.000 4	0.000 9	0.000 1	0.000 5	0.000 16	0.852 5	0.678 3	0.616 5	0.460 4	0.338 3	0.710 4	0.534 4	0.000 3	0.025 4	0.000 1	0.043 2	0.000 3	0.056 10	0.493 16	0.000 1	0.000 9	0.109 4	0.785 6	0.590 6	0.298 12	0.282 4	0.143 12	0.262 4	0.053 10	0.526 4	0.337 5	0.215 1	0.000 4	0.135 8	0.510 4	0.000 3	0.596 4	0.043 13	0.511 3	0.321 11	0.459 2	0.772 2	0.124 12	0.060 13	0.266 5	0.000 1	0.574 9	0.568 9	0.653 10	0.000 1	0.093 1	0.298 2	0.239 2	0.000 7	0.516 2	0.129 13	0.284 2	0.000 7	0.431 1	0.000 1	0.000 4	0.848 6	0.000 1	0.492 1	0.000 1	0.376 2	0.522 5	0.000 1	0.469 16	0.000 1	0.000 1	0.330 6	0.151 8	0.875 14	0.000 9	0.254 3	0.000 1	0.000 7	0.000 1	0.088 11	0.661 1	0.481 4	0.255 11	0.105 1	0.139 10	0.666 4	0.641 3	0.000 12	0.000 1	0.614 2	0.000 2	0.000 2	0.000 11	0.921 1	0.000 2	0.000 1	0.000 1	0.497 1	0.000 8	0.000 3	0.000 10	0.000 1

LGround	0.272 14	0.485 14	0.184 14	0.106 14	0.778 14	0.676 11	0.932 14	0.479 16	0.572 14	0.718 13	0.399 11	0.265 14	0.453 15	0.085 3	0.745 14	0.446 14	0.726 12	0.232 14	0.622 14	0.901 14	0.512 11	0.826 14	0.786 15	0.178 15	0.549 11	0.277 14	0.659 14	0.381 14	0.518 13	0.295 16	0.323 13	0.777 11	0.599 9	0.028 10	0.321 10	0.363 15	0.000 1	0.708 14	0.858 14	0.746 9	0.063 13	0.022 5	0.457 14	0.077 9	0.476 11	0.243 14	0.402 13	0.397 16	0.233 9	0.077 14	0.720 16	0.610 15	0.103 5	0.629 12	0.437 16	0.626 10	0.446 13	0.702 5	0.190 12	0.005 1	0.058 15	0.322 13	0.702 15	0.244 14	0.768 13	0.000 6	0.134 12	0.552 14	0.279 15	0.395 14	0.147 15	0.000 1	0.207 14	0.612 13	0.000 4	0.000 9	0.000 1	0.000 5	0.658 10	0.566 14	0.323 14	0.525 14	0.229 11	0.179 8	0.467 16	0.154 15	0.000 3	0.002 5	0.000 1	0.051 1	0.000 3	0.127 2	0.703 11	0.000 1	0.000 9	0.216 1	0.112 15	0.358 11	0.547 1	0.187 8	0.092 15	0.156 16	0.055 9	0.296 14	0.252 9	0.143 5	0.000 4	0.014 13	0.398 7	0.000 3	0.028 15	0.173 6	0.000 14	0.265 15	0.348 14	0.415 15	0.179 7	0.019 15	0.218 7	0.000 1	0.597 8	0.274 16	0.565 12	0.000 1	0.012 7	0.000 11	0.039 15	0.022 3	0.000 8	0.117 14	0.000 11	0.000 7	0.000 10	0.000 1	0.000 4	0.324 15	0.000 1	0.384 8	0.000 1	0.000 12	0.251 16	0.000 1	0.566 10	0.000 1	0.000 1	0.066 13	0.404 3	0.886 13	0.199 2	0.000 10	0.000 1	0.059 5	0.000 1	0.136 1	0.540 5	0.127 16	0.295 10	0.085 6	0.143 7	0.514 6	0.413 14	0.000 12	0.000 1	0.498 7	0.000 2	0.000 2	0.000 11	0.623 11	0.000 2	0.000 1	0.000 1	0.132 15	0.000 8	0.000 3	0.000 10	0.000 1
David Rozenberszki, Or Litany, Angela Dai: Language-Grounded Indoor 3D Semantic Segmentation in the Wild. arXiv

ScanNet200 3D Semantic Label Benchmark