ScanNet200 3D Semantic Label Results

The 3D semantic labeling task involves predicting a semantic labeling of a 3D scan mesh.

Evaluation and metrics

Our evaluation ranks all methods according to the PASCAL VOC intersection-over-union metric (IoU). IoU = TP/(TP+FP+FN), where TP, FP, and FN are the numbers of true positive, false positive, and false negative pixels, respectively. Predicted labels are evaluated per-vertex over the respective 3D scan mesh; for 3D approaches that operate on other representations like grids or points, the predicted labels should be mapped onto the mesh vertices (e.g., one such example for grid to mesh vertices is provided in the evaluation helpers).

This table lists the benchmark results for the ScanNet200 3D semantic label scenario.

Method	avg iou	head iou	common iou	tail iou	backpack	bag	ball	bar	basket	bathroom cabinet	bathroom stall	bathroom stall door	bathroom vanity	bathtub	bed	bench	bicycle	bin	blackboard	blanket	blinds	board	book	bookshelf	bottle	bowl	box	broom	bucket	bulletin board	cabinet	calendar	candle	cart	case of water bottles	ceiling	ceiling light	chair	clock	closet	closet rod	clothes	clothes dryer	coat rack	coffee kettle	coffee maker	coffee table	column	computer tower	copier	couch	counter	cup	curtain	cushion	decoration	desk	dining table	dish rack	dishwasher	door	doorframe	dresser	dumbbell	end table	fan	file cabinet	fire alarm	fire extinguisher	floor	folded chair	hat	headphones	ironing board	jacket	keyboard	keyboard piano	kitchen cabinet	kitchen counter	ladder	lamp	laptop	laundry basket	laundry detergent	laundry hamper	ledge	light	light switch	machine	mailbox	mat	microwave	mini fridge	mirror	monitor	mouse	music stand	nightstand	object	office chair	oven	paper	paper bag	paper cutter	paper towel dispenser	paper towel roll	person	piano	picture	pillow	pipe	plant	plate	plunger	poster	power outlet	power strip	printer	projector	projector screen	rack	radiator	range hood	recycling bin	refrigerator	scale	seat	shelf	shoe	shower	shower curtain	shower curtain rod	shower floor	shower head	shower wall	sign	sink	soap dispenser	sofa chair	speaker	stair rail	stairs	stand	stool	storage bin	storage container	storage organizer	stove	structure	stuffed animal	suitcase	table	telephone	tissue box	toaster	toilet	toilet paper	toilet paper dispenser	towel	trash bin	trash can	tray	tube	tv	tv stand	vacuum cleaner	vent	wall	wardrobe	washing machine	water bottle	water cooler	water pitcher	whiteboard	window	windowsill

L3DETR-ScanNet_200	0.336 5	0.533 8	0.279 3	0.155 5	0.508 3	0.073 8	0.101 12	0.000 1	0.058 2	0.000 1	0.294 11	0.233 11	0.548 3	0.927 1	0.788 6	0.264 1	0.463 6	0.000 3	0.638 7	0.098 10	0.014 4	0.411 8	0.226 8	0.525 8	0.225 7	0.010 3	0.397 3	0.000 1	0.000 3	0.192 3	0.380 9	0.598 3	0.000 1	0.117 3	0.000 2	0.883 4	0.082 7	0.689 2	0.000 5	0.032 12	0.549 4	0.417 4	0.910 3	0.000 1	0.000 2	0.448 6	0.613 6	0.000 8	0.697 5	0.960 1	0.759 2	0.158 2	0.293 1	0.883 4	0.000 1	0.312 2	0.583 1	0.079 4	0.422 9	0.068 12	0.660 5	0.418 5	0.298 7	0.430 9	0.114 7	0.526 3	0.776 1	0.051 2	0.679 1	0.946 4	0.152 6	0.000 1	0.183 4	0.000 10	0.211 5	0.511 7	0.409 11	0.565 7	0.355 5	0.448 5	0.512 4	0.557 2	0.000 3	0.000 1	0.420 6	0.000 7	0.007 12	0.104 3	0.000 3	0.125 12	0.330 2	0.514 10	0.146 7	0.321 8	0.860 6	0.174 6	0.000 1	0.629 3	0.075 11	0.000 10	0.000 4	0.000 1	0.002 5	0.671 4	0.712 4	0.141 4	0.339 7	0.856 3	0.261 7	0.529 7	0.067 7	0.835 1	0.000 3	0.369 9	0.000 1	0.259 2	0.000 2	0.629 3	0.000 1	0.487 1	0.000 1	0.579 8	0.646 2	0.107 12	0.720 8	0.122 5	0.000 1	0.333 9	0.505 7	0.303 6	0.908 1	0.503 10	0.565 1	0.074 6	0.324 1	0.000 1	0.740 5	0.661 6	0.109 9	0.000 7	0.427 8	0.563 12	0.000 1	0.579 8	0.108 5	0.000 5	0.000 1	0.664 3	0.000 2	0.000 1	0.641 5	0.539 6	0.416 4	0.515 2	0.256 6	0.940 8	0.312 3	0.209 12	0.620 1	0.138 10	0.636 8	0.000 1	0.000 8	0.775 8	0.861 4	0.765 8	0.000 1	0.801 7	0.119 10	0.860 6	0.000 1	0.687 1	0.001 9	0.192 11	0.679 6	0.699 1
Yanmin Wu, Qiankun Gao, Renrui Zhang, Jian Zhang: Language-Assisted 3D Scene Understanding. arXiv23.12
OA-CNN-L_ScanNet200	0.333 6	0.558 2	0.269 6	0.124 8	0.448 10	0.080 6	0.272 3	0.000 1	0.000 3	0.000 1	0.342 5	0.515 2	0.524 5	0.713 12	0.789 5	0.158 8	0.384 7	0.000 3	0.806 3	0.125 4	0.000 6	0.496 4	0.332 4	0.498 11	0.227 6	0.024 2	0.474 1	0.000 1	0.003 2	0.071 6	0.487 2	0.000 6	0.000 1	0.110 5	0.000 2	0.876 5	0.013 12	0.703 1	0.000 5	0.076 7	0.473 8	0.355 7	0.906 4	0.000 1	0.000 2	0.476 5	0.706 1	0.000 8	0.672 8	0.835 8	0.748 6	0.015 11	0.223 4	0.860 6	0.000 1	0.000 8	0.572 4	0.000 7	0.509 6	0.313 5	0.662 2	0.398 9	0.396 3	0.411 10	0.276 1	0.527 2	0.711 3	0.000 4	0.076 8	0.946 4	0.166 5	0.000 1	0.022 6	0.160 4	0.183 8	0.493 8	0.699 6	0.637 3	0.403 3	0.330 9	0.406 8	0.526 5	0.024 2	0.000 1	0.392 8	0.000 7	0.016 11	0.000 7	0.196 2	0.915 4	0.112 7	0.557 6	0.197 2	0.352 7	0.877 2	0.000 7	0.000 1	0.592 9	0.103 8	0.000 10	0.067 1	0.000 1	0.089 3	0.735 3	0.625 7	0.130 7	0.568 4	0.836 6	0.271 3	0.534 6	0.043 10	0.799 6	0.001 2	0.445 3	0.000 1	0.000 4	0.024 1	0.661 2	0.000 1	0.262 2	0.000 1	0.591 5	0.517 10	0.373 6	0.788 5	0.021 6	0.000 1	0.455 1	0.517 6	0.320 5	0.823 7	0.200 12	0.001 12	0.150 4	0.100 7	0.000 1	0.736 6	0.668 5	0.103 10	0.052 4	0.662 1	0.720 4	0.000 1	0.602 5	0.112 4	0.002 4	0.000 1	0.637 6	0.000 2	0.000 1	0.621 7	0.569 2	0.398 6	0.412 5	0.234 7	0.949 4	0.363 2	0.492 10	0.495 6	0.251 4	0.665 6	0.000 1	0.001 7	0.805 3	0.833 5	0.794 7	0.000 1	0.821 3	0.314 5	0.843 8	0.000 1	0.560 6	0.245 2	0.262 4	0.713 2	0.370 9

LGround	0.272 10	0.485 10	0.184 10	0.106 10	0.476 7	0.077 7	0.218 6	0.000 1	0.000 3	0.000 1	0.547 1	0.295 8	0.540 4	0.746 9	0.745 10	0.058 11	0.112 11	0.005 1	0.658 6	0.077 12	0.000 6	0.322 10	0.178 11	0.512 9	0.190 8	0.199 1	0.277 10	0.000 1	0.000 3	0.173 4	0.399 7	0.000 6	0.000 1	0.039 11	0.000 2	0.858 10	0.085 6	0.676 7	0.002 3	0.103 4	0.498 6	0.323 9	0.703 9	0.000 1	0.000 2	0.296 10	0.549 7	0.216 1	0.702 4	0.768 9	0.718 9	0.028 8	0.092 11	0.786 11	0.000 1	0.000 8	0.453 11	0.022 5	0.251 12	0.252 7	0.572 10	0.348 10	0.321 6	0.514 5	0.063 10	0.279 11	0.552 10	0.000 4	0.019 11	0.932 10	0.132 11	0.000 1	0.000 8	0.000 10	0.156 12	0.457 10	0.623 8	0.518 9	0.265 11	0.358 8	0.381 10	0.395 10	0.000 3	0.000 1	0.127 12	0.012 4	0.051 1	0.000 7	0.000 3	0.886 9	0.014 9	0.437 12	0.179 3	0.244 10	0.826 10	0.000 7	0.000 1	0.599 7	0.136 1	0.085 3	0.000 4	0.000 1	0.000 6	0.565 8	0.612 9	0.143 3	0.207 10	0.566 10	0.232 10	0.446 10	0.127 2	0.708 10	0.000 3	0.384 6	0.000 1	0.000 4	0.000 2	0.402 9	0.000 1	0.059 3	0.000 1	0.525 12	0.566 8	0.229 9	0.659 10	0.000 7	0.000 1	0.265 10	0.446 9	0.147 11	0.720 12	0.597 5	0.066 9	0.000 7	0.187 4	0.000 1	0.726 8	0.467 12	0.134 8	0.000 7	0.413 10	0.629 8	0.000 1	0.363 11	0.055 7	0.022 2	0.000 1	0.626 8	0.000 2	0.000 1	0.323 10	0.479 12	0.154 11	0.117 10	0.028 11	0.901 10	0.243 10	0.415 11	0.295 12	0.143 6	0.610 11	0.000 1	0.000 8	0.777 7	0.397 12	0.324 11	0.000 1	0.778 10	0.179 8	0.702 11	0.000 1	0.274 12	0.404 1	0.233 7	0.622 10	0.398 6
David Rozenberszki, Or Litany, Angela Dai: Language-Grounded Indoor 3D Semantic Segmentation in the Wild. arXiv
OctFormer ScanNet200	0.326 8	0.539 7	0.265 7	0.131 7	0.499 4	0.110 1	0.522 1	0.000 1	0.000 3	0.000 1	0.318 8	0.427 4	0.455 10	0.743 10	0.765 8	0.175 7	0.842 1	0.000 3	0.828 2	0.204 1	0.033 3	0.429 7	0.335 3	0.601 1	0.312 2	0.000 5	0.357 7	0.000 1	0.000 3	0.047 8	0.423 6	0.000 6	0.000 1	0.105 6	0.000 2	0.873 7	0.079 8	0.670 8	0.000 5	0.117 3	0.471 9	0.432 3	0.829 8	0.000 1	0.000 2	0.584 2	0.417 12	0.089 4	0.684 7	0.837 7	0.705 11	0.021 10	0.178 6	0.892 3	0.000 1	0.028 5	0.505 8	0.000 7	0.457 7	0.200 9	0.662 2	0.412 7	0.244 10	0.496 6	0.000 12	0.451 5	0.626 6	0.000 4	0.102 6	0.943 7	0.138 9	0.000 1	0.000 8	0.149 5	0.291 3	0.534 6	0.722 4	0.632 4	0.331 7	0.253 11	0.453 6	0.487 8	0.000 3	0.000 1	0.479 4	0.000 7	0.022 8	0.000 7	0.000 3	0.900 6	0.128 6	0.684 2	0.164 5	0.413 2	0.854 8	0.000 7	0.000 1	0.512 11	0.074 12	0.003 8	0.000 4	0.000 1	0.000 6	0.469 10	0.613 8	0.132 6	0.529 5	0.871 2	0.227 11	0.582 5	0.026 12	0.787 7	0.000 3	0.339 10	0.000 1	0.000 4	0.000 2	0.626 4	0.000 1	0.029 4	0.000 1	0.587 6	0.612 5	0.411 5	0.724 7	0.000 7	0.000 1	0.407 3	0.552 3	0.513 1	0.849 5	0.655 3	0.408 2	0.000 7	0.296 2	0.000 1	0.686 10	0.645 9	0.145 6	0.022 5	0.414 9	0.633 7	0.000 1	0.637 1	0.224 1	0.000 5	0.000 1	0.650 5	0.000 2	0.000 1	0.622 6	0.535 7	0.343 7	0.483 3	0.230 8	0.943 6	0.289 5	0.618 5	0.596 2	0.140 8	0.679 5	0.000 1	0.022 2	0.783 6	0.620 9	0.906 1	0.000 1	0.806 6	0.137 9	0.865 3	0.000 1	0.378 8	0.000 10	0.168 12	0.680 5	0.227 11
Peng-Shuai Wang: OctFormer: Octree-based Transformers for 3D Point Clouds. SIGGRAPH 2023
BFANet ScanNet200	0.360 2	0.553 4	0.293 2	0.193 2	0.483 6	0.096 3	0.266 4	0.000 1	0.000 3	0.000 1	0.298 10	0.255 9	0.661 1	0.810 5	0.810 2	0.194 6	0.785 2	0.000 3	0.000 12	0.161 3	0.000 6	0.494 5	0.382 1	0.574 2	0.258 3	0.000 5	0.372 6	0.000 1	0.000 3	0.043 9	0.436 5	0.000 6	0.000 1	0.239 1	0.000 2	0.901 2	0.105 1	0.689 2	0.025 2	0.128 2	0.614 1	0.436 1	0.493 12	0.000 1	0.000 2	0.526 4	0.546 8	0.109 3	0.651 10	0.953 2	0.753 4	0.101 5	0.143 8	0.897 2	0.000 1	0.431 1	0.469 10	0.000 7	0.522 5	0.337 3	0.661 4	0.459 2	0.409 2	0.666 3	0.102 9	0.508 4	0.757 2	0.000 4	0.060 9	0.970 2	0.497 1	0.000 1	0.376 2	0.511 2	0.262 4	0.688 1	0.921 1	0.617 5	0.321 9	0.590 3	0.491 5	0.556 3	0.000 3	0.000 1	0.481 3	0.093 1	0.043 2	0.284 1	0.000 3	0.875 10	0.135 5	0.669 3	0.124 8	0.394 4	0.849 9	0.298 2	0.000 1	0.476 12	0.088 10	0.042 5	0.000 4	0.000 1	0.254 1	0.653 6	0.741 3	0.215 1	0.573 3	0.852 4	0.266 5	0.654 1	0.056 9	0.835 1	0.000 3	0.492 1	0.000 1	0.000 4	0.000 2	0.612 6	0.000 1	0.000 5	0.000 1	0.616 3	0.469 12	0.460 3	0.698 9	0.516 2	0.000 1	0.378 5	0.563 2	0.476 2	0.863 3	0.574 6	0.330 4	0.000 7	0.282 3	0.000 1	0.760 2	0.710 2	0.233 1	0.000 7	0.641 2	0.814 1	0.000 1	0.585 7	0.053 8	0.000 5	0.000 1	0.629 7	0.000 2	0.000 1	0.678 1	0.528 8	0.534 2	0.129 9	0.596 1	0.973 2	0.264 7	0.772 1	0.526 5	0.139 9	0.707 2	0.000 1	0.000 8	0.764 9	0.591 11	0.848 6	0.000 1	0.827 2	0.338 3	0.806 9	0.000 1	0.568 5	0.151 5	0.358 1	0.659 7	0.510 3

PonderV2 ScanNet200	0.346 3	0.552 5	0.270 5	0.175 4	0.497 5	0.070 9	0.239 5	0.000 1	0.000 3	0.000 1	0.232 12	0.412 5	0.584 2	0.842 3	0.804 4	0.212 5	0.540 5	0.000 3	0.433 11	0.106 7	0.000 6	0.590 3	0.290 7	0.548 3	0.243 5	0.000 5	0.356 8	0.000 1	0.000 3	0.062 7	0.398 8	0.441 5	0.000 1	0.104 7	0.000 2	0.888 3	0.076 9	0.682 5	0.030 1	0.094 5	0.491 7	0.351 8	0.869 7	0.000 1	0.063 1	0.403 7	0.700 2	0.000 8	0.660 9	0.881 4	0.761 1	0.050 7	0.186 5	0.852 8	0.000 1	0.007 6	0.570 5	0.100 2	0.565 2	0.326 4	0.641 7	0.431 4	0.290 9	0.621 4	0.259 2	0.408 6	0.622 7	0.125 1	0.082 7	0.950 3	0.179 4	0.000 1	0.263 3	0.424 3	0.193 6	0.558 4	0.880 2	0.545 8	0.375 4	0.727 2	0.445 7	0.499 7	0.000 3	0.000 1	0.475 5	0.002 5	0.034 5	0.083 5	0.000 3	0.924 1	0.290 3	0.636 4	0.115 9	0.400 3	0.874 3	0.186 5	0.000 1	0.611 5	0.128 2	0.113 2	0.000 4	0.000 1	0.000 6	0.584 7	0.636 6	0.103 9	0.385 6	0.843 5	0.283 2	0.603 4	0.080 5	0.825 5	0.000 3	0.377 7	0.000 1	0.000 4	0.000 2	0.457 8	0.000 1	0.000 5	0.000 1	0.574 9	0.608 6	0.481 2	0.792 3	0.394 3	0.000 1	0.357 7	0.503 8	0.261 7	0.817 8	0.504 9	0.304 5	0.472 3	0.115 6	0.000 1	0.750 4	0.677 4	0.202 2	0.000 7	0.509 4	0.729 2	0.000 1	0.519 9	0.000 11	0.000 5	0.000 1	0.620 9	0.000 2	0.000 1	0.660 4	0.560 4	0.486 3	0.384 6	0.346 5	0.952 3	0.247 9	0.667 3	0.436 7	0.269 3	0.691 4	0.000 1	0.010 3	0.787 5	0.889 2	0.880 4	0.000 1	0.810 5	0.336 4	0.860 6	0.000 1	0.606 4	0.009 6	0.248 6	0.681 4	0.392 7
Haoyi Zhu, Honghui Yang, Xiaoyang Wu, Di Huang, Sha Zhang, Xianglong He, Tong He, Hengshuang Zhao, Chunhua Shen, Yu Qiao, Wanli Ouyang: PonderV2: Pave the Way for 3D Foundataion Model with A Universal Pre-training Paradigm.
PTv3 ScanNet200	0.393 1	0.592 1	0.330 1	0.216 1	0.520 1	0.109 2	0.108 11	0.000 1	0.337 1	0.000 1	0.310 9	0.394 6	0.494 9	0.753 8	0.848 1	0.256 2	0.717 3	0.000 3	0.842 1	0.192 2	0.065 2	0.449 6	0.346 2	0.546 4	0.190 8	0.000 5	0.384 4	0.000 1	0.000 3	0.218 1	0.505 1	0.791 1	0.000 1	0.136 2	0.000 2	0.903 1	0.073 10	0.687 4	0.000 5	0.168 1	0.551 3	0.387 6	0.941 1	0.000 1	0.000 2	0.397 8	0.654 3	0.000 8	0.714 3	0.759 10	0.752 5	0.118 4	0.264 2	0.926 1	0.000 1	0.048 3	0.575 2	0.000 7	0.597 1	0.366 1	0.755 1	0.469 1	0.474 1	0.798 1	0.140 6	0.617 1	0.692 4	0.000 4	0.592 2	0.971 1	0.188 3	0.000 1	0.133 5	0.593 1	0.349 1	0.650 2	0.717 5	0.699 1	0.455 1	0.790 1	0.523 3	0.636 1	0.301 1	0.000 1	0.622 2	0.000 7	0.017 10	0.259 2	0.000 3	0.921 2	0.337 1	0.733 1	0.210 1	0.514 1	0.860 6	0.407 1	0.000 1	0.688 1	0.109 6	0.000 10	0.000 4	0.000 1	0.151 2	0.671 4	0.782 1	0.115 8	0.641 1	0.903 1	0.349 1	0.616 2	0.088 4	0.832 3	0.000 3	0.480 2	0.000 1	0.428 1	0.000 2	0.497 7	0.000 1	0.000 5	0.000 1	0.662 2	0.690 1	0.612 1	0.828 1	0.575 1	0.000 1	0.404 4	0.644 1	0.325 4	0.887 2	0.728 1	0.009 11	0.134 5	0.026 12	0.000 1	0.761 1	0.731 1	0.172 4	0.077 2	0.528 3	0.727 3	0.000 1	0.603 4	0.220 2	0.022 2	0.000 1	0.740 1	0.000 2	0.000 1	0.661 2	0.586 1	0.566 1	0.436 4	0.531 2	0.978 1	0.457 1	0.708 2	0.583 3	0.141 7	0.748 1	0.000 1	0.026 1	0.822 1	0.871 3	0.879 5	0.000 1	0.851 1	0.405 2	0.914 1	0.000 1	0.682 2	0.000 10	0.281 2	0.738 1	0.463 5
Xiaoyang Wu, Li Jiang, Peng-Shuai Wang, Zhijian Liu, Xihui Liu, Yu Qiao, Wanli Ouyang, Tong He, Hengshuang Zhao: Point Transformer V3: Simpler, Faster, Stronger. CVPR 2024 (Oral)
PPT-SpUNet-F.T.	0.332 7	0.556 3	0.270 4	0.123 9	0.519 2	0.091 4	0.349 2	0.000 1	0.000 3	0.000 1	0.339 6	0.383 7	0.498 8	0.833 4	0.807 3	0.241 3	0.584 4	0.000 3	0.755 4	0.124 5	0.000 6	0.608 2	0.330 5	0.530 7	0.314 1	0.000 5	0.374 5	0.000 1	0.000 3	0.197 2	0.459 4	0.000 6	0.000 1	0.117 3	0.000 2	0.876 5	0.095 2	0.682 5	0.000 5	0.086 6	0.518 5	0.433 2	0.930 2	0.000 1	0.000 2	0.563 3	0.542 9	0.077 5	0.715 2	0.858 6	0.756 3	0.008 12	0.171 7	0.874 5	0.000 1	0.039 4	0.550 6	0.000 7	0.545 4	0.256 6	0.657 6	0.453 3	0.351 5	0.449 8	0.213 3	0.392 7	0.611 8	0.000 4	0.037 10	0.946 4	0.138 9	0.000 1	0.000 8	0.063 6	0.308 2	0.537 5	0.796 3	0.673 2	0.323 8	0.392 7	0.400 9	0.509 6	0.000 3	0.000 1	0.649 1	0.000 7	0.023 7	0.000 7	0.000 3	0.914 5	0.002 11	0.506 11	0.163 6	0.359 6	0.872 4	0.000 7	0.000 1	0.623 4	0.112 4	0.001 9	0.000 4	0.000 1	0.021 4	0.753 1	0.565 11	0.150 2	0.579 2	0.806 8	0.267 4	0.616 2	0.042 11	0.783 8	0.000 3	0.374 8	0.000 1	0.000 4	0.000 2	0.620 5	0.000 1	0.000 5	0.000 1	0.572 10	0.634 3	0.350 7	0.792 3	0.000 7	0.000 1	0.376 6	0.535 4	0.378 3	0.855 4	0.672 2	0.074 8	0.000 7	0.185 5	0.000 1	0.727 7	0.660 7	0.076 12	0.000 7	0.432 7	0.646 6	0.000 1	0.594 6	0.006 10	0.000 5	0.000 1	0.658 4	0.000 2	0.000 1	0.661 2	0.549 5	0.300 9	0.291 8	0.045 9	0.942 7	0.304 4	0.600 6	0.572 4	0.135 11	0.695 3	0.000 1	0.008 5	0.793 4	0.942 1	0.899 2	0.000 1	0.816 4	0.181 7	0.897 2	0.000 1	0.679 3	0.223 3	0.264 3	0.691 3	0.345 10
Xiaoyang Wu, Zhuotao Tian, Xin Wen, Bohao Peng, Xihui Liu, Kaicheng Yu, Hengshuang Zhao: Towards Large-scale 3D Representation Learning with Multi-dataset Point Prompt Training. CVPR 2024
CeCo	0.340 4	0.551 6	0.247 8	0.181 3	0.475 8	0.057 12	0.142 9	0.000 1	0.000 3	0.000 1	0.387 3	0.463 3	0.499 7	0.924 2	0.774 7	0.213 4	0.257 8	0.000 3	0.546 10	0.100 8	0.006 5	0.615 1	0.177 12	0.534 5	0.246 4	0.000 5	0.400 2	0.000 1	0.338 1	0.006 11	0.484 3	0.609 2	0.000 1	0.083 8	0.000 2	0.873 7	0.089 5	0.661 9	0.000 5	0.048 11	0.560 2	0.408 5	0.892 5	0.000 1	0.000 2	0.586 1	0.616 5	0.000 8	0.692 6	0.900 3	0.721 7	0.162 1	0.228 3	0.860 6	0.000 1	0.000 8	0.575 2	0.083 3	0.550 3	0.347 2	0.624 8	0.410 8	0.360 4	0.740 2	0.109 8	0.321 10	0.660 5	0.000 4	0.121 4	0.939 8	0.143 7	0.000 1	0.400 1	0.003 8	0.190 7	0.564 3	0.652 7	0.615 6	0.421 2	0.304 10	0.579 1	0.547 4	0.000 3	0.000 1	0.296 9	0.000 7	0.030 6	0.096 4	0.000 3	0.916 3	0.037 8	0.551 7	0.171 4	0.376 5	0.865 5	0.286 3	0.000 1	0.633 2	0.102 9	0.027 6	0.011 3	0.000 1	0.000 6	0.474 9	0.742 2	0.133 5	0.311 8	0.824 7	0.242 8	0.503 9	0.068 6	0.828 4	0.000 3	0.429 4	0.000 1	0.063 3	0.000 2	0.781 1	0.000 1	0.000 5	0.000 1	0.665 1	0.633 4	0.450 4	0.818 2	0.000 7	0.000 1	0.429 2	0.532 5	0.226 8	0.825 6	0.510 8	0.377 3	0.709 1	0.079 9	0.000 1	0.753 3	0.683 3	0.102 11	0.063 3	0.401 11	0.620 9	0.000 1	0.619 2	0.000 11	0.000 5	0.000 1	0.595 10	0.000 2	0.000 1	0.345 9	0.564 3	0.411 5	0.603 1	0.384 4	0.945 5	0.266 6	0.643 4	0.367 9	0.304 1	0.663 7	0.000 1	0.010 3	0.726 10	0.767 6	0.898 3	0.000 1	0.784 8	0.435 1	0.861 5	0.000 1	0.447 7	0.000 10	0.257 5	0.656 8	0.377 8
Zhisheng Zhong, Jiequan Cui, Yibo Yang, Xiaoyang Wu, Xiaojuan Qi, Xiangyu Zhang, Jiaya Jia: Understanding Imbalanced Semantic Segmentation Through Neural Collapse. CVPR 2023
AWCS	0.305 9	0.508 9	0.225 9	0.142 6	0.463 9	0.063 10	0.195 7	0.000 1	0.000 3	0.000 1	0.467 2	0.551 1	0.504 6	0.773 6	0.764 9	0.142 9	0.029 12	0.000 3	0.626 8	0.100 8	0.000 6	0.360 9	0.179 10	0.507 10	0.137 10	0.006 4	0.300 9	0.000 1	0.000 3	0.172 5	0.364 10	0.512 4	0.000 1	0.056 9	0.000 2	0.865 9	0.093 4	0.634 12	0.000 5	0.071 9	0.396 10	0.296 11	0.876 6	0.000 1	0.000 2	0.373 9	0.436 11	0.063 7	0.749 1	0.877 5	0.721 7	0.131 3	0.124 9	0.804 10	0.000 1	0.000 8	0.515 7	0.010 6	0.452 8	0.252 7	0.578 9	0.417 6	0.179 12	0.484 7	0.171 4	0.337 9	0.606 9	0.000 4	0.115 5	0.937 9	0.142 8	0.000 1	0.008 7	0.000 10	0.157 11	0.484 9	0.402 12	0.501 10	0.339 6	0.553 4	0.529 2	0.478 9	0.000 3	0.000 1	0.404 7	0.001 6	0.022 8	0.077 6	0.000 3	0.894 8	0.219 4	0.628 5	0.093 10	0.305 9	0.886 1	0.233 4	0.000 1	0.603 6	0.112 4	0.023 7	0.000 4	0.000 1	0.000 6	0.741 2	0.664 5	0.097 10	0.253 9	0.782 9	0.264 6	0.523 8	0.154 1	0.707 11	0.000 3	0.411 5	0.000 1	0.000 4	0.000 2	0.332 11	0.000 1	0.000 5	0.000 1	0.602 4	0.595 7	0.185 10	0.656 11	0.159 4	0.000 1	0.355 8	0.424 10	0.154 10	0.729 10	0.516 7	0.220 7	0.620 2	0.084 8	0.000 1	0.707 9	0.651 8	0.173 3	0.014 6	0.381 12	0.582 10	0.000 1	0.619 2	0.049 9	0.000 5	0.000 1	0.702 2	0.000 2	0.000 1	0.302 11	0.489 10	0.317 8	0.334 7	0.392 3	0.922 9	0.254 8	0.533 9	0.394 8	0.129 12	0.613 10	0.000 1	0.000 8	0.820 2	0.649 8	0.749 9	0.000 1	0.782 9	0.282 6	0.863 4	0.000 1	0.288 11	0.006 7	0.220 8	0.633 9	0.542 2

CSC-Pretrain	0.249 12	0.455 12	0.171 11	0.079 12	0.418 11	0.059 11	0.186 8	0.000 1	0.000 3	0.000 1	0.335 7	0.250 10	0.316 11	0.766 7	0.697 12	0.142 9	0.170 9	0.003 2	0.553 9	0.112 6	0.097 1	0.201 12	0.186 9	0.476 12	0.081 11	0.000 5	0.216 12	0.000 1	0.000 3	0.001 12	0.314 12	0.000 6	0.000 1	0.055 10	0.000 2	0.832 12	0.094 3	0.659 10	0.002 3	0.076 7	0.310 12	0.293 12	0.664 11	0.000 1	0.000 2	0.175 12	0.634 4	0.130 2	0.552 12	0.686 12	0.700 12	0.076 6	0.110 10	0.770 12	0.000 1	0.000 8	0.430 12	0.000 7	0.319 10	0.166 10	0.542 12	0.327 11	0.205 11	0.332 11	0.052 11	0.375 8	0.444 12	0.000 4	0.012 12	0.930 12	0.203 2	0.000 1	0.000 8	0.046 7	0.175 9	0.413 11	0.592 9	0.471 11	0.299 10	0.152 12	0.340 11	0.247 12	0.000 3	0.000 1	0.225 10	0.058 3	0.037 3	0.000 7	0.207 1	0.862 11	0.014 9	0.548 8	0.033 11	0.233 11	0.816 11	0.000 7	0.000 1	0.542 10	0.123 3	0.121 1	0.019 2	0.000 1	0.000 6	0.463 11	0.454 12	0.045 12	0.128 12	0.557 11	0.235 9	0.441 11	0.063 8	0.484 12	0.000 3	0.308 12	0.000 1	0.000 4	0.000 2	0.318 12	0.000 1	0.000 5	0.000 1	0.545 11	0.543 9	0.164 11	0.734 6	0.000 7	0.000 1	0.215 12	0.371 11	0.198 9	0.743 9	0.205 11	0.062 10	0.000 7	0.079 9	0.000 1	0.683 11	0.547 11	0.142 7	0.000 7	0.441 6	0.579 11	0.000 1	0.464 10	0.098 6	0.041 1	0.000 1	0.590 11	0.000 2	0.000 1	0.373 8	0.494 9	0.174 10	0.105 11	0.001 12	0.895 11	0.222 11	0.537 8	0.307 11	0.180 5	0.625 9	0.000 1	0.000 8	0.591 12	0.609 10	0.398 10	0.000 1	0.766 12	0.014 12	0.638 12	0.000 1	0.377 9	0.004 8	0.206 10	0.609 12	0.465 4
Ji Hou, Benjamin Graham, Matthias Nießner, Saining Xie: Exploring Data-Efficient 3D Scene Understanding with Contrastive Scene Contexts. CVPR 2021
Minkowski 34D	0.253 11	0.463 11	0.154 12	0.102 11	0.381 12	0.084 5	0.134 10	0.000 1	0.000 3	0.000 1	0.386 4	0.141 12	0.279 12	0.737 11	0.703 11	0.014 12	0.164 10	0.000 3	0.663 5	0.092 11	0.000 6	0.224 11	0.291 6	0.531 6	0.056 12	0.000 5	0.242 11	0.000 1	0.000 3	0.013 10	0.331 11	0.000 6	0.000 1	0.035 12	0.001 1	0.858 10	0.059 11	0.650 11	0.000 5	0.056 10	0.353 11	0.299 10	0.670 10	0.000 1	0.000 2	0.284 11	0.484 10	0.071 6	0.594 11	0.720 11	0.710 10	0.027 9	0.068 12	0.813 9	0.000 1	0.005 7	0.492 9	0.164 1	0.274 11	0.111 11	0.571 11	0.307 12	0.293 8	0.307 12	0.150 5	0.163 12	0.531 11	0.002 3	0.545 3	0.932 10	0.093 12	0.000 1	0.000 8	0.002 9	0.159 10	0.368 12	0.581 10	0.440 12	0.228 12	0.406 6	0.282 12	0.294 11	0.000 3	0.000 1	0.189 11	0.060 2	0.036 4	0.000 7	0.000 3	0.897 7	0.000 12	0.525 9	0.025 12	0.205 12	0.771 12	0.000 7	0.000 1	0.593 8	0.108 7	0.044 4	0.000 4	0.000 1	0.000 6	0.282 12	0.589 10	0.094 11	0.169 11	0.466 12	0.227 11	0.419 12	0.125 3	0.757 9	0.002 1	0.334 11	0.000 1	0.000 4	0.000 2	0.357 10	0.000 1	0.000 5	0.000 1	0.582 7	0.513 11	0.337 8	0.612 12	0.000 7	0.000 1	0.250 11	0.352 12	0.136 12	0.724 11	0.655 3	0.280 6	0.000 7	0.046 11	0.000 1	0.606 12	0.559 10	0.159 5	0.102 1	0.445 5	0.655 5	0.000 1	0.310 12	0.117 3	0.000 5	0.000 1	0.581 12	0.026 1	0.000 1	0.265 12	0.483 11	0.084 12	0.097 12	0.044 10	0.865 12	0.142 12	0.588 7	0.351 10	0.272 2	0.596 12	0.000 1	0.003 6	0.622 11	0.720 7	0.096 12	0.000 1	0.771 11	0.016 11	0.772 10	0.000 1	0.302 10	0.194 4	0.214 9	0.621 11	0.197 12
C. Choy, J. Gwak, S. Savarese: 4D Spatio-Temporal ConvNets: Minkowski Convolutional Neural Networks. CVPR 2019

ScanNet200 3D Semantic Label Benchmark