ScanNet200 3D Semantic Label Results

The 3D semantic labeling task involves predicting a semantic labeling of a 3D scan mesh.

Evaluation and metrics

Our evaluation ranks all methods according to the PASCAL VOC intersection-over-union metric (IoU). IoU = TP/(TP+FP+FN), where TP, FP, and FN are the numbers of true positive, false positive, and false negative pixels, respectively. Predicted labels are evaluated per-vertex over the respective 3D scan mesh; for 3D approaches that operate on other representations like grids or points, the predicted labels should be mapped onto the mesh vertices (e.g., one such example for grid to mesh vertices is provided in the evaluation helpers).

This table lists the benchmark results for the ScanNet200 3D semantic label scenario.

Method	avg iou	head iou	common iou	tail iou	wall	chair	floor	table	door	couch	cabinet	shelf	desk	office chair	bed	pillow	sink	picture	window	toilet	bookshelf	monitor	curtain	book	coffee table	box	refrigerator	lamp	kitchen cabinet	towel	clothes	tv	nightstand	counter	dresser	stool	cushion	plant	ceiling	bathtub	end table	dining table	keyboard	bag	backpack	toilet paper	printer	tv stand	whiteboard	blanket	shower curtain	trash can	closet	stairs	microwave	stove	shoe	computer tower	bottle	bin	bench	board	washing machine	mirror	copier	basket	sofa chair	file cabinet	fan	laptop	shower	paper	person	paper towel dispenser	oven	blinds	rack	plate	blackboard	piano	suitcase	radiator	recycling bin	wardrobe	soap dispenser	telephone	bucket	clock	stand	light	laundry basket	pipe	clothes dryer	seat	speaker	column	bicycle	ladder	bathroom stall	shower wall	cup	jacket	storage bin	coffee maker	dishwasher	paper towel roll	machine	mat	windowsill	bar	toaster	bulletin board	ironing board	kitchen counter	doorframe	toilet paper dispenser	mini fridge	fire extinguisher	ball	hat	shower curtain rod	water cooler	paper cutter	tray	ledge	mouse	cart	storage container	scale	tissue box	light switch	power outlet	decoration	sign	projector	vacuum cleaner	candle	plunger	stuffed animal	headphones	dish rack	broom	range hood	water bottle	vent	shower floor	water pitcher	mailbox	bowl	paper bag	music stand	projector screen	laundry detergent	object	bathroom vanity	laundry hamper	bathroom stall door	ceiling light	trash bin	dumbbell	stair rail	tube	bathroom cabinet	closet rod	coffee kettle	structure	shower head	keyboard piano	case of water bottles	coat rack	storage organizer	folded chair	fire alarm	power strip	calendar	poster

DITR	0.409 2	0.616 1	0.351 1	0.215 3	0.831 3	0.791 1	0.947 6	0.619 1	0.730 2	0.762 3	0.494 2	0.571 1	0.597 2	0.000 11	0.853 1	0.625 3	0.796 2	0.301 3	0.723 3	0.959 4	0.617 2	0.862 7	0.917 3	0.573 1	0.562 10	0.591 1	0.784 7	0.504 5	0.757 1	0.737 2	0.429 4	0.853 1	0.662 3	0.135 3	0.459 3	0.558 10	0.000 1	0.913 1	0.878 7	0.687 14	0.008 15	0.000 7	0.615 4	0.238 1	0.651 1	0.370 3	0.742 2	0.925 2	0.360 1	0.167 6	0.938 1	0.752 2	0.118 3	0.827 2	0.670 4	0.723 2	0.614 3	0.628 14	0.372 1	0.000 3	0.143 12	0.175 16	0.873 3	0.652 1	0.991 1	0.340 1	0.148 6	0.814 1	0.656 1	0.524 6	0.491 3	0.000 1	0.743 1	0.752 2	0.000 4	0.000 9	0.000 1	0.399 1	0.865 3	0.953 1	0.833 1	0.694 2	0.444 6	0.000 15	0.688 4	0.609 2	0.000 3	0.053 2	0.000 1	0.022 10	0.000 4	0.053 13	0.940 3	0.000 1	0.186 1	0.093 5	0.854 3	0.877 1	0.534 2	0.404 1	0.270 3	0.191 10	0.198 4	0.461 8	0.375 1	0.152 3	0.921 1	0.132 9	0.235 14	0.000 1	0.617 1	0.330 1	0.896 1	0.399 6	0.431 5	0.597 10	0.759 1	0.554 4	0.400 2	0.000 1	0.559 9	0.699 1	0.852 2	0.000 1	0.000 8	0.091 10	0.385 1	0.000 6	0.000 9	0.478 4	0.077 9	0.000 7	0.140 4	0.000 2	0.000 3	0.670 13	0.000 1	0.452 5	0.000 1	0.263 3	0.361 13	0.000 1	0.643 4	0.000 1	0.000 1	0.357 5	0.005 10	0.928 2	0.362 1	0.496 1	0.000 1	0.000 6	0.000 1	0.072 16	0.585 2	0.587 3	0.476 4	0.037 15	0.191 5	0.410 13	0.629 6	0.118 1	0.000 1	0.479 11	0.000 2	0.000 2	0.107 8	0.839 3	0.000 2	0.000 1	0.000 1	0.139 11	0.036 5	0.000 4	0.247 9	0.000 1

L3DETR-ScanNet_200	0.336 9	0.533 12	0.279 5	0.155 9	0.801 11	0.689 6	0.946 8	0.539 9	0.660 9	0.759 5	0.380 13	0.333 12	0.583 3	0.000 11	0.788 9	0.529 11	0.740 9	0.261 11	0.679 9	0.940 11	0.525 11	0.860 8	0.883 7	0.226 12	0.613 8	0.397 5	0.720 10	0.512 4	0.565 11	0.620 3	0.417 6	0.775 12	0.629 7	0.158 2	0.298 11	0.579 9	0.000 1	0.835 3	0.883 6	0.927 1	0.114 10	0.079 4	0.511 10	0.073 10	0.508 6	0.312 6	0.629 5	0.861 5	0.192 14	0.098 14	0.908 3	0.636 12	0.032 16	0.563 16	0.514 13	0.664 5	0.505 10	0.697 7	0.225 8	0.000 3	0.264 3	0.411 9	0.860 8	0.321 12	0.960 2	0.058 3	0.109 11	0.776 3	0.526 4	0.557 2	0.303 9	0.000 1	0.339 11	0.712 5	0.000 4	0.014 7	0.000 1	0.000 6	0.638 11	0.856 5	0.641 7	0.579 11	0.107 16	0.119 12	0.661 9	0.416 7	0.000 3	0.000 7	0.000 1	0.007 16	0.000 4	0.067 9	0.910 5	0.000 1	0.000 10	0.000 10	0.463 10	0.448 8	0.294 14	0.324 2	0.293 2	0.211 7	0.108 8	0.448 9	0.068 16	0.141 7	0.000 5	0.330 3	0.699 1	0.000 1	0.256 9	0.192 5	0.000 14	0.355 8	0.418 7	0.209 16	0.146 11	0.679 1	0.101 16	0.000 1	0.503 14	0.687 2	0.671 8	0.000 1	0.000 8	0.174 9	0.117 6	0.000 6	0.122 6	0.515 2	0.104 6	0.259 2	0.312 3	0.000 2	0.000 3	0.765 11	0.000 1	0.369 13	0.000 1	0.183 6	0.422 11	0.000 1	0.646 3	0.000 1	0.000 1	0.565 2	0.001 13	0.125 16	0.010 5	0.002 7	0.000 1	0.487 1	0.000 1	0.075 14	0.548 4	0.420 9	0.233 14	0.082 8	0.138 12	0.430 11	0.427 12	0.000 12	0.000 1	0.549 6	0.000 2	0.000 2	0.074 9	0.409 15	0.000 2	0.000 1	0.000 1	0.152 7	0.051 4	0.000 4	0.598 4	0.000 1
Yanmin Wu, Qiankun Gao, Renrui Zhang, Jian Zhang: Language-Assisted 3D Scene Understanding. arXiv23.12
OctFormer ScanNet200	0.326 12	0.539 9	0.265 11	0.131 11	0.806 10	0.670 12	0.943 11	0.535 10	0.662 6	0.705 15	0.423 8	0.407 5	0.505 10	0.003 9	0.765 12	0.582 8	0.686 14	0.227 15	0.680 8	0.943 9	0.601 3	0.854 10	0.892 5	0.335 6	0.417 16	0.357 9	0.724 9	0.453 8	0.632 8	0.596 5	0.432 3	0.783 10	0.512 15	0.021 13	0.244 14	0.637 1	0.000 1	0.787 10	0.873 11	0.743 11	0.000 16	0.000 7	0.534 9	0.110 3	0.499 7	0.289 9	0.626 6	0.620 13	0.168 16	0.204 2	0.849 7	0.679 7	0.117 4	0.633 11	0.684 3	0.650 7	0.552 5	0.684 10	0.312 3	0.000 3	0.175 10	0.429 8	0.865 5	0.413 4	0.837 11	0.000 4	0.145 7	0.626 9	0.451 8	0.487 9	0.513 2	0.000 1	0.529 7	0.613 12	0.000 4	0.033 6	0.000 1	0.000 6	0.828 6	0.871 4	0.622 8	0.587 9	0.411 7	0.137 10	0.645 13	0.343 11	0.000 3	0.000 7	0.000 1	0.022 10	0.000 4	0.026 16	0.829 10	0.000 1	0.022 8	0.089 6	0.842 4	0.253 14	0.318 11	0.296 3	0.178 9	0.291 3	0.224 2	0.584 2	0.200 13	0.132 9	0.000 5	0.128 10	0.227 15	0.000 1	0.230 11	0.047 11	0.149 9	0.331 10	0.412 9	0.618 8	0.164 8	0.102 9	0.522 1	0.000 1	0.655 4	0.378 11	0.469 14	0.000 1	0.000 8	0.000 11	0.105 9	0.000 6	0.000 9	0.483 3	0.000 11	0.000 7	0.028 7	0.000 2	0.000 3	0.906 1	0.000 1	0.339 14	0.000 1	0.000 12	0.457 9	0.000 1	0.612 7	0.000 1	0.000 1	0.408 3	0.000 14	0.900 9	0.000 8	0.000 8	0.000 1	0.029 4	0.000 1	0.074 15	0.455 14	0.479 6	0.427 6	0.079 9	0.140 9	0.496 7	0.414 13	0.022 6	0.000 1	0.471 13	0.000 2	0.000 2	0.000 11	0.722 7	0.000 2	0.000 1	0.000 1	0.138 12	0.000 8	0.000 4	0.000 10	0.000 1
Peng-Shuai Wang: OctFormer: Octree-based Transformers for 3D Point Clouds. SIGGRAPH 2023
BFANet ScanNet200	0.360 4	0.553 6	0.293 4	0.193 4	0.827 4	0.689 6	0.970 3	0.528 11	0.661 8	0.753 8	0.436 7	0.378 8	0.469 14	0.042 5	0.810 3	0.654 1	0.760 4	0.266 8	0.659 10	0.973 3	0.574 4	0.849 12	0.897 4	0.382 2	0.546 12	0.372 8	0.698 12	0.491 6	0.617 9	0.526 8	0.436 1	0.764 13	0.476 16	0.101 6	0.409 4	0.585 8	0.000 1	0.835 3	0.901 3	0.810 5	0.102 12	0.000 7	0.688 2	0.096 5	0.483 10	0.264 11	0.612 8	0.591 15	0.358 2	0.161 7	0.863 5	0.707 4	0.128 2	0.814 3	0.669 5	0.629 10	0.563 4	0.651 13	0.258 4	0.000 3	0.194 9	0.494 6	0.806 12	0.394 6	0.953 4	0.000 4	0.233 1	0.757 4	0.508 6	0.556 3	0.476 4	0.000 1	0.573 5	0.741 4	0.000 4	0.000 9	0.000 1	0.000 6	0.000 16	0.852 6	0.678 3	0.616 5	0.460 4	0.338 3	0.710 2	0.534 4	0.000 3	0.025 4	0.000 1	0.043 2	0.000 4	0.056 11	0.493 15	0.000 1	0.000 10	0.109 4	0.785 6	0.590 6	0.298 13	0.282 4	0.143 12	0.262 5	0.053 11	0.526 4	0.337 5	0.215 1	0.000 5	0.135 8	0.510 4	0.000 1	0.596 2	0.043 12	0.511 5	0.321 12	0.459 2	0.772 2	0.124 12	0.060 13	0.266 6	0.000 1	0.574 8	0.568 7	0.653 10	0.000 1	0.093 1	0.298 2	0.239 2	0.000 6	0.516 2	0.129 13	0.284 2	0.000 7	0.431 1	0.000 2	0.000 3	0.848 7	0.000 1	0.492 2	0.000 1	0.376 2	0.522 5	0.000 1	0.469 16	0.000 1	0.000 1	0.330 6	0.151 6	0.875 14	0.000 8	0.254 3	0.000 1	0.000 6	0.000 1	0.088 13	0.661 1	0.481 5	0.255 11	0.105 1	0.139 10	0.666 4	0.641 4	0.000 12	0.000 1	0.614 2	0.000 2	0.000 2	0.000 11	0.921 1	0.000 2	0.000 1	0.000 1	0.497 1	0.000 8	0.000 4	0.000 10	0.000 1

IMFSegNet	0.337 8	0.535 11	0.266 10	0.169 8	0.810 8	0.715 2	0.947 6	0.545 8	0.675 5	0.759 5	0.418 9	0.406 6	0.493 11	0.000 11	0.803 7	0.571 9	0.755 5	0.264 9	0.644 12	0.953 5	0.366 16	0.840 13	0.831 12	0.357 3	0.564 9	0.317 11	0.699 11	0.422 11	0.633 7	0.509 9	0.424 5	0.824 4	0.637 5	0.001 16	0.382 6	0.383 14	0.000 1	0.810 8	0.884 5	0.678 15	0.311 3	0.000 7	0.469 13	0.072 11	0.527 3	0.300 8	0.576 9	0.769 7	0.177 15	0.181 5	0.829 8	0.642 11	0.095 6	0.791 5	0.655 6	0.645 8	0.524 8	0.692 8	0.208 10	0.000 3	0.264 3	0.398 10	0.867 4	0.343 11	0.915 5	0.000 4	0.036 16	0.551 14	0.442 9	0.432 13	0.568 1	0.000 1	0.359 10	0.660 9	0.000 4	0.040 5	0.000 1	0.000 6	0.853 4	0.821 10	0.469 11	0.546 14	0.361 9	0.000 15	0.683 5	0.373 10	0.000 3	0.000 7	0.000 1	0.038 3	0.000 4	0.054 12	0.472 16	0.000 1	0.026 7	0.000 10	0.868 2	0.708 4	0.341 8	0.263 5	0.170 11	0.263 4	0.109 7	0.426 10	0.228 12	0.143 5	0.000 5	0.251 5	0.442 7	0.000 1	0.447 5	0.187 6	0.544 4	0.311 13	0.396 12	0.728 3	0.211 3	0.066 12	0.147 12	0.000 1	0.505 12	0.378 11	0.743 4	0.000 1	0.000 8	0.204 6	0.118 4	0.000 6	0.000 9	0.297 9	0.122 5	0.133 4	0.004 10	0.032 1	0.667 1	0.839 9	0.000 1	0.380 10	0.000 1	0.051 9	0.492 7	0.000 1	0.572 10	0.000 1	0.000 1	0.196 10	0.004 11	0.910 8	0.000 8	0.000 8	0.000 1	0.000 6	0.000 1	0.112 5	0.544 5	0.497 4	0.152 15	0.095 2	0.132 15	0.277 16	0.634 5	0.031 4	0.000 1	0.592 3	0.000 2	0.000 2	0.119 7	0.786 5	0.000 2	0.000 1	0.000 1	0.126 15	0.177 2	0.094 2	0.274 8	0.000 1

ALS-MinkowskiNet	0.414 1	0.610 2	0.322 3	0.271 1	0.852 1	0.710 3	0.973 1	0.572 3	0.719 3	0.795 1	0.477 5	0.506 2	0.601 1	0.000 11	0.804 5	0.646 2	0.804 1	0.344 2	0.777 1	0.984 1	0.671 1	0.879 2	0.936 1	0.342 5	0.632 6	0.449 3	0.817 3	0.475 7	0.723 2	0.798 1	0.376 9	0.832 3	0.693 1	0.031 10	0.564 1	0.510 12	0.000 1	0.893 2	0.905 1	0.672 16	0.314 2	0.000 7	0.718 1	0.153 2	0.542 2	0.397 2	0.726 3	0.752 9	0.252 8	0.226 1	0.916 2	0.800 1	0.047 15	0.807 4	0.769 1	0.709 3	0.630 2	0.769 1	0.217 9	0.000 3	0.285 2	0.598 3	0.846 10	0.535 2	0.956 3	0.000 4	0.137 9	0.784 2	0.464 7	0.463 12	0.230 11	0.000 1	0.598 3	0.662 8	0.000 4	0.087 2	0.000 1	0.135 2	0.900 1	0.780 13	0.703 2	0.741 1	0.571 2	0.149 9	0.697 3	0.646 1	0.000 3	0.076 1	0.000 1	0.025 8	0.000 4	0.106 4	0.981 1	0.000 1	0.043 6	0.113 3	0.888 1	0.248 15	0.404 4	0.252 6	0.314 1	0.220 6	0.245 1	0.466 7	0.366 2	0.159 2	0.000 5	0.149 7	0.690 2	0.000 1	0.531 3	0.253 2	0.285 7	0.460 1	0.440 4	0.813 1	0.230 2	0.283 6	0.159 11	0.000 1	0.728 1	0.666 5	0.958 1	0.000 1	0.021 4	0.252 4	0.118 4	0.000 6	0.445 3	0.223 12	0.285 1	0.194 3	0.390 2	0.000 2	0.475 2	0.842 8	0.000 1	0.455 4	0.000 1	0.250 5	0.458 8	0.000 1	0.865 1	0.000 1	0.000 1	0.635 1	0.359 2	0.972 1	0.087 3	0.447 2	0.000 1	0.000 6	0.000 1	0.129 2	0.532 7	0.446 8	0.503 3	0.071 12	0.135 13	0.699 3	0.717 2	0.097 2	0.000 1	0.665 1	0.000 2	0.000 2	1.000 1	0.752 6	0.000 2	0.000 1	0.000 1	0.142 9	0.200 1	0.259 1	1.000 1	0.000 1

LGround	0.272 14	0.485 14	0.184 14	0.106 14	0.778 14	0.676 11	0.932 14	0.479 16	0.572 14	0.718 13	0.399 10	0.265 13	0.453 15	0.085 3	0.745 14	0.446 14	0.726 12	0.232 14	0.622 14	0.901 14	0.512 12	0.826 14	0.786 15	0.178 15	0.549 11	0.277 14	0.659 14	0.381 14	0.518 13	0.295 16	0.323 13	0.777 11	0.599 11	0.028 11	0.321 10	0.363 15	0.000 1	0.708 14	0.858 14	0.746 10	0.063 13	0.022 5	0.457 14	0.077 9	0.476 11	0.243 14	0.402 13	0.397 16	0.233 10	0.077 16	0.720 15	0.610 15	0.103 5	0.629 12	0.437 16	0.626 11	0.446 13	0.702 6	0.190 11	0.005 1	0.058 15	0.322 12	0.702 15	0.244 14	0.768 13	0.000 4	0.134 10	0.552 13	0.279 15	0.395 14	0.147 15	0.000 1	0.207 14	0.612 13	0.000 4	0.000 9	0.000 1	0.000 6	0.658 10	0.566 14	0.323 14	0.525 16	0.229 12	0.179 8	0.467 16	0.154 15	0.000 3	0.002 5	0.000 1	0.051 1	0.000 4	0.127 2	0.703 11	0.000 1	0.000 10	0.216 1	0.112 15	0.358 11	0.547 1	0.187 7	0.092 15	0.156 16	0.055 10	0.296 14	0.252 10	0.143 5	0.000 5	0.014 13	0.398 9	0.000 1	0.028 15	0.173 7	0.000 14	0.265 15	0.348 14	0.415 15	0.179 6	0.019 15	0.218 8	0.000 1	0.597 7	0.274 16	0.565 12	0.000 1	0.012 5	0.000 11	0.039 15	0.022 3	0.000 9	0.117 14	0.000 11	0.000 7	0.000 11	0.000 2	0.000 3	0.324 15	0.000 1	0.384 9	0.000 1	0.000 12	0.251 16	0.000 1	0.566 11	0.000 1	0.000 1	0.066 12	0.404 1	0.886 12	0.199 2	0.000 8	0.000 1	0.059 3	0.000 1	0.136 1	0.540 6	0.127 16	0.295 10	0.085 7	0.143 7	0.514 6	0.413 14	0.000 12	0.000 1	0.498 9	0.000 2	0.000 2	0.000 11	0.623 11	0.000 2	0.000 1	0.000 1	0.132 14	0.000 8	0.000 4	0.000 10	0.000 1
David Rozenberszki, Or Litany, Angela Dai: Language-Grounded Indoor 3D Semantic Segmentation in the Wild. arXiv
PPT-SpUNet-F.T.	0.332 11	0.556 5	0.270 7	0.123 13	0.816 6	0.682 9	0.946 8	0.549 7	0.657 10	0.756 7	0.459 6	0.376 9	0.550 8	0.001 10	0.807 4	0.616 4	0.727 11	0.267 7	0.691 6	0.942 10	0.530 10	0.872 5	0.874 8	0.330 8	0.542 13	0.374 7	0.792 4	0.400 13	0.673 4	0.572 7	0.433 2	0.793 8	0.623 8	0.008 15	0.351 9	0.594 7	0.000 1	0.783 12	0.876 8	0.833 4	0.213 6	0.000 7	0.537 7	0.091 6	0.519 5	0.304 7	0.620 7	0.942 1	0.264 5	0.124 9	0.855 6	0.695 5	0.086 8	0.646 10	0.506 14	0.658 6	0.535 6	0.715 4	0.314 2	0.000 3	0.241 6	0.608 2	0.897 2	0.359 8	0.858 10	0.000 4	0.076 15	0.611 11	0.392 11	0.509 7	0.378 5	0.000 1	0.579 4	0.565 15	0.000 4	0.000 9	0.000 1	0.000 6	0.755 8	0.806 11	0.661 4	0.572 13	0.350 10	0.181 7	0.660 10	0.300 13	0.000 3	0.000 7	0.000 1	0.023 9	0.000 4	0.042 15	0.930 4	0.000 1	0.000 10	0.077 7	0.584 8	0.392 10	0.339 9	0.185 8	0.171 10	0.308 2	0.006 13	0.563 3	0.256 9	0.150 4	0.000 5	0.002 15	0.345 13	0.000 1	0.045 13	0.197 4	0.063 10	0.323 11	0.453 3	0.600 9	0.163 9	0.037 14	0.349 4	0.000 1	0.672 3	0.679 4	0.753 3	0.000 1	0.000 8	0.000 11	0.117 6	0.000 6	0.000 9	0.291 10	0.000 11	0.000 7	0.039 6	0.000 2	0.000 3	0.899 2	0.000 1	0.374 12	0.000 1	0.000 12	0.545 4	0.000 1	0.634 5	0.000 1	0.000 1	0.074 11	0.223 4	0.914 7	0.000 8	0.021 6	0.000 1	0.000 6	0.000 1	0.112 5	0.498 11	0.649 1	0.383 9	0.095 2	0.135 13	0.449 10	0.432 11	0.008 9	0.000 1	0.518 7	0.000 2	0.000 2	0.000 11	0.796 4	0.000 2	0.000 1	0.000 1	0.138 12	0.000 8	0.000 4	0.000 10	0.000 1
Xiaoyang Wu, Zhuotao Tian, Xin Wen, Bohao Peng, Xihui Liu, Kaicheng Yu, Hengshuang Zhao: Towards Large-scale 3D Representation Learning with Multi-dataset Point Prompt Training. CVPR 2024
PonderV2 ScanNet200	0.346 5	0.552 7	0.270 8	0.175 6	0.810 8	0.682 9	0.950 4	0.560 6	0.641 11	0.761 4	0.398 11	0.357 10	0.570 7	0.113 2	0.804 5	0.603 6	0.750 7	0.283 4	0.681 7	0.952 6	0.548 5	0.874 4	0.852 11	0.290 10	0.700 2	0.356 10	0.792 4	0.445 9	0.545 12	0.436 11	0.351 12	0.787 9	0.611 9	0.050 9	0.290 13	0.519 11	0.000 1	0.825 7	0.888 4	0.842 3	0.259 5	0.100 2	0.558 6	0.070 13	0.497 8	0.247 13	0.457 12	0.889 3	0.248 9	0.106 11	0.817 11	0.691 6	0.094 7	0.729 6	0.636 7	0.620 12	0.503 11	0.660 12	0.243 6	0.000 3	0.212 8	0.590 4	0.860 8	0.400 5	0.881 8	0.000 4	0.202 2	0.622 10	0.408 10	0.499 8	0.261 10	0.000 1	0.385 9	0.636 10	0.000 4	0.000 9	0.000 1	0.000 6	0.433 15	0.843 7	0.660 6	0.574 12	0.481 3	0.336 4	0.677 7	0.486 5	0.000 3	0.030 3	0.000 1	0.034 6	0.000 4	0.080 7	0.869 9	0.000 1	0.000 10	0.000 10	0.540 9	0.727 3	0.232 15	0.115 9	0.186 8	0.193 9	0.000 14	0.403 11	0.326 6	0.103 12	0.000 5	0.290 4	0.392 10	0.000 1	0.346 8	0.062 10	0.424 6	0.375 7	0.431 5	0.667 5	0.115 13	0.082 10	0.239 7	0.000 1	0.504 13	0.606 6	0.584 11	0.000 1	0.002 6	0.186 8	0.104 10	0.000 6	0.394 4	0.384 7	0.083 8	0.000 7	0.007 8	0.000 2	0.000 3	0.880 4	0.000 1	0.377 11	0.000 1	0.263 3	0.565 2	0.000 1	0.608 8	0.000 1	0.000 1	0.304 7	0.009 8	0.924 3	0.000 8	0.000 8	0.000 1	0.000 6	0.000 1	0.128 3	0.584 3	0.475 7	0.412 7	0.076 10	0.269 3	0.621 5	0.509 8	0.010 7	0.000 1	0.491 10	0.063 1	0.000 2	0.472 4	0.880 2	0.000 2	0.000 1	0.000 1	0.179 5	0.125 3	0.000 4	0.441 6	0.000 1
Haoyi Zhu, Honghui Yang, Xiaoyang Wu, Di Huang, Sha Zhang, Xianglong He, Tong He, Hengshuang Zhao, Chunhua Shen, Yu Qiao, Wanli Ouyang: PonderV2: Pave the Way for 3D Foundataion Model with A Universal Pre-training Paradigm.
OA-CNN-L_ScanNet200	0.333 10	0.558 4	0.269 9	0.124 12	0.821 5	0.703 4	0.946 8	0.569 4	0.662 6	0.748 10	0.487 3	0.455 3	0.572 6	0.000 11	0.789 8	0.534 10	0.736 10	0.271 6	0.713 4	0.949 7	0.498 14	0.877 3	0.860 9	0.332 7	0.706 1	0.474 2	0.788 6	0.406 12	0.637 6	0.495 10	0.355 11	0.805 7	0.592 13	0.015 14	0.396 5	0.602 6	0.000 1	0.799 9	0.876 8	0.713 13	0.276 4	0.000 7	0.493 11	0.080 8	0.448 14	0.363 5	0.661 4	0.833 6	0.262 6	0.125 8	0.823 10	0.665 9	0.076 10	0.720 8	0.557 9	0.637 9	0.517 9	0.672 11	0.227 7	0.000 3	0.158 11	0.496 5	0.843 11	0.352 9	0.835 12	0.000 4	0.103 12	0.711 5	0.527 3	0.526 5	0.320 8	0.000 1	0.568 6	0.625 11	0.067 1	0.000 9	0.000 1	0.001 5	0.806 7	0.836 8	0.621 9	0.591 7	0.373 8	0.314 5	0.668 8	0.398 9	0.003 2	0.000 7	0.000 1	0.016 15	0.024 3	0.043 14	0.906 6	0.000 1	0.052 5	0.000 10	0.384 11	0.330 12	0.342 7	0.100 10	0.223 7	0.183 12	0.112 6	0.476 5	0.313 7	0.130 10	0.196 3	0.112 11	0.370 12	0.000 1	0.234 10	0.071 9	0.160 8	0.403 5	0.398 11	0.492 14	0.197 5	0.076 11	0.272 5	0.000 1	0.200 16	0.560 8	0.735 6	0.000 1	0.000 8	0.000 11	0.110 8	0.002 5	0.021 8	0.412 6	0.000 11	0.000 7	0.000 11	0.000 2	0.000 3	0.794 10	0.000 1	0.445 6	0.000 1	0.022 10	0.509 6	0.000 1	0.517 14	0.000 1	0.000 1	0.001 15	0.245 3	0.915 6	0.024 4	0.089 5	0.000 1	0.262 2	0.000 1	0.103 11	0.524 8	0.392 11	0.515 2	0.013 16	0.251 4	0.411 12	0.662 3	0.001 11	0.000 1	0.473 12	0.000 2	0.000 2	0.150 5	0.699 9	0.000 2	0.000 1	0.000 1	0.166 6	0.000 8	0.024 3	0.000 10	0.000 1

AWCS	0.305 13	0.508 13	0.225 13	0.142 10	0.782 13	0.634 16	0.937 13	0.489 14	0.578 13	0.721 11	0.364 14	0.355 11	0.515 9	0.023 7	0.764 13	0.523 12	0.707 13	0.264 9	0.633 13	0.922 12	0.507 13	0.886 1	0.804 14	0.179 14	0.436 15	0.300 13	0.656 15	0.529 2	0.501 14	0.394 12	0.296 15	0.820 6	0.603 10	0.131 4	0.179 16	0.619 2	0.000 1	0.707 15	0.865 13	0.773 6	0.171 7	0.010 6	0.484 12	0.063 14	0.463 13	0.254 12	0.332 15	0.649 12	0.220 11	0.100 12	0.729 13	0.613 14	0.071 12	0.582 14	0.628 8	0.702 4	0.424 14	0.749 2	0.137 14	0.000 3	0.142 13	0.360 11	0.863 6	0.305 13	0.877 9	0.000 4	0.173 3	0.606 12	0.337 13	0.478 10	0.154 14	0.000 1	0.253 13	0.664 7	0.000 4	0.000 9	0.000 1	0.000 6	0.626 12	0.782 12	0.302 15	0.602 6	0.185 13	0.282 6	0.651 11	0.317 12	0.000 3	0.000 7	0.000 1	0.022 10	0.000 4	0.154 1	0.876 8	0.000 1	0.014 9	0.063 9	0.029 16	0.553 7	0.467 3	0.084 11	0.124 13	0.157 15	0.049 12	0.373 13	0.252 10	0.097 13	0.000 5	0.219 6	0.542 3	0.000 1	0.392 6	0.172 8	0.000 14	0.339 9	0.417 8	0.533 13	0.093 14	0.115 8	0.195 9	0.000 1	0.516 10	0.288 15	0.741 5	0.000 1	0.001 7	0.233 5	0.056 13	0.000 6	0.159 5	0.334 8	0.077 9	0.000 7	0.000 11	0.000 2	0.000 3	0.749 12	0.000 1	0.411 8	0.000 1	0.008 11	0.452 10	0.000 1	0.595 9	0.000 1	0.000 1	0.220 9	0.006 9	0.894 11	0.006 6	0.000 8	0.000 1	0.000 6	0.000 1	0.112 5	0.504 9	0.404 10	0.551 1	0.093 5	0.129 16	0.484 8	0.381 16	0.000 12	0.000 1	0.396 14	0.000 2	0.000 2	0.620 3	0.402 16	0.000 2	0.000 1	0.000 1	0.142 9	0.000 8	0.000 4	0.512 5	0.000 1

CeCo	0.340 6	0.551 8	0.247 12	0.181 5	0.784 12	0.661 13	0.939 12	0.564 5	0.624 12	0.721 11	0.484 4	0.429 4	0.575 4	0.027 6	0.774 11	0.503 13	0.753 6	0.242 12	0.656 11	0.945 8	0.534 8	0.865 6	0.860 9	0.177 16	0.616 7	0.400 4	0.818 2	0.579 1	0.615 10	0.367 13	0.408 7	0.726 14	0.633 6	0.162 1	0.360 8	0.619 2	0.000 1	0.828 6	0.873 11	0.924 2	0.109 11	0.083 3	0.564 5	0.057 16	0.475 12	0.266 10	0.781 1	0.767 8	0.257 7	0.100 12	0.825 9	0.663 10	0.048 14	0.620 13	0.551 10	0.595 14	0.532 7	0.692 8	0.246 5	0.000 3	0.213 7	0.615 1	0.861 7	0.376 7	0.900 6	0.000 4	0.102 13	0.660 7	0.321 14	0.547 4	0.226 12	0.000 1	0.311 12	0.742 3	0.011 3	0.006 8	0.000 1	0.000 6	0.546 14	0.824 9	0.345 13	0.665 3	0.450 5	0.435 1	0.683 5	0.411 8	0.338 1	0.000 7	0.000 1	0.030 7	0.000 4	0.068 8	0.892 7	0.000 1	0.063 4	0.000 10	0.257 12	0.304 13	0.387 5	0.079 12	0.228 6	0.190 11	0.000 14	0.586 1	0.347 4	0.133 8	0.000 5	0.037 12	0.377 11	0.000 1	0.384 7	0.006 15	0.003 12	0.421 3	0.410 10	0.643 7	0.171 7	0.121 7	0.142 13	0.000 1	0.510 11	0.447 9	0.474 13	0.000 1	0.000 8	0.286 3	0.083 12	0.000 6	0.000 9	0.603 1	0.096 7	0.063 6	0.000 11	0.000 2	0.000 3	0.898 3	0.000 1	0.429 7	0.000 1	0.400 1	0.550 3	0.000 1	0.633 6	0.000 1	0.000 1	0.377 4	0.000 14	0.916 5	0.000 8	0.000 8	0.000 1	0.000 6	0.000 1	0.102 12	0.499 10	0.296 13	0.463 5	0.089 6	0.304 1	0.740 2	0.401 15	0.010 7	0.000 1	0.560 4	0.000 2	0.000 2	0.709 2	0.652 10	0.000 2	0.000 1	0.000 1	0.143 8	0.000 8	0.000 4	0.609 3	0.000 1
Zhisheng Zhong, Jiequan Cui, Yibo Yang, Xiaoyang Wu, Xiaojuan Qi, Xiangyu Zhang, Jiaya Jia: Understanding Imbalanced Semantic Segmentation Through Neural Collapse. CVPR 2023
CSC-Pretrain	0.249 16	0.455 16	0.171 15	0.079 16	0.766 16	0.659 14	0.930 16	0.494 13	0.542 16	0.700 16	0.314 16	0.215 16	0.430 16	0.121 1	0.697 16	0.441 15	0.683 15	0.235 13	0.609 16	0.895 15	0.476 15	0.816 15	0.770 16	0.186 13	0.634 5	0.216 16	0.734 8	0.340 15	0.471 15	0.307 15	0.293 16	0.591 16	0.542 14	0.076 7	0.205 15	0.464 13	0.000 1	0.484 16	0.832 16	0.766 7	0.052 14	0.000 7	0.413 15	0.059 15	0.418 15	0.222 15	0.318 16	0.609 14	0.206 13	0.112 10	0.743 12	0.625 13	0.076 10	0.579 15	0.548 11	0.590 15	0.371 15	0.552 16	0.081 15	0.003 2	0.142 13	0.201 15	0.638 16	0.233 15	0.686 16	0.000 4	0.142 8	0.444 16	0.375 12	0.247 16	0.198 13	0.000 1	0.128 16	0.454 16	0.019 2	0.097 1	0.000 1	0.000 6	0.553 13	0.557 15	0.373 12	0.545 15	0.164 14	0.014 14	0.547 15	0.174 14	0.000 3	0.002 5	0.000 1	0.037 4	0.000 4	0.063 10	0.664 14	0.000 1	0.000 10	0.130 2	0.170 13	0.152 16	0.335 10	0.079 12	0.110 14	0.175 13	0.098 9	0.175 16	0.166 14	0.045 16	0.207 2	0.014 13	0.465 5	0.000 1	0.001 16	0.001 16	0.046 11	0.299 14	0.327 15	0.537 12	0.033 15	0.012 16	0.186 10	0.000 1	0.205 15	0.377 13	0.463 15	0.000 1	0.058 3	0.000 11	0.055 14	0.041 2	0.000 9	0.105 15	0.000 11	0.000 7	0.000 11	0.000 2	0.000 3	0.398 14	0.000 1	0.308 16	0.000 1	0.000 12	0.319 14	0.000 1	0.543 13	0.000 1	0.000 1	0.062 13	0.004 11	0.862 15	0.000 8	0.000 8	0.000 1	0.000 6	0.000 1	0.123 4	0.316 15	0.225 14	0.250 12	0.094 4	0.180 6	0.332 14	0.441 10	0.000 12	0.000 1	0.310 16	0.000 2	0.000 2	0.000 11	0.592 12	0.000 2	0.000 1	0.000 1	0.203 2	0.000 8	0.000 4	0.000 10	0.000 1
Ji Hou, Benjamin Graham, Matthias Nießner, Saining Xie: Exploring Data-Efficient 3D Scene Understanding with Contrastive Scene Contexts. CVPR 2021
Minkowski 34D	0.253 15	0.463 15	0.154 16	0.102 15	0.771 15	0.650 15	0.932 14	0.483 15	0.571 15	0.710 14	0.331 15	0.250 14	0.492 12	0.044 4	0.703 15	0.419 16	0.606 16	0.227 15	0.621 15	0.865 16	0.531 9	0.771 16	0.813 13	0.291 9	0.484 14	0.242 15	0.612 16	0.282 16	0.440 16	0.351 14	0.299 14	0.622 15	0.593 12	0.027 12	0.293 12	0.310 16	0.000 1	0.757 13	0.858 14	0.737 12	0.150 8	0.164 1	0.368 16	0.084 7	0.381 16	0.142 16	0.357 14	0.720 10	0.214 12	0.092 15	0.724 14	0.596 16	0.056 13	0.655 9	0.525 12	0.581 16	0.352 16	0.594 15	0.056 16	0.000 3	0.014 16	0.224 14	0.772 14	0.205 16	0.720 15	0.000 4	0.159 5	0.531 15	0.163 16	0.294 15	0.136 16	0.000 1	0.169 15	0.589 14	0.000 4	0.000 9	0.000 1	0.002 4	0.663 9	0.466 16	0.265 16	0.582 10	0.337 11	0.016 13	0.559 14	0.084 16	0.000 3	0.000 7	0.000 1	0.036 5	0.000 4	0.125 3	0.670 12	0.000 1	0.102 2	0.071 8	0.164 14	0.406 9	0.386 6	0.046 14	0.068 16	0.159 14	0.117 5	0.284 15	0.111 15	0.094 14	0.000 5	0.000 16	0.197 16	0.000 1	0.044 14	0.013 13	0.002 13	0.228 16	0.307 16	0.588 11	0.025 16	0.545 5	0.134 14	0.000 1	0.655 4	0.302 14	0.282 16	0.000 1	0.060 2	0.000 11	0.035 16	0.000 6	0.000 9	0.097 16	0.000 11	0.000 7	0.005 9	0.000 2	0.000 3	0.096 16	0.000 1	0.334 15	0.000 1	0.000 12	0.274 15	0.000 1	0.513 15	0.000 1	0.000 1	0.280 8	0.194 5	0.897 10	0.000 8	0.000 8	0.000 1	0.000 6	0.000 1	0.108 10	0.279 16	0.189 15	0.141 16	0.059 14	0.272 2	0.307 15	0.445 9	0.003 10	0.000 1	0.353 15	0.000 2	0.026 1	0.000 11	0.581 13	0.001 1	0.000 1	0.000 1	0.093 16	0.002 7	0.000 4	0.000 10	0.000 1
C. Choy, J. Gwak, S. Savarese: 4D Spatio-Temporal ConvNets: Minkowski Convolutional Neural Networks. CVPR 2019
GSTran	0.339 7	0.536 10	0.273 6	0.169 7	0.811 7	0.690 5	0.949 5	0.506 12	0.690 4	0.765 2	0.397 12	0.235 15	0.480 13	0.014 8	0.788 9	0.593 7	0.746 8	0.282 5	0.696 5	0.913 13	0.538 7	0.853 11	0.889 6	0.286 11	0.670 3	0.310 12	0.682 13	0.445 9	0.638 5	0.598 4	0.358 10	0.841 2	0.643 4	0.061 8	0.373 7	0.614 4	0.000 1	0.786 11	0.876 8	0.754 8	0.357 1	0.000 7	0.535 8	0.071 12	0.491 9	0.369 4	0.487 11	0.698 11	0.317 3	0.202 3	0.659 16	0.666 8	0.086 8	0.832 1	0.461 15	0.597 13	0.455 12	0.731 3	0.156 13	0.000 3	0.316 1	0.318 13	0.784 13	0.348 10	0.896 7	0.000 4	0.084 14	0.648 8	0.514 5	0.470 11	0.368 6	0.000 1	0.441 8	0.705 6	0.000 4	0.079 3	0.000 1	0.021 3	0.872 2	0.872 3	0.621 9	0.589 8	0.144 15	0.129 11	0.648 12	0.459 6	0.000 3	0.000 7	0.000 1	0.022 10	0.289 2	0.096 5	0.667 13	0.000 1	0.000 10	0.000 10	0.834 5	0.682 5	0.178 16	0.033 15	0.256 5	0.196 8	0.000 14	0.473 6	0.279 8	0.079 15	0.008 4	0.495 1	0.425 8	0.000 1	0.228 12	0.009 14	0.564 3	0.410 4	0.366 13	0.665 6	0.161 10	0.615 2	0.365 3	0.000 1	0.609 6	0.386 10	0.681 7	0.000 1	0.000 8	0.199 7	0.093 11	0.497 1	0.109 7	0.252 11	0.161 4	0.118 5	0.000 11	0.000 2	0.000 3	0.857 6	0.000 1	0.495 1	0.000 1	0.162 7	0.412 12	0.000 1	0.563 12	0.000 1	0.000 1	0.000 16	0.012 7	0.877 13	0.004 7	0.000 8	0.000 1	0.002 5	0.000 1	0.109 8	0.458 13	0.358 12	0.246 13	0.060 13	0.139 10	0.466 9	0.803 1	0.097 2	0.000 1	0.517 8	0.000 2	0.000 2	0.060 10	0.413 14	0.000 2	0.000 1	0.000 1	0.183 4	0.024 6	0.000 4	0.297 7	0.000 1

PTv3 ScanNet200	0.393 3	0.592 3	0.330 2	0.216 2	0.851 2	0.687 8	0.971 2	0.586 2	0.755 1	0.752 9	0.505 1	0.404 7	0.575 4	0.000 11	0.848 2	0.616 4	0.761 3	0.349 1	0.738 2	0.978 2	0.546 6	0.860 8	0.926 2	0.346 4	0.654 4	0.384 6	0.828 1	0.523 3	0.699 3	0.583 6	0.387 8	0.822 5	0.688 2	0.118 5	0.474 2	0.603 5	0.000 1	0.832 5	0.903 2	0.753 9	0.140 9	0.000 7	0.650 3	0.109 4	0.520 4	0.457 1	0.497 10	0.871 4	0.281 4	0.192 4	0.887 4	0.748 3	0.168 1	0.727 7	0.733 2	0.740 1	0.644 1	0.714 5	0.190 11	0.000 3	0.256 5	0.449 7	0.914 1	0.514 3	0.759 14	0.337 2	0.172 4	0.692 6	0.617 2	0.636 1	0.325 7	0.000 1	0.641 2	0.782 1	0.000 4	0.065 4	0.000 1	0.000 6	0.842 5	0.903 2	0.661 4	0.662 4	0.612 1	0.405 2	0.731 1	0.566 3	0.000 3	0.000 7	0.000 1	0.017 14	0.301 1	0.088 6	0.941 2	0.000 1	0.077 3	0.000 10	0.717 7	0.790 2	0.310 12	0.026 16	0.264 4	0.349 1	0.220 3	0.397 12	0.366 2	0.115 11	0.000 5	0.337 2	0.463 6	0.000 1	0.531 3	0.218 3	0.593 2	0.455 2	0.469 1	0.708 4	0.210 4	0.592 3	0.108 15	0.000 1	0.728 1	0.682 3	0.671 8	0.000 1	0.000 8	0.407 1	0.136 3	0.022 3	0.575 1	0.436 5	0.259 3	0.428 1	0.048 5	0.000 2	0.000 3	0.879 5	0.000 1	0.480 3	0.000 1	0.133 8	0.597 1	0.000 1	0.690 2	0.000 1	0.000 1	0.009 14	0.000 14	0.921 4	0.000 8	0.151 4	0.000 1	0.000 6	0.000 1	0.109 8	0.494 12	0.622 2	0.394 8	0.073 11	0.141 8	0.798 1	0.528 7	0.026 5	0.000 1	0.551 5	0.000 2	0.000 2	0.134 6	0.717 8	0.000 2	0.000 1	0.000 1	0.188 3	0.000 8	0.000 4	0.791 2	0.000 1
Xiaoyang Wu, Li Jiang, Peng-Shuai Wang, Zhijian Liu, Xihui Liu, Yu Qiao, Wanli Ouyang, Tong He, Hengshuang Zhao: Point Transformer V3: Simpler, Faster, Stronger. CVPR 2024 (Oral)

ScanNet200 3D Semantic Label Benchmark