ScanNet200 3D Semantic Label Results

The 3D semantic labeling task involves predicting a semantic labeling of a 3D scan mesh.

Evaluation and metrics

Our evaluation ranks all methods according to the PASCAL VOC intersection-over-union metric (IoU). IoU = TP/(TP+FP+FN), where TP, FP, and FN are the numbers of true positive, false positive, and false negative pixels, respectively. Predicted labels are evaluated per-vertex over the respective 3D scan mesh; for 3D approaches that operate on other representations like grids or points, the predicted labels should be mapped onto the mesh vertices (e.g., one such example for grid to mesh vertices is provided in the evaluation helpers).

This table lists the benchmark results for the ScanNet200 3D semantic label scenario.

Method	avg iou	head iou	common iou	tail iou	backpack	bag	ball	bar	basket	bathroom cabinet	bathroom stall	bathroom stall door	bathroom vanity	bathtub	bed	bench	bicycle	bin	blackboard	blanket	blinds	board	book	bookshelf	bottle	bowl	box	broom	bucket	bulletin board	cabinet	calendar	candle	cart	case of water bottles	ceiling	ceiling light	chair	clock	closet	closet rod	clothes	clothes dryer	coat rack	coffee kettle	coffee maker	coffee table	column	computer tower	copier	couch	counter	cup	curtain	cushion	decoration	desk	dining table	dish rack	dishwasher	door	doorframe	dresser	dumbbell	end table	fan	file cabinet	fire alarm	fire extinguisher	floor	folded chair	hat	headphones	ironing board	jacket	keyboard	keyboard piano	kitchen cabinet	kitchen counter	ladder	lamp	laptop	laundry basket	laundry detergent	laundry hamper	ledge	light	light switch	machine	mailbox	mat	microwave	mini fridge	mirror	monitor	mouse	music stand	nightstand	object	office chair	oven	paper	paper bag	paper cutter	paper towel dispenser	paper towel roll	person	piano	picture	pillow	pipe	plant	plate	plunger	poster	power outlet	power strip	printer	projector	projector screen	rack	radiator	range hood	recycling bin	refrigerator	scale	seat	shelf	shoe	shower	shower curtain	shower curtain rod	shower floor	shower head	shower wall	sign	sink	soap dispenser	sofa chair	speaker	stair rail	stairs	stand	stool	storage bin	storage container	storage organizer	stove	structure	stuffed animal	suitcase	table	telephone	tissue box	toaster	toilet	toilet paper	toilet paper dispenser	towel	trash bin	trash can	tray	tube	tv	tv stand	vacuum cleaner	vent	wall	wardrobe	washing machine	water bottle	water cooler	water pitcher	whiteboard	window	windowsill

GSTran	0.339 7	0.536 10	0.273 6	0.169 7	0.491 8	0.071 11	0.365 3	0.000 1	0.000 4	0.000 1	0.178 15	0.246 13	0.458 12	0.754 8	0.788 8	0.316 1	0.834 4	0.000 3	0.872 2	0.202 3	0.079 3	0.318 12	0.286 10	0.538 7	0.156 12	0.004 7	0.310 11	0.000 1	0.000 3	0.009 13	0.397 11	0.297 7	0.000 1	0.093 10	0.000 2	0.876 7	0.060 12	0.690 4	0.000 7	0.086 7	0.517 7	0.358 9	0.667 13	0.000 1	0.000 2	0.473 6	0.670 3	0.000 10	0.731 3	0.896 6	0.765 2	0.061 8	0.256 5	0.889 6	0.000 1	0.000 10	0.480 12	0.000 7	0.412 11	0.279 8	0.690 4	0.366 12	0.373 6	0.466 9	0.357 1	0.514 5	0.648 8	0.024 5	0.615 2	0.949 5	0.183 4	0.000 1	0.162 7	0.564 3	0.196 7	0.535 8	0.413 13	0.638 5	0.410 4	0.682 4	0.445 9	0.470 11	0.289 2	0.000 1	0.358 11	0.000 8	0.022 9	0.161 4	0.008 4	0.877 12	0.495 1	0.461 14	0.161 9	0.348 10	0.853 11	0.199 6	0.000 1	0.643 4	0.109 7	0.014 8	0.000 4	0.000 1	0.000 8	0.681 6	0.705 6	0.079 14	0.441 8	0.872 3	0.282 5	0.593 7	0.096 5	0.786 10	0.021 3	0.495 1	0.000 1	0.118 4	0.000 3	0.487 10	0.000 2	0.002 5	0.000 1	0.589 8	0.563 11	0.144 14	0.682 12	0.109 7	0.000 1	0.235 14	0.455 11	0.368 5	0.659 15	0.609 6	0.000 15	0.060 9	0.033 14	0.000 1	0.746 7	0.648 11	0.084 14	0.000 9	0.803 1	0.832 1	0.000 1	0.614 4	0.000 13	0.497 1	0.000 1	0.597 12	0.000 2	0.000 1	0.621 9	0.506 11	0.459 6	0.252 10	0.228 11	0.913 12	0.369 4	0.665 5	0.598 4	0.139 10	0.666 8	0.000 1	0.097 2	0.841 2	0.698 10	0.857 6	0.000 1	0.811 7	0.129 11	0.784 12	0.000 1	0.386 10	0.012 7	0.317 3	0.696 5	0.425 7

DITR	0.409 2	0.616 1	0.351 1	0.215 3	0.651 1	0.238 1	0.400 2	0.000 1	0.340 1	0.000 1	0.534 2	0.476 4	0.585 2	0.687 14	0.853 1	0.143 11	0.854 2	0.000 3	0.865 3	0.167 5	0.000 8	0.175 15	0.573 1	0.617 2	0.372 1	0.362 1	0.591 1	0.000 1	0.000 3	0.330 1	0.494 2	0.247 8	0.000 1	0.385 1	0.000 2	0.878 6	0.037 14	0.791 1	0.053 2	0.118 3	0.479 10	0.429 4	0.940 3	0.000 1	0.000 2	0.461 8	0.562 9	0.093 5	0.628 13	0.991 1	0.762 3	0.135 3	0.270 3	0.917 3	0.000 1	0.140 4	0.597 2	0.000 7	0.361 12	0.375 1	0.730 2	0.431 5	0.459 3	0.410 13	0.008 14	0.656 1	0.814 1	0.036 4	0.554 4	0.947 6	0.139 11	0.000 1	0.263 3	0.896 1	0.191 9	0.615 4	0.839 3	0.757 1	0.399 6	0.877 1	0.504 5	0.524 6	0.000 4	0.000 1	0.587 3	0.000 8	0.022 9	0.077 8	0.921 1	0.928 2	0.132 8	0.670 4	0.759 1	0.652 1	0.862 7	0.091 9	0.000 1	0.662 3	0.072 15	0.000 11	0.000 4	0.000 1	0.496 1	0.852 2	0.752 2	0.152 3	0.743 1	0.953 1	0.301 3	0.625 3	0.053 12	0.913 1	0.399 1	0.452 5	0.000 1	0.000 6	0.000 3	0.742 2	0.000 2	0.000 6	0.000 1	0.694 2	0.643 4	0.444 6	0.784 7	0.000 9	0.000 1	0.571 1	0.614 3	0.491 2	0.938 1	0.559 9	0.357 5	0.107 7	0.404 1	0.000 1	0.796 2	0.688 4	0.148 6	0.186 1	0.629 5	0.827 2	0.000 1	0.558 10	0.198 4	0.000 6	0.000 1	0.723 2	0.000 2	0.000 1	0.833 1	0.619 1	0.609 2	0.478 4	0.617 1	0.959 4	0.370 3	0.597 9	0.737 2	0.191 5	0.752 2	0.000 1	0.118 1	0.853 1	0.925 2	0.670 12	0.000 1	0.831 3	0.000 15	0.873 3	0.000 1	0.699 1	0.005 10	0.360 1	0.723 3	0.235 13

BFANet ScanNet200	0.360 4	0.553 6	0.293 4	0.193 4	0.483 9	0.096 5	0.266 6	0.000 1	0.000 4	0.000 1	0.298 12	0.255 11	0.661 1	0.810 5	0.810 3	0.194 8	0.785 5	0.000 3	0.000 15	0.161 6	0.000 8	0.494 6	0.382 2	0.574 4	0.258 4	0.000 8	0.372 8	0.000 1	0.000 3	0.043 11	0.436 7	0.000 9	0.000 1	0.239 2	0.000 2	0.901 3	0.105 1	0.689 5	0.025 4	0.128 2	0.614 2	0.436 1	0.493 15	0.000 1	0.000 2	0.526 4	0.546 11	0.109 4	0.651 12	0.953 4	0.753 7	0.101 6	0.143 11	0.897 4	0.000 1	0.431 1	0.469 13	0.000 7	0.522 5	0.337 5	0.661 7	0.459 2	0.409 4	0.666 4	0.102 11	0.508 6	0.757 4	0.000 7	0.060 12	0.970 3	0.497 1	0.000 1	0.376 2	0.511 4	0.262 4	0.688 2	0.921 1	0.617 8	0.321 12	0.590 5	0.491 6	0.556 3	0.000 4	0.000 1	0.481 4	0.093 1	0.043 2	0.284 2	0.000 5	0.875 13	0.135 7	0.669 5	0.124 11	0.394 6	0.849 12	0.298 2	0.000 1	0.476 15	0.088 12	0.042 5	0.000 4	0.000 1	0.254 3	0.653 9	0.741 4	0.215 1	0.573 5	0.852 6	0.266 8	0.654 1	0.056 11	0.835 3	0.000 6	0.492 2	0.000 1	0.000 6	0.000 3	0.612 8	0.000 2	0.000 6	0.000 1	0.616 5	0.469 15	0.460 4	0.698 11	0.516 2	0.000 1	0.378 7	0.563 4	0.476 3	0.863 5	0.574 8	0.330 6	0.000 10	0.282 4	0.000 1	0.760 4	0.710 2	0.233 1	0.000 9	0.641 4	0.814 3	0.000 1	0.585 8	0.053 10	0.000 6	0.000 1	0.629 9	0.000 2	0.000 1	0.678 3	0.528 10	0.534 4	0.129 12	0.596 2	0.973 3	0.264 10	0.772 2	0.526 8	0.139 10	0.707 4	0.000 1	0.000 11	0.764 12	0.591 14	0.848 7	0.000 1	0.827 4	0.338 3	0.806 11	0.000 1	0.568 7	0.151 6	0.358 2	0.659 10	0.510 4

ALS-MinkowskiNet	0.414 1	0.610 2	0.322 3	0.271 1	0.542 2	0.153 2	0.159 11	0.000 1	0.000 4	0.000 1	0.404 4	0.503 3	0.532 6	0.672 15	0.804 5	0.285 2	0.888 1	0.000 3	0.900 1	0.226 1	0.087 2	0.598 3	0.342 4	0.671 1	0.217 9	0.087 3	0.449 3	0.000 1	0.000 3	0.253 2	0.477 5	1.000 1	0.000 1	0.118 4	0.000 2	0.905 1	0.071 11	0.710 2	0.076 1	0.047 14	0.665 1	0.376 8	0.981 1	0.000 1	0.000 2	0.466 7	0.632 6	0.113 3	0.769 1	0.956 3	0.795 1	0.031 10	0.314 1	0.936 1	0.000 1	0.390 2	0.601 1	0.000 7	0.458 7	0.366 2	0.719 3	0.440 4	0.564 1	0.699 3	0.314 2	0.464 7	0.784 2	0.200 1	0.283 6	0.973 1	0.142 9	0.000 1	0.250 5	0.285 6	0.220 5	0.718 1	0.752 5	0.723 2	0.460 1	0.248 14	0.475 7	0.463 12	0.000 4	0.000 1	0.446 7	0.021 4	0.025 7	0.285 1	0.000 5	0.972 1	0.149 6	0.769 1	0.230 2	0.535 2	0.879 2	0.252 4	0.000 1	0.693 1	0.129 2	0.000 11	0.000 4	0.000 1	0.447 2	0.958 1	0.662 8	0.159 2	0.598 3	0.780 12	0.344 2	0.646 2	0.106 4	0.893 2	0.135 2	0.455 4	0.000 1	0.194 3	0.259 1	0.726 3	0.475 1	0.000 6	0.000 1	0.741 1	0.865 1	0.571 2	0.817 3	0.445 3	0.000 1	0.506 2	0.630 2	0.230 10	0.916 2	0.728 1	0.635 1	1.000 1	0.252 5	0.000 1	0.804 1	0.697 3	0.137 9	0.043 6	0.717 2	0.807 4	0.000 1	0.510 12	0.245 1	0.000 6	0.000 1	0.709 3	0.000 2	0.000 1	0.703 2	0.572 3	0.646 1	0.223 11	0.531 3	0.984 1	0.397 2	0.813 1	0.798 1	0.135 13	0.800 1	0.000 1	0.097 2	0.832 3	0.752 8	0.842 8	0.000 1	0.852 1	0.149 9	0.846 9	0.000 1	0.666 5	0.359 2	0.252 8	0.777 1	0.690 2

PonderV2 ScanNet200	0.346 5	0.552 7	0.270 8	0.175 6	0.497 7	0.070 12	0.239 7	0.000 1	0.000 4	0.000 1	0.232 14	0.412 7	0.584 3	0.842 3	0.804 5	0.212 7	0.540 8	0.000 3	0.433 14	0.106 10	0.000 8	0.590 4	0.290 9	0.548 5	0.243 6	0.000 8	0.356 10	0.000 1	0.000 3	0.062 9	0.398 10	0.441 6	0.000 1	0.104 9	0.000 2	0.888 4	0.076 9	0.682 8	0.030 3	0.094 6	0.491 9	0.351 11	0.869 9	0.000 1	0.063 1	0.403 10	0.700 2	0.000 10	0.660 11	0.881 7	0.761 4	0.050 9	0.186 8	0.852 11	0.000 1	0.007 8	0.570 7	0.100 2	0.565 2	0.326 6	0.641 10	0.431 5	0.290 12	0.621 5	0.259 4	0.408 9	0.622 10	0.125 2	0.082 10	0.950 4	0.179 5	0.000 1	0.263 3	0.424 5	0.193 8	0.558 6	0.880 2	0.545 11	0.375 7	0.727 3	0.445 9	0.499 8	0.000 4	0.000 1	0.475 6	0.002 6	0.034 5	0.083 7	0.000 5	0.924 3	0.290 4	0.636 6	0.115 12	0.400 5	0.874 4	0.186 7	0.000 1	0.611 8	0.128 3	0.113 2	0.000 4	0.000 1	0.000 8	0.584 10	0.636 9	0.103 11	0.385 9	0.843 7	0.283 4	0.603 6	0.080 7	0.825 7	0.000 6	0.377 10	0.000 1	0.000 6	0.000 3	0.457 11	0.000 2	0.000 6	0.000 1	0.574 12	0.608 8	0.481 3	0.792 4	0.394 4	0.000 1	0.357 9	0.503 10	0.261 9	0.817 10	0.504 12	0.304 7	0.472 4	0.115 8	0.000 1	0.750 6	0.677 6	0.202 2	0.000 9	0.509 7	0.729 5	0.000 1	0.519 11	0.000 13	0.000 6	0.000 1	0.620 11	0.000 2	0.000 1	0.660 6	0.560 6	0.486 5	0.384 7	0.346 7	0.952 5	0.247 12	0.667 4	0.436 10	0.269 3	0.691 6	0.000 1	0.010 6	0.787 8	0.889 3	0.880 4	0.000 1	0.810 8	0.336 4	0.860 7	0.000 1	0.606 6	0.009 8	0.248 9	0.681 7	0.392 9
Haoyi Zhu, Honghui Yang, Xiaoyang Wu, Di Huang, Sha Zhang, Xianglong He, Tong He, Hengshuang Zhao, Chunhua Shen, Yu Qiao, Wanli Ouyang: PonderV2: Pave the Way for 3D Foundataion Model with A Universal Pre-training Paradigm.
PTv3 ScanNet200	0.393 3	0.592 3	0.330 2	0.216 2	0.520 3	0.109 4	0.108 14	0.000 1	0.337 2	0.000 1	0.310 11	0.394 8	0.494 11	0.753 9	0.848 2	0.256 4	0.717 6	0.000 3	0.842 4	0.192 4	0.065 4	0.449 7	0.346 3	0.546 6	0.190 10	0.000 8	0.384 6	0.000 1	0.000 3	0.218 3	0.505 1	0.791 2	0.000 1	0.136 3	0.000 2	0.903 2	0.073 10	0.687 7	0.000 7	0.168 1	0.551 4	0.387 7	0.941 2	0.000 1	0.000 2	0.397 11	0.654 4	0.000 10	0.714 5	0.759 13	0.752 8	0.118 5	0.264 4	0.926 2	0.000 1	0.048 5	0.575 4	0.000 7	0.597 1	0.366 2	0.755 1	0.469 1	0.474 2	0.798 1	0.140 8	0.617 2	0.692 6	0.000 7	0.592 3	0.971 2	0.188 3	0.000 1	0.133 8	0.593 2	0.349 1	0.650 3	0.717 7	0.699 3	0.455 2	0.790 2	0.523 3	0.636 1	0.301 1	0.000 1	0.622 2	0.000 8	0.017 13	0.259 3	0.000 5	0.921 4	0.337 2	0.733 2	0.210 3	0.514 3	0.860 8	0.407 1	0.000 1	0.688 2	0.109 7	0.000 11	0.000 4	0.000 1	0.151 4	0.671 7	0.782 1	0.115 10	0.641 2	0.903 2	0.349 1	0.616 4	0.088 6	0.832 5	0.000 6	0.480 3	0.000 1	0.428 1	0.000 3	0.497 9	0.000 2	0.000 6	0.000 1	0.662 4	0.690 2	0.612 1	0.828 1	0.575 1	0.000 1	0.404 6	0.644 1	0.325 6	0.887 4	0.728 1	0.009 13	0.134 6	0.026 15	0.000 1	0.761 3	0.731 1	0.172 4	0.077 3	0.528 6	0.727 6	0.000 1	0.603 5	0.220 3	0.022 3	0.000 1	0.740 1	0.000 2	0.000 1	0.661 4	0.586 2	0.566 3	0.436 5	0.531 3	0.978 2	0.457 1	0.708 3	0.583 6	0.141 8	0.748 3	0.000 1	0.026 4	0.822 4	0.871 4	0.879 5	0.000 1	0.851 2	0.405 2	0.914 1	0.000 1	0.682 3	0.000 13	0.281 4	0.738 2	0.463 6
Xiaoyang Wu, Li Jiang, Peng-Shuai Wang, Zhijian Liu, Xihui Liu, Yu Qiao, Wanli Ouyang, Tong He, Hengshuang Zhao: Point Transformer V3: Simpler, Faster, Stronger. CVPR 2024 (Oral)
L3DETR-ScanNet_200	0.336 8	0.533 11	0.279 5	0.155 8	0.508 5	0.073 10	0.101 15	0.000 1	0.058 3	0.000 1	0.294 13	0.233 14	0.548 4	0.927 1	0.788 8	0.264 3	0.463 9	0.000 3	0.638 10	0.098 13	0.014 6	0.411 9	0.226 11	0.525 11	0.225 8	0.010 5	0.397 5	0.000 1	0.000 3	0.192 5	0.380 12	0.598 4	0.000 1	0.117 5	0.000 2	0.883 5	0.082 7	0.689 5	0.000 7	0.032 15	0.549 5	0.417 5	0.910 5	0.000 1	0.000 2	0.448 9	0.613 8	0.000 10	0.697 7	0.960 2	0.759 5	0.158 2	0.293 2	0.883 7	0.000 1	0.312 3	0.583 3	0.079 4	0.422 10	0.068 15	0.660 8	0.418 7	0.298 10	0.430 11	0.114 9	0.526 4	0.776 3	0.051 3	0.679 1	0.946 7	0.152 7	0.000 1	0.183 6	0.000 13	0.211 6	0.511 10	0.409 14	0.565 10	0.355 8	0.448 7	0.512 4	0.557 2	0.000 4	0.000 1	0.420 8	0.000 8	0.007 15	0.104 5	0.000 5	0.125 15	0.330 3	0.514 12	0.146 10	0.321 11	0.860 8	0.174 8	0.000 1	0.629 6	0.075 13	0.000 11	0.000 4	0.000 1	0.002 7	0.671 7	0.712 5	0.141 6	0.339 10	0.856 5	0.261 10	0.529 10	0.067 9	0.835 3	0.000 6	0.369 12	0.000 1	0.259 2	0.000 3	0.629 5	0.000 2	0.487 1	0.000 1	0.579 11	0.646 3	0.107 15	0.720 10	0.122 6	0.000 1	0.333 11	0.505 9	0.303 8	0.908 3	0.503 13	0.565 2	0.074 8	0.324 2	0.000 1	0.740 8	0.661 8	0.109 11	0.000 9	0.427 11	0.563 15	0.000 1	0.579 9	0.108 7	0.000 6	0.000 1	0.664 5	0.000 2	0.000 1	0.641 7	0.539 8	0.416 7	0.515 2	0.256 8	0.940 10	0.312 6	0.209 15	0.620 3	0.138 12	0.636 11	0.000 1	0.000 11	0.775 11	0.861 5	0.765 10	0.000 1	0.801 10	0.119 12	0.860 7	0.000 1	0.687 2	0.001 12	0.192 14	0.679 9	0.699 1
Yanmin Wu, Qiankun Gao, Renrui Zhang, Jian Zhang: Language-Assisted 3D Scene Understanding. arXiv23.12
OA-CNN-L_ScanNet200	0.333 9	0.558 4	0.269 9	0.124 11	0.448 13	0.080 8	0.272 5	0.000 1	0.000 4	0.000 1	0.342 7	0.515 2	0.524 7	0.713 13	0.789 7	0.158 10	0.384 10	0.000 3	0.806 6	0.125 7	0.000 8	0.496 5	0.332 6	0.498 14	0.227 7	0.024 4	0.474 2	0.000 1	0.003 2	0.071 8	0.487 3	0.000 9	0.000 1	0.110 7	0.000 2	0.876 7	0.013 15	0.703 3	0.000 7	0.076 9	0.473 11	0.355 10	0.906 6	0.000 1	0.000 2	0.476 5	0.706 1	0.000 10	0.672 10	0.835 11	0.748 9	0.015 14	0.223 7	0.860 9	0.000 1	0.000 10	0.572 6	0.000 7	0.509 6	0.313 7	0.662 5	0.398 11	0.396 5	0.411 12	0.276 3	0.527 3	0.711 5	0.000 7	0.076 11	0.946 7	0.166 6	0.000 1	0.022 9	0.160 7	0.183 11	0.493 11	0.699 8	0.637 6	0.403 5	0.330 11	0.406 11	0.526 5	0.024 3	0.000 1	0.392 10	0.000 8	0.016 14	0.000 10	0.196 3	0.915 6	0.112 10	0.557 8	0.197 4	0.352 9	0.877 3	0.000 10	0.000 1	0.592 12	0.103 10	0.000 11	0.067 1	0.000 1	0.089 5	0.735 5	0.625 10	0.130 9	0.568 6	0.836 8	0.271 6	0.534 9	0.043 13	0.799 8	0.001 5	0.445 6	0.000 1	0.000 6	0.024 2	0.661 4	0.000 2	0.262 2	0.000 1	0.591 7	0.517 13	0.373 8	0.788 6	0.021 8	0.000 1	0.455 3	0.517 8	0.320 7	0.823 9	0.200 15	0.001 14	0.150 5	0.100 9	0.000 1	0.736 9	0.668 7	0.103 12	0.052 5	0.662 3	0.720 7	0.000 1	0.602 6	0.112 6	0.002 5	0.000 1	0.637 8	0.000 2	0.000 1	0.621 9	0.569 4	0.398 9	0.412 6	0.234 9	0.949 6	0.363 5	0.492 13	0.495 9	0.251 4	0.665 9	0.000 1	0.001 10	0.805 6	0.833 6	0.794 9	0.000 1	0.821 5	0.314 5	0.843 10	0.000 1	0.560 8	0.245 3	0.262 6	0.713 4	0.370 11

PPT-SpUNet-F.T.	0.332 10	0.556 5	0.270 7	0.123 12	0.519 4	0.091 6	0.349 4	0.000 1	0.000 4	0.000 1	0.339 8	0.383 9	0.498 10	0.833 4	0.807 4	0.241 5	0.584 7	0.000 3	0.755 7	0.124 8	0.000 8	0.608 2	0.330 7	0.530 10	0.314 2	0.000 8	0.374 7	0.000 1	0.000 3	0.197 4	0.459 6	0.000 9	0.000 1	0.117 5	0.000 2	0.876 7	0.095 2	0.682 8	0.000 7	0.086 7	0.518 6	0.433 2	0.930 4	0.000 1	0.000 2	0.563 3	0.542 12	0.077 7	0.715 4	0.858 9	0.756 6	0.008 15	0.171 10	0.874 8	0.000 1	0.039 6	0.550 8	0.000 7	0.545 4	0.256 9	0.657 9	0.453 3	0.351 8	0.449 10	0.213 5	0.392 10	0.611 11	0.000 7	0.037 13	0.946 7	0.138 12	0.000 1	0.000 11	0.063 9	0.308 2	0.537 7	0.796 4	0.673 4	0.323 11	0.392 9	0.400 12	0.509 7	0.000 4	0.000 1	0.649 1	0.000 8	0.023 8	0.000 10	0.000 5	0.914 7	0.002 14	0.506 13	0.163 8	0.359 8	0.872 5	0.000 10	0.000 1	0.623 7	0.112 5	0.001 10	0.000 4	0.000 1	0.021 6	0.753 3	0.565 14	0.150 4	0.579 4	0.806 10	0.267 7	0.616 4	0.042 14	0.783 11	0.000 6	0.374 11	0.000 1	0.000 6	0.000 3	0.620 7	0.000 2	0.000 6	0.000 1	0.572 13	0.634 5	0.350 9	0.792 4	0.000 9	0.000 1	0.376 8	0.535 6	0.378 4	0.855 6	0.672 3	0.074 10	0.000 10	0.185 7	0.000 1	0.727 10	0.660 9	0.076 15	0.000 9	0.432 10	0.646 9	0.000 1	0.594 7	0.006 12	0.000 6	0.000 1	0.658 6	0.000 2	0.000 1	0.661 4	0.549 7	0.300 12	0.291 9	0.045 12	0.942 9	0.304 7	0.600 8	0.572 7	0.135 13	0.695 5	0.000 1	0.008 8	0.793 7	0.942 1	0.899 2	0.000 1	0.816 6	0.181 7	0.897 2	0.000 1	0.679 4	0.223 4	0.264 5	0.691 6	0.345 12
Xiaoyang Wu, Zhuotao Tian, Xin Wen, Bohao Peng, Xihui Liu, Kaicheng Yu, Hengshuang Zhao: Towards Large-scale 3D Representation Learning with Multi-dataset Point Prompt Training. CVPR 2024
OctFormer ScanNet200	0.326 11	0.539 9	0.265 10	0.131 10	0.499 6	0.110 3	0.522 1	0.000 1	0.000 4	0.000 1	0.318 10	0.427 6	0.455 13	0.743 11	0.765 11	0.175 9	0.842 3	0.000 3	0.828 5	0.204 2	0.033 5	0.429 8	0.335 5	0.601 3	0.312 3	0.000 8	0.357 9	0.000 1	0.000 3	0.047 10	0.423 8	0.000 9	0.000 1	0.105 8	0.000 2	0.873 10	0.079 8	0.670 11	0.000 7	0.117 4	0.471 12	0.432 3	0.829 10	0.000 1	0.000 2	0.584 2	0.417 15	0.089 6	0.684 9	0.837 10	0.705 14	0.021 13	0.178 9	0.892 5	0.000 1	0.028 7	0.505 10	0.000 7	0.457 8	0.200 12	0.662 5	0.412 9	0.244 13	0.496 7	0.000 15	0.451 8	0.626 9	0.000 7	0.102 9	0.943 10	0.138 12	0.000 1	0.000 11	0.149 8	0.291 3	0.534 9	0.722 6	0.632 7	0.331 10	0.253 13	0.453 8	0.487 9	0.000 4	0.000 1	0.479 5	0.000 8	0.022 9	0.000 10	0.000 5	0.900 8	0.128 9	0.684 3	0.164 7	0.413 4	0.854 10	0.000 10	0.000 1	0.512 14	0.074 14	0.003 9	0.000 4	0.000 1	0.000 8	0.469 13	0.613 11	0.132 8	0.529 7	0.871 4	0.227 14	0.582 8	0.026 15	0.787 9	0.000 6	0.339 13	0.000 1	0.000 6	0.000 3	0.626 6	0.000 2	0.029 4	0.000 1	0.587 9	0.612 7	0.411 7	0.724 9	0.000 9	0.000 1	0.407 5	0.552 5	0.513 1	0.849 7	0.655 4	0.408 3	0.000 10	0.296 3	0.000 1	0.686 13	0.645 12	0.145 7	0.022 7	0.414 12	0.633 10	0.000 1	0.637 1	0.224 2	0.000 6	0.000 1	0.650 7	0.000 2	0.000 1	0.622 8	0.535 9	0.343 10	0.483 3	0.230 10	0.943 8	0.289 8	0.618 7	0.596 5	0.140 9	0.679 7	0.000 1	0.022 5	0.783 9	0.620 12	0.906 1	0.000 1	0.806 9	0.137 10	0.865 4	0.000 1	0.378 11	0.000 13	0.168 15	0.680 8	0.227 14
Peng-Shuai Wang: OctFormer: Octree-based Transformers for 3D Point Clouds. SIGGRAPH 2023
CeCo	0.340 6	0.551 8	0.247 11	0.181 5	0.475 11	0.057 15	0.142 12	0.000 1	0.000 4	0.000 1	0.387 5	0.463 5	0.499 9	0.924 2	0.774 10	0.213 6	0.257 11	0.000 3	0.546 13	0.100 11	0.006 7	0.615 1	0.177 15	0.534 8	0.246 5	0.000 8	0.400 4	0.000 1	0.338 1	0.006 14	0.484 4	0.609 3	0.000 1	0.083 11	0.000 2	0.873 10	0.089 5	0.661 12	0.000 7	0.048 13	0.560 3	0.408 6	0.892 7	0.000 1	0.000 2	0.586 1	0.616 7	0.000 10	0.692 8	0.900 5	0.721 10	0.162 1	0.228 6	0.860 9	0.000 1	0.000 10	0.575 4	0.083 3	0.550 3	0.347 4	0.624 11	0.410 10	0.360 7	0.740 2	0.109 10	0.321 13	0.660 7	0.000 7	0.121 7	0.939 11	0.143 8	0.000 1	0.400 1	0.003 11	0.190 10	0.564 5	0.652 9	0.615 9	0.421 3	0.304 12	0.579 1	0.547 4	0.000 4	0.000 1	0.296 12	0.000 8	0.030 6	0.096 6	0.000 5	0.916 5	0.037 11	0.551 9	0.171 6	0.376 7	0.865 6	0.286 3	0.000 1	0.633 5	0.102 11	0.027 6	0.011 3	0.000 1	0.000 8	0.474 12	0.742 3	0.133 7	0.311 11	0.824 9	0.242 11	0.503 12	0.068 8	0.828 6	0.000 6	0.429 7	0.000 1	0.063 5	0.000 3	0.781 1	0.000 2	0.000 6	0.000 1	0.665 3	0.633 6	0.450 5	0.818 2	0.000 9	0.000 1	0.429 4	0.532 7	0.226 11	0.825 8	0.510 11	0.377 4	0.709 2	0.079 11	0.000 1	0.753 5	0.683 5	0.102 13	0.063 4	0.401 14	0.620 12	0.000 1	0.619 2	0.000 13	0.000 6	0.000 1	0.595 13	0.000 2	0.000 1	0.345 12	0.564 5	0.411 8	0.603 1	0.384 6	0.945 7	0.266 9	0.643 6	0.367 12	0.304 1	0.663 10	0.000 1	0.010 6	0.726 13	0.767 7	0.898 3	0.000 1	0.784 11	0.435 1	0.861 6	0.000 1	0.447 9	0.000 13	0.257 7	0.656 11	0.377 10
Zhisheng Zhong, Jiequan Cui, Yibo Yang, Xiaoyang Wu, Xiaojuan Qi, Xiangyu Zhang, Jiaya Jia: Understanding Imbalanced Semantic Segmentation Through Neural Collapse. CVPR 2023
AWCS	0.305 12	0.508 12	0.225 12	0.142 9	0.463 12	0.063 13	0.195 9	0.000 1	0.000 4	0.000 1	0.467 3	0.551 1	0.504 8	0.773 6	0.764 12	0.142 12	0.029 15	0.000 3	0.626 11	0.100 11	0.000 8	0.360 10	0.179 13	0.507 13	0.137 13	0.006 6	0.300 12	0.000 1	0.000 3	0.172 7	0.364 13	0.512 5	0.000 1	0.056 12	0.000 2	0.865 12	0.093 4	0.634 15	0.000 7	0.071 11	0.396 13	0.296 14	0.876 8	0.000 1	0.000 2	0.373 12	0.436 14	0.063 9	0.749 2	0.877 8	0.721 10	0.131 4	0.124 12	0.804 13	0.000 1	0.000 10	0.515 9	0.010 6	0.452 9	0.252 10	0.578 12	0.417 8	0.179 15	0.484 8	0.171 6	0.337 12	0.606 12	0.000 7	0.115 8	0.937 12	0.142 9	0.000 1	0.008 10	0.000 13	0.157 14	0.484 12	0.402 15	0.501 13	0.339 9	0.553 6	0.529 2	0.478 10	0.000 4	0.000 1	0.404 9	0.001 7	0.022 9	0.077 8	0.000 5	0.894 10	0.219 5	0.628 7	0.093 13	0.305 12	0.886 1	0.233 5	0.000 1	0.603 9	0.112 5	0.023 7	0.000 4	0.000 1	0.000 8	0.741 4	0.664 7	0.097 12	0.253 12	0.782 11	0.264 9	0.523 11	0.154 1	0.707 14	0.000 6	0.411 8	0.000 1	0.000 6	0.000 3	0.332 14	0.000 2	0.000 6	0.000 1	0.602 6	0.595 9	0.185 12	0.656 14	0.159 5	0.000 1	0.355 10	0.424 13	0.154 13	0.729 12	0.516 10	0.220 9	0.620 3	0.084 10	0.000 1	0.707 12	0.651 10	0.173 3	0.014 8	0.381 15	0.582 13	0.000 1	0.619 2	0.049 11	0.000 6	0.000 1	0.702 4	0.000 2	0.000 1	0.302 14	0.489 13	0.317 11	0.334 8	0.392 5	0.922 11	0.254 11	0.533 12	0.394 11	0.129 15	0.613 13	0.000 1	0.000 11	0.820 5	0.649 11	0.749 11	0.000 1	0.782 12	0.282 6	0.863 5	0.000 1	0.288 14	0.006 9	0.220 11	0.633 12	0.542 3

LGround	0.272 13	0.485 13	0.184 13	0.106 13	0.476 10	0.077 9	0.218 8	0.000 1	0.000 4	0.000 1	0.547 1	0.295 10	0.540 5	0.746 10	0.745 13	0.058 14	0.112 14	0.005 1	0.658 9	0.077 15	0.000 8	0.322 11	0.178 14	0.512 12	0.190 10	0.199 2	0.277 13	0.000 1	0.000 3	0.173 6	0.399 9	0.000 9	0.000 1	0.039 14	0.000 2	0.858 13	0.085 6	0.676 10	0.002 5	0.103 5	0.498 8	0.323 12	0.703 11	0.000 1	0.000 2	0.296 13	0.549 10	0.216 1	0.702 6	0.768 12	0.718 12	0.028 11	0.092 14	0.786 14	0.000 1	0.000 10	0.453 14	0.022 5	0.251 15	0.252 10	0.572 13	0.348 13	0.321 9	0.514 6	0.063 12	0.279 14	0.552 13	0.000 7	0.019 14	0.932 13	0.132 14	0.000 1	0.000 11	0.000 13	0.156 15	0.457 13	0.623 10	0.518 12	0.265 14	0.358 10	0.381 13	0.395 13	0.000 4	0.000 1	0.127 15	0.012 5	0.051 1	0.000 10	0.000 5	0.886 11	0.014 12	0.437 15	0.179 5	0.244 13	0.826 13	0.000 10	0.000 1	0.599 10	0.136 1	0.085 3	0.000 4	0.000 1	0.000 8	0.565 11	0.612 12	0.143 5	0.207 13	0.566 13	0.232 13	0.446 13	0.127 2	0.708 13	0.000 6	0.384 9	0.000 1	0.000 6	0.000 3	0.402 12	0.000 2	0.059 3	0.000 1	0.525 15	0.566 10	0.229 11	0.659 13	0.000 9	0.000 1	0.265 12	0.446 12	0.147 14	0.720 14	0.597 7	0.066 11	0.000 10	0.187 6	0.000 1	0.726 11	0.467 15	0.134 10	0.000 9	0.413 13	0.629 11	0.000 1	0.363 14	0.055 9	0.022 3	0.000 1	0.626 10	0.000 2	0.000 1	0.323 13	0.479 15	0.154 14	0.117 13	0.028 14	0.901 13	0.243 13	0.415 14	0.295 15	0.143 7	0.610 14	0.000 1	0.000 11	0.777 10	0.397 15	0.324 14	0.000 1	0.778 13	0.179 8	0.702 14	0.000 1	0.274 15	0.404 1	0.233 10	0.622 13	0.398 8
David Rozenberszki, Or Litany, Angela Dai: Language-Grounded Indoor 3D Semantic Segmentation in the Wild. arXiv
CSC-Pretrain	0.249 15	0.455 15	0.171 14	0.079 15	0.418 14	0.059 14	0.186 10	0.000 1	0.000 4	0.000 1	0.335 9	0.250 12	0.316 14	0.766 7	0.697 15	0.142 12	0.170 12	0.003 2	0.553 12	0.112 9	0.097 1	0.201 14	0.186 12	0.476 15	0.081 14	0.000 8	0.216 15	0.000 1	0.000 3	0.001 15	0.314 15	0.000 9	0.000 1	0.055 13	0.000 2	0.832 15	0.094 3	0.659 13	0.002 5	0.076 9	0.310 15	0.293 15	0.664 14	0.000 1	0.000 2	0.175 15	0.634 5	0.130 2	0.552 15	0.686 15	0.700 15	0.076 7	0.110 13	0.770 15	0.000 1	0.000 10	0.430 15	0.000 7	0.319 13	0.166 13	0.542 15	0.327 14	0.205 14	0.332 14	0.052 13	0.375 11	0.444 15	0.000 7	0.012 15	0.930 15	0.203 2	0.000 1	0.000 11	0.046 10	0.175 12	0.413 14	0.592 11	0.471 14	0.299 13	0.152 15	0.340 14	0.247 15	0.000 4	0.000 1	0.225 13	0.058 3	0.037 3	0.000 10	0.207 2	0.862 14	0.014 12	0.548 10	0.033 14	0.233 14	0.816 14	0.000 10	0.000 1	0.542 13	0.123 4	0.121 1	0.019 2	0.000 1	0.000 8	0.463 14	0.454 15	0.045 15	0.128 15	0.557 14	0.235 12	0.441 14	0.063 10	0.484 15	0.000 6	0.308 15	0.000 1	0.000 6	0.000 3	0.318 15	0.000 2	0.000 6	0.000 1	0.545 14	0.543 12	0.164 13	0.734 8	0.000 9	0.000 1	0.215 15	0.371 14	0.198 12	0.743 11	0.205 14	0.062 12	0.000 10	0.079 11	0.000 1	0.683 14	0.547 14	0.142 8	0.000 9	0.441 9	0.579 14	0.000 1	0.464 13	0.098 8	0.041 2	0.000 1	0.590 14	0.000 2	0.000 1	0.373 11	0.494 12	0.174 13	0.105 14	0.001 15	0.895 14	0.222 14	0.537 11	0.307 14	0.180 6	0.625 12	0.000 1	0.000 11	0.591 15	0.609 13	0.398 13	0.000 1	0.766 15	0.014 14	0.638 15	0.000 1	0.377 12	0.004 11	0.206 13	0.609 15	0.465 5
Ji Hou, Benjamin Graham, Matthias Nießner, Saining Xie: Exploring Data-Efficient 3D Scene Understanding with Contrastive Scene Contexts. CVPR 2021
Minkowski 34D	0.253 14	0.463 14	0.154 15	0.102 14	0.381 15	0.084 7	0.134 13	0.000 1	0.000 4	0.000 1	0.386 6	0.141 15	0.279 15	0.737 12	0.703 14	0.014 15	0.164 13	0.000 3	0.663 8	0.092 14	0.000 8	0.224 13	0.291 8	0.531 9	0.056 15	0.000 8	0.242 14	0.000 1	0.000 3	0.013 12	0.331 14	0.000 9	0.000 1	0.035 15	0.001 1	0.858 13	0.059 13	0.650 14	0.000 7	0.056 12	0.353 14	0.299 13	0.670 12	0.000 1	0.000 2	0.284 14	0.484 13	0.071 8	0.594 14	0.720 14	0.710 13	0.027 12	0.068 15	0.813 12	0.000 1	0.005 9	0.492 11	0.164 1	0.274 14	0.111 14	0.571 14	0.307 15	0.293 11	0.307 15	0.150 7	0.163 15	0.531 14	0.002 6	0.545 5	0.932 13	0.093 15	0.000 1	0.000 11	0.002 12	0.159 13	0.368 15	0.581 12	0.440 15	0.228 15	0.406 8	0.282 15	0.294 14	0.000 4	0.000 1	0.189 14	0.060 2	0.036 4	0.000 10	0.000 5	0.897 9	0.000 15	0.525 11	0.025 15	0.205 15	0.771 15	0.000 10	0.000 1	0.593 11	0.108 9	0.044 4	0.000 4	0.000 1	0.000 8	0.282 15	0.589 13	0.094 13	0.169 14	0.466 15	0.227 14	0.419 15	0.125 3	0.757 12	0.002 4	0.334 14	0.000 1	0.000 6	0.000 3	0.357 13	0.000 2	0.000 6	0.000 1	0.582 10	0.513 14	0.337 10	0.612 15	0.000 9	0.000 1	0.250 13	0.352 15	0.136 15	0.724 13	0.655 4	0.280 8	0.000 10	0.046 13	0.000 1	0.606 15	0.559 13	0.159 5	0.102 2	0.445 8	0.655 8	0.000 1	0.310 15	0.117 5	0.000 6	0.000 1	0.581 15	0.026 1	0.000 1	0.265 15	0.483 14	0.084 15	0.097 15	0.044 13	0.865 15	0.142 15	0.588 10	0.351 13	0.272 2	0.596 15	0.000 1	0.003 9	0.622 14	0.720 9	0.096 15	0.000 1	0.771 14	0.016 13	0.772 13	0.000 1	0.302 13	0.194 5	0.214 12	0.621 14	0.197 15
C. Choy, J. Gwak, S. Savarese: 4D Spatio-Temporal ConvNets: Minkowski Convolutional Neural Networks. CVPR 2019

ScanNet200 3D Semantic Label Benchmark