ScanNet200 3D Semantic Instance Results

The 3D semantic instance prediction task involves detecting and segmenting the object in an 3D scan mesh.

Evaluation and metrics

Similarly to the ScanNet benchmark in ScanNet200 our evaluation ranks all methods according to the average precision for each class. We report the mean average precision AP at overlap 0.25 (AP 25%), overlap 0.5 (AP 50%), and over overlaps in the range [0.5:0.95:0.05] (AP) for all 200 categories. Note that multiple predictions of the same ground truth instance are penalized as false positives.

This table lists the benchmark results for the ScanNet200 3D semantic instance scenario.

Method	avg ap	head ap	common ap	tail ap	backpack	bag	ball	bar	basket	bathroom cabinet	bathroom stall	bathroom stall door	bathroom vanity	bathtub	bed	bench	bicycle	bin	blackboard	blanket	blinds	board	book	bookshelf	bottle	bowl	box	broom	bucket	bulletin board	cabinet	calendar	candle	cart	case of water bottles	ceiling	ceiling light	chair	clock	closet	closet rod	clothes	clothes dryer	coat rack	coffee kettle	coffee maker	coffee table	column	computer tower	copier	couch	counter	cup	curtain	cushion	decoration	desk	dining table	dish rack	dishwasher	door	doorframe	dresser	dumbbell	end table	fan	file cabinet	fire alarm	fire extinguisher	folded chair	hat	headphones	ironing board	jacket	keyboard	keyboard piano	kitchen cabinet	kitchen counter	ladder	lamp	laptop	laundry basket	laundry detergent	laundry hamper	ledge	light	light switch	machine	mailbox	mat	microwave	mini fridge	mirror	monitor	mouse	music stand	nightstand	object	office chair	oven	paper	paper bag	paper cutter	paper towel dispenser	paper towel roll	person	piano	picture	pillow	pipe	plant	plate	plunger	poster	power outlet	power strip	printer	projector	projector screen	rack	radiator	range hood	recycling bin	refrigerator	scale	seat	shelf	shoe	shower	shower curtain	shower curtain rod	shower floor	shower head	shower wall	sign	sink	soap dispenser	sofa chair	speaker	stair rail	stairs	stand	stool	storage bin	storage container	storage organizer	stove	structure	stuffed animal	suitcase	table	telephone	tissue box	toaster	toilet	toilet paper	toilet paper dispenser	towel	trash bin	trash can	tray	tube	tv	tv stand	vacuum cleaner	vent	wardrobe	washing machine	water bottle	water cooler	water pitcher	whiteboard	window	windowsill

Mask3D Scannet200	0.278 1	0.383 1	0.263 1	0.168 1	0.506 1	0.068 1	0.083 5	0.000 1	0.000 1	0.000 1	0.023 2	0.149 4	0.302 1	0.778 3	0.647 1	0.569 1	0.500 1	0.031 1	0.014 2	0.027 2	0.173 1	0.311 1	0.195 1	0.351 3	0.258 1	0.000 1	0.082 1	0.000 1	0.003 1	0.037 2	0.391 1	1.000 1	0.000 1	0.014 2	0.000 1	0.572 1	0.573 1	0.661 2	0.000 1	0.003 1	0.005 4	0.082 4	0.349 1	0.028 1	0.000 1	0.605 1	0.515 3	0.509 1	0.711 1	1.000 1	0.665 3	0.015 2	0.107 1	0.402 4	0.201 1	0.083 1	0.304 1	0.759 1	0.491 1	0.378 1	0.572 1	0.119 1	0.277 1	0.013 5	0.089 1	0.283 2	0.411 2	0.267 1	0.006 3	0.156 2	0.000 1	0.116 1	0.000 1	0.105 3	0.556 1	0.514 1	0.396 1	0.275 1	0.323 1	0.215 2	0.380 1	0.000 1	0.000 1	0.356 1	0.005 2	0.208 1	0.325 1	0.000 1	0.050 4	0.400 1	0.561 1	0.258 1	0.179 1	0.722 1	0.147 1	0.000 1	0.586 1	0.063 1	0.015 2	0.139 1	0.016 1	0.028 1	0.708 1	0.418 2	0.016 1	0.048 3	0.500 1	0.489 1	0.349 1	0.001 2	0.475 2	0.086 1	0.365 1	0.000 1	0.500 1	0.000 2	0.323 3	0.000 1	0.222 1	0.000 1	0.497 1	0.626 1	0.044 3	0.795 1	0.556 1	0.008 2	0.121 4	0.265 1	0.667 1	0.789 1	0.568 2	0.579 1	0.444 1	0.176 1	0.004 2	0.474 1	0.752 1	0.233 2	0.014 2	0.002 4	0.570 2	0.007 1	0.377 5	0.000 1	0.000 2	0.000 2	0.337 1	0.000 1	0.000 1	0.384 1	0.465 1	0.287 1	0.085 1	0.048 2	0.816 5	0.467 1	0.810 1	0.377 1	0.415 1	0.744 1	0.000 1	0.004 1	0.724 1	0.778 2	0.590 1	0.000 1	0.032 2	0.441 1	0.000 1	0.377 2	0.391 1	0.427 1	0.321 1	0.192 1
Jonas Schult, Francis Engelmann, Alexander Hermans, Or Litany, Siyu Tang, Bastian Leibe: Mask3D for 3D Semantic Instance Segmentation. ICRA 2023
TD3D Scannet200	0.211 2	0.332 2	0.177 2	0.103 2	0.337 2	0.036 2	0.222 4	0.000 1	0.000 1	0.000 1	0.031 1	0.342 1	0.093 4	0.852 1	0.452 4	0.559 2	0.000 2	0.004 2	0.000 3	0.039 1	0.000 2	0.309 2	0.047 4	0.380 2	0.028 2	0.000 1	0.080 2	0.000 1	0.000 2	0.147 1	0.192 3	0.000 2	0.000 1	0.083 1	0.000 1	0.395 2	0.039 4	0.662 1	0.000 1	0.000 2	0.074 1	0.135 1	0.296 2	0.000 2	0.000 1	0.231 5	0.646 1	0.139 3	0.633 3	1.000 1	0.705 1	0.048 1	0.088 2	0.439 2	0.184 2	0.039 2	0.266 2	0.551 2	0.260 3	0.026 5	0.463 2	0.046 3	0.252 2	0.249 3	0.083 2	0.372 1	0.411 1	0.000 2	0.414 1	0.323 1	0.000 1	0.052 2	0.000 1	0.157 1	0.278 2	0.278 2	0.237 2	0.015 2	0.321 2	0.253 1	0.060 4	0.000 1	0.000 1	0.272 2	0.008 1	0.169 2	0.032 2	0.000 1	0.404 1	0.356 2	0.283 2	0.073 3	0.028 5	0.617 2	0.038 2	0.000 1	0.494 2	0.037 2	0.215 1	0.083 2	0.000 2	0.003 2	0.486 3	0.694 1	0.000 2	0.040 4	0.083 4	0.219 5	0.209 2	0.007 1	0.483 1	0.000 2	0.125 4	0.000 1	0.150 2	0.014 1	0.544 1	0.000 1	0.000 2	0.000 1	0.260 5	0.143 5	0.200 1	0.610 3	0.028 2	0.032 1	0.145 1	0.059 2	0.046 4	0.740 2	0.806 1	0.543 2	0.000 2	0.108 2	0.008 1	0.222 5	0.669 2	0.456 1	0.074 1	0.224 1	0.586 1	0.006 2	0.451 2	0.000 1	0.002 1	0.889 1	0.282 2	0.000 1	0.000 1	0.252 2	0.413 2	0.111 2	0.074 2	0.240 1	0.893 1	0.266 2	0.144 3	0.293 2	0.281 2	0.604 2	0.000 1	0.000 2	0.379 5	0.963 1	0.250 4	0.000 1	0.160 1	0.420 2	0.000 1	0.343 3	0.207 2	0.079 5	0.315 2	0.052 2
Maksim Kolodiazhnyi, Anna Vorontsova, Anton Konushin, Danila Rukhovich: Top-Down Beats Bottom-Up in 3D Instance Segmentation. WACV 2024
CSC-Pretrain Inst.	0.123 5	0.223 5	0.082 5	0.046 4	0.308 3	0.004 3	0.278 1	0.000 1	0.000 1	0.000 1	0.000 5	0.032 5	0.105 3	0.537 4	0.348 5	0.378 4	0.000 2	0.000 3	0.000 3	0.000 5	0.000 2	0.000 5	0.037 5	0.323 4	0.000 4	0.000 1	0.013 5	0.000 1	0.000 2	0.000 3	0.235 2	0.000 2	0.000 1	0.000 3	0.000 1	0.231 3	0.045 3	0.564 4	0.000 1	0.000 2	0.006 3	0.078 5	0.065 3	0.000 2	0.000 1	0.259 3	0.516 2	0.000 4	0.600 4	1.000 1	0.578 5	0.000 3	0.000 5	0.184 5	0.000 3	0.000 3	0.034 5	0.000 3	0.211 4	0.089 3	0.394 5	0.018 5	0.064 4	0.171 4	0.001 5	0.144 3	0.172 4	0.000 2	0.000 4	0.044 4	0.000 1	0.000 3	0.000 1	0.064 5	0.126 4	0.278 2	0.093 5	0.000 4	0.094 4	0.214 3	0.011 5	0.000 1	0.000 1	0.000 3	0.000 3	0.022 5	0.000 3	0.000 1	0.275 3	0.000 4	0.275 4	0.000 5	0.098 4	0.407 4	0.000 3	0.000 1	0.250 5	0.007 5	0.000 3	0.000 3	0.000 2	0.000 3	0.333 4	0.376 4	0.000 2	0.000 5	0.042 5	0.285 3	0.119 4	0.000 3	0.224 5	0.000 2	0.184 3	0.000 1	0.000 3	0.000 2	0.244 4	0.000 1	0.000 2	0.000 1	0.377 3	0.378 2	0.051 2	0.424 5	0.000 3	0.000 3	0.116 5	0.030 4	0.125 2	0.441 4	0.444 5	0.063 5	0.000 2	0.042 3	0.000 3	0.297 2	0.483 3	0.096 5	0.000 3	0.028 2	0.338 4	0.000 3	0.444 3	0.000 1	0.000 2	0.000 2	0.189 4	0.000 1	0.000 1	0.141 4	0.152 5	0.017 4	0.000 5	0.000 3	0.838 4	0.193 3	0.111 5	0.105 5	0.198 3	0.588 3	0.000 1	0.000 2	0.542 3	0.343 5	0.267 3	0.000 1	0.000 3	0.108 5	0.000 1	0.333 4	0.000 5	0.228 2	0.202 5	0.022 4
Ji Hou, Benjamin Graham, Matthias Nießner, Saining Xie: Exploring Data-Efficient 3D Scene Understanding with Contrastive Scene Contexts. CVPR 2021
LGround Inst.	0.154 3	0.275 3	0.108 3	0.060 3	0.295 5	0.002 4	0.278 1	0.000 1	0.000 1	0.000 1	0.006 4	0.272 2	0.064 5	0.815 2	0.503 3	0.333 5	0.000 2	0.000 3	0.556 1	0.001 4	0.000 2	0.148 3	0.078 2	0.448 1	0.007 3	0.000 1	0.024 3	0.000 1	0.000 2	0.000 3	0.190 4	0.000 2	0.000 1	0.000 3	0.000 1	0.209 5	0.031 5	0.573 3	0.000 1	0.000 2	0.041 2	0.099 3	0.037 4	0.000 2	0.000 1	0.327 2	0.364 5	0.181 2	0.642 2	1.000 1	0.654 4	0.000 3	0.023 3	0.429 3	0.000 3	0.000 3	0.097 3	0.000 3	0.278 2	0.267 2	0.434 3	0.048 2	0.092 3	0.257 2	0.030 3	0.097 4	0.189 3	0.000 2	0.089 2	0.000 5	0.000 1	0.000 3	0.000 1	0.115 2	0.166 3	0.222 5	0.222 3	0.003 3	0.127 3	0.213 4	0.169 2	0.000 1	0.000 1	0.000 3	0.000 3	0.044 3	0.000 3	0.000 1	0.000 5	0.000 4	0.268 5	0.222 2	0.130 2	0.494 3	0.000 3	0.000 1	0.363 3	0.015 3	0.000 3	0.000 3	0.000 2	0.000 3	0.611 2	0.400 3	0.000 2	0.056 2	0.278 3	0.242 4	0.180 3	0.000 3	0.383 4	0.000 2	0.209 2	0.000 1	0.000 3	0.000 2	0.364 2	0.000 1	0.000 2	0.000 1	0.323 4	0.302 3	0.019 4	0.654 2	0.000 3	0.000 3	0.141 2	0.045 3	0.000 5	0.427 5	0.514 3	0.143 3	0.000 2	0.028 4	0.000 3	0.252 3	0.402 4	0.156 4	0.000 3	0.028 2	0.470 3	0.000 3	0.444 3	0.000 1	0.000 2	0.000 2	0.205 3	0.000 1	0.000 1	0.203 3	0.381 3	0.026 3	0.037 3	0.000 3	0.881 3	0.099 4	0.135 4	0.239 3	0.000 4	0.585 4	0.000 1	0.000 2	0.616 2	0.778 2	0.322 2	0.000 1	0.000 3	0.407 3	0.000 1	0.333 4	0.148 3	0.177 3	0.242 3	0.028 3
David Rozenberszki, Or Litany, Angela Dai: Language-Grounded Indoor 3D Semantic Segmentation in the Wild.
Minkowski 34D Inst.	0.130 4	0.246 4	0.083 4	0.043 5	0.299 4	0.000 5	0.278 1	0.000 1	0.000 1	0.000 1	0.022 3	0.175 3	0.122 2	0.537 4	0.521 2	0.400 3	0.000 2	0.000 3	0.000 3	0.008 3	0.000 2	0.048 4	0.076 3	0.182 5	0.000 4	0.000 1	0.022 4	0.000 1	0.000 2	0.000 3	0.141 5	0.000 2	0.000 1	0.000 3	0.000 1	0.210 4	0.063 2	0.547 5	0.000 1	0.000 2	0.000 5	0.100 2	0.026 5	0.000 2	0.000 1	0.241 4	0.488 4	0.000 4	0.564 5	1.000 1	0.672 2	0.000 3	0.021 4	0.486 1	0.000 3	0.000 3	0.067 4	0.000 3	0.194 5	0.033 4	0.415 4	0.026 4	0.025 5	0.271 1	0.004 4	0.094 5	0.142 5	0.000 2	0.000 4	0.111 3	0.000 1	0.000 3	0.000 1	0.088 4	0.083 5	0.278 2	0.110 4	0.000 4	0.082 5	0.199 5	0.137 3	0.000 1	0.000 1	0.000 3	0.000 3	0.041 4	0.000 3	0.000 1	0.308 2	0.067 3	0.280 3	0.016 4	0.101 3	0.373 5	0.000 3	0.000 1	0.319 4	0.007 4	0.000 3	0.000 3	0.000 2	0.000 3	0.028 5	0.355 5	0.000 2	0.101 1	0.444 2	0.289 2	0.114 5	0.000 3	0.394 3	0.000 2	0.032 5	0.000 1	0.000 3	0.000 2	0.201 5	0.000 1	0.000 2	0.000 1	0.384 2	0.248 4	0.000 5	0.529 4	0.000 3	0.000 3	0.133 3	0.020 5	0.089 3	0.720 3	0.500 4	0.099 4	0.000 2	0.000 5	0.000 3	0.238 4	0.334 5	0.190 3	0.000 3	0.000 5	0.317 5	0.000 3	0.472 1	0.000 1	0.000 2	0.000 2	0.094 5	0.000 1	0.000 1	0.082 5	0.236 4	0.004 5	0.019 4	0.000 3	0.883 2	0.061 5	0.262 2	0.217 4	0.000 4	0.557 5	0.000 1	0.000 2	0.460 4	0.761 4	0.156 5	0.000 1	0.000 3	0.259 4	0.000 1	0.394 1	0.019 4	0.084 4	0.232 4	0.000 5
C. Choy, J. Gwak, S. Savarese: 4D Spatio-Temporal ConvNets: Minkowski Convolutional Neural Networks. CVPR 2019

ScanNet200 3D Semantic Instance Benchmark