'Instamesh' oftewel het AI-kopje
Een experiment om te zien hoe goed het lukt om op basis van dagelijkse posts van koffiekopjes op instagram 3D-modellen te maken. (Zie ook de bijbehorende README) in het repository.
Objectherkenning
De Open Images dataset (v5)[Oid2018v4][Oid2019seg] bestaat uit zo'n 9 miljoen afbeeldingen met in totaal ongeveer 2,8 miljoen segmentatiemaskers in 350 verschillende objectklassen. Wij gebruiken hiervan alleen de klassen 'coffee cup' (1700 maskers in 1117 afbeeldingen) en 'mug' (931 maskers in 615 afbeeldingen). Daarin zit overlap, d.w.z. dat sommige objecten zowel het label 'coffee cup' als het label 'mug' hebben. Omdat niet alle maskers geschikt zijn voor 3D-reconstructie, maken we hierin handmatig een selectie. De eerste selectie bevat 1019 (60%) maskers voor het label 'coffee cup' en 505 (54%) voor het label 'mug'. In totaal zijn dit 1524 (58%) maskers in 1023 afbeeldingen (dus gemiddeld 3 maskers per 2 afbeeldingen). De overlap in maskers is hier nog niet uitgefilterd, maar overlap in bestanden is een kleine 18%.
Zie de facts & figures voor meer details over de Open Images dataset.
Proces
