Plant Identification with Computer Vision and Improvement Through Location Data

Abstract

Det ˚a kunne riktig identifisere arter er et veldig viktig verktøy i kampen for ˚a bevare artsmangfoldet i verden, men dette er kunnskap som er enten forbeholdt eksperter, eller s˚a er det veldig tidskrevende for ufagkyndige. I nyere tid har fremskritt i teknologi gjort kameraer med god kvalitet blitt tilgjengelig for de aller fleste gjennom mobiltelefon samtidig s˚a har nyutvikling innenfor GPUer og maskinlæring gjort bildegjenkjennings teknologi tilgjengelig for de fleste gjennom forskjellige apper. Gjennom slike apper kan lekfolk ogs˚a bidra til ˚a bevare artsmangfoldet. Dette prosjektet beskriver prosessen med ˚a lage et plantegjenkjenningsmodel og undersøker mulighetene for ˚a forbedre modellen ved ˚a inkludere lokasjonsdata i modellen. Samlet bilder og lokasjons data fra nettsiden artsobservasjoner.no samt andre dataset. Trente forskjellige ”computer vision” modeller p˚a bilder av de 100 mest fotograferte artene hos artsobservasjoner. ResNet-101 modellen oppn˚adde en trefsikkerhet p˚a 70.948%. Ved bruk av relativ frekvens vekting, vekting basert p˚a planter i omr˚adet og en statistisk modell knyttet til blant annet landskapstypen, høyde over havet og koordinat økte modellen sin treffsikkerhet med 3.964% opp til 74.912%.

Recent development in technology has led to both ubiquitous camera-phones and high quality image recognition software. One of the areas this is useful is species-conservation where accurate plant identification through cellphones is an invaluable tool. Introduced Relative Frequency Weighting, weighting based on the surrounding plants and statistics based on coordinates, landscape and altitude of the image location in order to improve the plant species identification accuracy. This increased the accuracy of the deep learning computer vision model between 3.5 and 4.0%.