Istraživački tim iz Skolteha i Sankt Peterburškog državnog univerziteta za vazduhoplovnu instrumentaciju predstavili su rad u kojem su bili pioniri u alternativnoj metodi za otkrivanje trulih i plesnivih jabuka u fazi posle berbe, kada se voće skladišti, a zatim isporučuje kupcu. Sistem kompjuterskog vida će odrediti različite nedostatke u ranoj fazi, kada oni mogu biti nevidljivi ljudskom oku. Rad je objavljen u časopisu Entropija.
Uprkos sveprisutnoj automatizaciji, kvalitet voća i povrća u fazi posle berbe, posebno kada se ocenjuju, uglavnom kontroliše čovek. Kada se proizvodi isporuče, mogu se raspasti ili oštetiti. Neke oblasti propadanja mogu se prevideti ili propustiti, dok poljoprivrednik ne može uvek biti dostupan da odredi vrstu bolesti ili oštećenja.
Koristeći jabuke, tim je proučavao dve vrste defekata: propadanje i kalupljenje. Ako su, na primer, jabuke gusto zbijene, udaraju jedna o drugu i tako brže propadaju u tim predelima. Buđ je rezultat radikalnog kršenja uslova skladištenja ili kada je zanemarena tokom berbe.
Za otkrivanje kvarova stručnjaci koriste infracrveno svetlo, ali, prema istraživačima, za to su potrebni multi- i hiperspektralni uređaji, koji su veoma skupi i nisu uvek laki za korišćenje. Studija je imala za cilj da ponudi alternativu tim kamerama, koje koriste modele zasnovane na dubokom učenju koji mogu da generišu infracrvene slike. Autori ističu da nisu nameravali da zamene tradicionalne metode, već su samo pokušali da iznesu pristupačniji i inovativniji način.
„Upotrebili smo dve vrste neuronskih mreža: generativnu adversarijsku mrežu i konvolucionu neuronsku mrežu. Prva omogućava pretvaranje jedne vrste slike u drugu. U našem slučaju, dobili smo infracrvene slike iz RGB-a, što znači vidljive fotografije. Ali to nije dovoljno za detekciju. defekte jer generativne suparničke mreže ne klasifikuju slike. Ovde dolaze u igru konvolucione neuronske mreže. One pomažu u otkrivanju i segmentiranju objekata potrebnih klasa na fotografijama“, rekao je vodeći autor studije Nikita Stasenko, mlađi inženjer istraživač u Skoltechovom Agro centru.
Eksperimenti su uključivali nekoliko faza. Tim je počeo sa prikupljanjem i obradom podataka sa vidljivih slika. U tu svrhu, autori su odabrali 16 jabuka četiri različite vrste. Jabuke su imale različite tretmane: jabuka bez tretmana, dobro oprana i obrisana jabuka, mehanički oštećena jabuka i šok smrznuta jabuka prehlađena na -20°S.
„Kada smo prikupili podatke, proverili smo nekoliko modela zasnovanih na generativnim suparničkim mrežama — Pik2Pik, CicleGAN i Pik2PikHD — i uporedili generisane infracrvene slike sa originalnim. što bliže originalu“, dodao je Nikita Stasenko.
Druga faza je koristila Mask R-CNN konvolucionu neuronsku mrežu. U prethodnom istraživanju ovaj model je bio najefikasniji. Da bi ga obučio, tim je sakupio još jedan skup podataka sa infracrvenih slika i označio ih: označili su zdrave jabuke i one sa područjima truljenja i plesni.
U trećoj fazi, autori su koristili Jetson Nano — poseban ugrađeni sistem, koji omogućava pokretanje obučenih neuronskih mreža. U budućnosti, ovaj sistem će dovesti do pravog uređaja za otkrivanje nedostataka useva. Takođe, tim planira da skalira rezultate na drugim vrstama useva i testira druge neuronske modele.
