Inventariere alunecari de teren si dezvoltare platforma

Pe toată perioada corespunzătoare etapei anului 2021 au fost realizate un număr de peste 50 de zboruri, cel puțin un zbor pentru fiecare zonă descrisă. Zborurile au constat în culegerea de imagini aeriene și filme geocodate, cu unghiuri de orientare verticală diferite. Orientarea verticală a camerelor dronelor a avut valori cuprinse între 90 de grade (nadiral) și 65 de grade (oblice). Aceste orientări au fost utilizate pentru a realiza când mai multe perspective asupra alunecărilor de teren și pentru a culege eșantioane din cât mai multe situații posibile.

Pentru majoritatea zonelor de studiu au fost culese esantioane, utilizand programul ArcGIS Pro, iar aceste esantioane au fost utilizate pentru antrenarea modelului neuronal de convolutie. Au fost culese esantioane in format Pascal VOC si Mask R-CNN.

Pentru detectarea elementelor alunecărilor de teren au fost testate și antrenate următoarele modele neuronale de convoluție: Single Shot Detector și Mask R-CNN. Pe parcursul etapei corespunzătoare anului 2022 se vor adăuga alte modele neuronale de convoluție, iar cele prezente se vor rafina. Single Shot Detector are două componente: backbone și head. Componenta backbone este o rețea de clasificare a imaginilor pre-antrenată pentru a recunoaște anumite caracteristici. Aceasta este de obicei o rețea precum ResNet instruită pe ImageNet din care stratul de clasificare final complet conectat a fost eliminat. SSD head este doar unul sau mai multe straturi convoluționale adăugate la backbone, iar ieșirile sunt interpretate ca și clase de obiecte localizate spațial. Mask R-CNN face parte din familia modelelor destinate pentru segmentarea de obiecte din imagini. Integrează detectarea obiectelor din SSD cu o segmentare semantică de imagine, care clasifică fiecare pixel în categorii predefinite. Astfel, ne permite să detectăm obiecte dintr-o imagine în timp ce segmentăm cu precizie un mască pentru fiecare instanță de obiect. Segmentarea obiectelor oferă suplimentar de SSD posibilitatea de a delimita spațial fiecare element al unei alunecări de teren și nu doar încadrarea într-un poligon.

Modulul de planificare a zborurilor a fost dezvoltat prin integrarea a două componente software utilizate in cadrul proiectului, și anume: ArcGIS Pro si Universal Ground Control System (UGCS). Produsul ArcGIS Pro este utilizat pentru prelucrarea imaginilor culese cu aeronavele fără pilot in vederea obținerii de ortofotoplanuri, modele digitale ale suprafeței terestre (DSM) si modele digitale de altitudine (DEM). Separat de procesarea imaginilor aeriene, ArcGIS Pro este utilizat pentru cartografierea detaliata a alunecărilor de teren si culegerea de eșantioane pentru instruirea modelului de detectare a formelor unei alunecări de teren. Produsul Universal Ground Control System este specializat in planificarea de zboruri cu aeronave fără pilot și permite realizarea de planuri pentru fotogrametrie, supraveghere video, scanare clădiri etc. Prin integrarea celor doua produse este posibil in prezent sa fie create planuri de zbor direct din produsul ArcGIS Pro, fără sa fie necesara instalarea clientului pentru UGCS. Prin intermediul Addin-ului de ArcGIS Pro, un utilizator poate sa se conecteze la serverul programului UGCS si sa creeze doua tipuri de planuri de zbor: fotogrametric si scanare video. Datele cu limita planului de zbor si caracteristicile tehnice pentru fiecare plan de zbor sunt configurate in interfața grafica a addin-lui de ArcGIS Pro. Dezvoltarea Addin-ului SlideMap a fost realizata prin integrarea SDK-ului oferit de ArcGIS Pro si a SDK-ului oferit de UgCS. Accesarea codului sursa se realizează prin intermediul paginii de web a proiectului. De asemenea, codul sursa este disponibil si pe pagina de GitHub a coordonatorului de proiect. Pe toata perioada proiectului se vor realiza optimizări și modificări ale modului de planificare de zbor.

În cadrul proiectului SlideMap a fost realizat un modul care permite generarea de filme geocodate din filme realizate cu aeronave fără pilot. Acest modul integrează doua soluții software, utilizate in cadrul proiectului și anume ArcGIS Pro cu extensia Image Analyst si UgCS (Universal Ground Control System).
Prin intermediul UgCS sau a modulului de planificare de zbor (capitolul 5) se realizează planul de zbor pentru colectarea de filme. Produsul informatic UgCS, prin intermediul componentei de Video Server permite înregistrarea in timp real a datelor de telemetrie transmise de senzorii aeronavei fără pilot. In același timp, componenta Video Server adaugă la fiecare cadru de film informațiile necesare pentru localizarea acestora. Transformarea are loc in timp real si este conforma cu standdil MISB. Accesarea filmului geocodat se realizează prin protocoale standard, precum UDP sau RTSP.
Prin intermediul programului ArcGIS Pro cu extensia Image Analyst se realizeaza conectarea la serviciul RTSP sau UDP expus de componenta de Video Server si fiecare cadru de fim este proiectat pe harta. Proiectarea permite georeferențierea in cvasi-timp real.