Morten Omholt Alver

Førsteamanuensis
Institutt for teknisk kybernetikk, NTNU

Trondheim. Norge

morten.alver@ntnu.no

+47 95150321

Forslag til prosjektoppgaver høsten 2023

Deep learning for å identifisere bestanddeler i havet ved å bruke store datasett med simulerte hyperspektrale havdata

Havfarge er en viktig målemetode for å bestemme hvordan havets tilstand er. Dette er fordi fargen på havet forteller oss om hva som er inne i havvannet. For eksempel har havet de siste tiårene opplevd drastiske endringer i samfunnssammensetningen, og det har også blitt observert globalt at havfargen har endret seg. For å forstå bedre hva fargeendringene betyr, bygges hyperspektrale kamera på små (f.eks. NTNUs egen HYPSO-satellitt) og større satellitter (f.eks. den nylig lanserte PACE-satellitten til NASA) for å avbilde havene. Disse spesialkameraene fanger fargen i detalj. To forskningsspørsmål her er hvilke fargeendringer gir informasjon om hilke havvanbestandeler, og om det er mulig å estimere konsentrasjoner av havvanbestanddeler avhengig av fargeendringen.

For å svare på disse spørsmålene har vi simulert et stort datasett (> 10^6 merkede spektre). Hvert spektrum er et resultat av forskjellige bestanddeler med varierende konsentrasjoner. Den store fordelen med dette simulerte datasettet er at datasettet er merket og jevnt fordelt, og derfor klart for bruk på opplæring av deep learning-algoritmer.

Målet med dette prosjektet er å bruke datasettet til å trene en deep learning-algoritme slik at den kan bestemme hvilke bestanddeler som er i havet (basert på spekteret), og om mulig konsentrasjonen av disse bestanddelene. Eksempler på bestanddeler er ulike typer planteplankton (mikroalger).

Det endelige målet er å teste det opprettede filteret på ekte satellittdata. For øyeblikket tester vi maskinlæringsalgoritmer og partial least squares-modeller i et lignende prosjekt. Oppgaven kan løses ved å forbedre disse eksisterende modellene eller ved at studenten velger og etablerer sine egne algoritmer.

Planktonoppblomstring utenfor kysten av Nord-Norge, whor fargeendringen kan observeres tydelig. Bildet er fra august 2011. Figur fra ESA.

Simulering av atmosfæriske effekter for å korrigere satellittdata

Et problem vi står overfor når vi observerer havoverflaten med satellitter er følgende: kameraene på satellitten fanger ikke bare opp signaler som kommer fra havet, men også lys som har blitt spredt og reflektert i atmosfæren. For prosjekter med større satellitter brukes gjerne en tilnærming for å kompensere for dette: den atmosfæriske korreksjonen. Kvaliteten og riktigheten av de atmosfæriske korreksjonene er imidlertid omdiskutert.

En måte å møte dette problemet på er å bruke simuleringsdata kombinert med ekte satellittdata. Vi har simulert hvordan lys interagerer i vannsøylen ved hjelp av simuleringer med lysmodellen Ecolight-S. Vi setter opp et stort antall vertikale profiler som angir tetthet av forskjellige planteplanktongrupper. Deretter simulerer Ecolights hvordan lys interagerer med materialet i vannet (spredning og absorpsjon), og beregner spektraldata for lyset som forlater vannsøylen. På denne måten simulerer vi hyperspektrale datakuber. Imidlertid har vi ikke inkludert atmosfæriske effekter ennå.

I dette prosjektet skal det bygges videre på simuleringene ved å sette opp atmosfæriske simuleringer. De simulerte hyperspektrale dataene skal så sammenliknes med ekte satellittdata (f.eks. fra NTNUs egen satellitt HYPSO-1, ENMAP eller Copernicus) for å se effekten av de modellerte atmosfæriske korreksjonene opp mot de reelle satellittdataene.

Illustrasjon av lysets vei til satellitten. Bildet er basert på https://se.mathworks.com/help/images/hyperspectral-data-correction.html.

Multivariat analyse for å identifisere planteplankton ved bruk av hyperspektrale satellittdata

NTNUs egen satellitt HYPSO-1 befinner seg for tiden i verdensrommet og tar hyperspektrale bilder av jorden. Siden lanseringen av HYPSO-1 i januar 2022 har det blitt tatt rundt 1600 hyperspektrale bilder. HYPSO-2 planlegges lansert i 2024, med lignende bildebehandlingsutstyr om bord. Ett av forskningsmålene til disse satellittene er å lære hvordan vi kan utnytte hyperspektrale bilder for å overvåke planteplankton i havet, kystområder og innsjøer. Et presserende problem vi står overfor er å validere havdataene vi samler inn med HYPSO-1, dette er fordi dekningen av HSI fra verdensrommet (~km) ikke stemmer overens med vannprøvepunktdekning på (~m til cm).

Målet med dette prosjektet er å undersøke hvilke bestanddeler i havet vi kan skille fra hverandre ved å bruke data fra HYPSO-1 og andre satellitter, ved (1) å sammenligne hyperspektrale data fra HYPSO-1 med andre satellittdata (f.eks. ENMAP og Sentinel), og (2) å se nærmere på serier av bilder tatt med HYPSO-1 på samme sted for å avdekke endringer i det observerte lysspekteret over tid, som kan samsvare med endringer i planktonsamfunnet.

For å svare på disse spørsmålene skal studenten anvende ulike multivariate dataanalyseteknikker. Det er en mulighet for studenten å utvide prosjektet til å inkludere simulerte hyperspektrale data.

RGB-gjengivelser av hyperspektrale bilder tatt med HYPSO-1 av fjorder på Svalbard. Bildene har har blitt tatt av samme område på forskjellige tider, og er et eksempel på bilderserier som kan brukes til analysen i dette prosjektet. Bildet er hentet fra Bakken, Sivert, et al. "Hypso-1 cubesat: first images and in-orbit characterization." Remote Sensing 15.3 (2023): 755.

Illuminating the Deep: Machine Learning models for mapping deep-water coral presence

Description

This master's project offers a unique opportunity to apply cutting-edge machine learning (ML) techniques to address critical questions in marine ecology. Furthermore, the project directly contributes to the ambitious AMBIOS project whose aim is to create the world’s first fully autonomous system for biodiversity mapping in the ocean.

By analysing existing coral (Lophelia pertusa) occurrence datasets, alongside oceanographic features extracted from the SINMOD model, you will develop models that predict the distribution of these vital cold-water corals along the Norwegian coast.

This hands-on project covers the complete range of the data science workflow, from processing and feature engineering to model building and evaluation. You will be able to benchmark your model's output against existing work produced using the NorKyst ocean model, gaining insights into model performance and the influence of different oceanographic variables.

Your findings have the potential to advance our understanding of cold-water coral habitats, and contribute to a scientific publication. If desired, there is possibility of expansion to include other species and investigate the broader implications of your predictive models for understanding marine biodiversity.

Why this project matters:

The ocean is a vital life-support system for our planet. This research directly contributes to understanding its health and guiding sustainable practices by:

Protecting Vulnerable Habitats: Understanding Lophelia pertusa distribution is important for identifying areas in need of protection and monitoring threats to deep-water coral ecosystems.

Decoding Ecosystem Responses: Lophelia pertusa is a sensitive indicator of ocean change. Your insights could help assess the impacts of ocean acidification, warming, and other stressors on marine ecosystems.

Supporting Global Initiatives: This project aligns with worldwide efforts like the Convention on Biological Diversity and the UN Decade on Ocean Science, contributing to a global knowledge base for informed ocean stewardship.

Left: picture of Lophelia pertusa (Photo: Birgitta Mueck). Right: map of Lophelia presence (source: https://doi.org/10.3389/fmars.2020.00213).

Data-driven modeling of a land-based salmon farm (Salmon Evolution & Solution Seeker)

Co-supervised by Solution Seeeker

Salmon Evolution (https://salmonevolution.no/) started the first production phase of its land-based salmon farm at Harøy, Hustadvika, in March 2022 (picture below). The facility is the world's largest hybrid flow-through system and represents a new approach to land-based fish farming. The facility is well-instrumented and collects data for targeted improvement and optimization of biological (e.g. fish health) and physical (e.g. water quality) processes. Solution Seeker (https://www.solutionseeker.no/) is a spin-off from ITK, NTNU, that delivers managed AI services to the industry. An important part of this is using cutting edge machine learning technologies on industrial data to extract information to support decision making. Solution Seeker is a partner of Salmon Evolution.

In this project, the aim is to establish a growth model for the fish based on a combination of data-driven models and the mechanistic Dynamic Energy Budget (DEB) model, using data from Salmon Evolution. This project will give you a unique insight into land-based salmon farming and the opportunity to optimize real processes using a combination of data-driven modeling, machine learning and mathematical optimization.

Maskinsyn for sortering av tare på transportbånd

Med SINTEF Ocean

I løpet av de siste årene er det blitt flere som dyrker sukkertare i Norge, og NTNU og SINTEF har nylig blitt tildelt en stor nasjonal infrastruktur for tareakvakultur, RI Seaweed, der observasjonssystemer, automatisering og modellering inngår som integrerte deler. Høsting og prosessering av tare er et viktig område, og det å skille tare fra annet materiale som har blitt med i høstingen er et steg i etterbehandlingen.

Ved innhøsting av tare fra eksperimentell dyrking våren 2024 vil det bli innhentet bildemateriale av tare på transportbånd. I denne oppgaven skal det utvikles en maskinsynalgoritme for å skille tare fra annet materiale. Oppgaven kan også utvides til å måle egenskaper ved taren, eksempelvis størrelse/biomasse og kvalitet.

Visualisering av tare på transportbånd (SINTEF Ocean)

Modellkorreksjon for individbaserte modeller

Varianter av Kalmanfilter brukes i mange sammenhenger for tilstandsestimering basert på måledata. I noen sammenhenger brukes individ-baserte modeller (IBM) der en modellerer enkeltindivid eller grupper av organismer, f.eks. fisk eller plankton i havet. Hvis en gjør målinger av konsentrasjonen til disse organismene, og ønsker å korrigere modellen, er det ikke åpenbart hvordan man skal koble målingene til modelltilstanden, da vi normalt ikke har målinger knyttet til enkelte individer eller grupper. Tilnærmingen gjort av Kelly et al. (2023) for en modell av norsk vårgytende sild er å avlede et tetthetsfelt fra fra IBMen, korrigere dette basert på målingene, og deretter oppdatere IBMen.

Det siste punktet kan gjøres på flere måter, og det er stort rom for forbedring og generalisering ut fra tilnærmingen i Kelly et al. (2023). I denne oppgaven er målet å videreutvikle metoden slik at den kan anvendes på IBM-modeller generelt.

Referanse:
Kelly, C., Michelsen, F.A. and Alver, M.O., 2023. An ensemble modelling approach for spatiotemporally explicit estimation of fish distributions using data assimilation. Fisheries Research, 261, p.106624.

Konsept for modellkorreksjon av individbasert modell (Kelly et al. 2023)

Maskinsynbasert måling av klekkeprosess for copepoder

Med C-Feed

Bedriften C-Feed produserer copepodeegg av arten Acartia tonsa til bruk som levende fôr i produksjon av marine fiskearter. Et viktig ledd både i produksjonen og i kvalitetssikringen av produktet er å måle klekkeraten til eggene. Dette kan gjøres ved hjelp av maskinsyn og maskinlæring brukt for å måle andelen egg, tomme eggeskall og klekkede copepoder av naupliestadie 1 og 2, og for å estimere klekkesuksess (andel egg som klekkes til levedyktige nauplier). En slik sensor kan også brukes til å overvåke populasjoner i dyrkingskar for å estimere tetthet og stadiefordeling av copepoder.

Dette prosjektet tar utgangspunkt i den åpne planktonsensoren Planktoscope basert på Raspberry Pi, som pumper vannprøver forbi et kamera og produsere bilder som deretter preprosesseres for deteksjon og klassifisering. Innledende tester har blitt gjort med Plankoscope for anvendelsene nevnt over i to masteroppgaver våren 2024, og denne oppgaven vil bygge på resultatene fra disse.

Følgende oppgaver vil være aktuelle:

Videreutvikle metode for å overvåke tetthet og stadiefordeling av copepoder.
Videreutvikle metode for å estimere klekkesuksess, og vurder hvor tidlig i klekkeprosessen denne verdien kan estimeres pålitelig.

Egg og naupli av Acartia tonsa (foto: C-Feed)

Måling og modellering av oksygennivå i oppdrettsenheter

Tilstrekkelig tilgang på oksygen er en forutsetning for god velferd og vekst i lakseproduksjon. En kan få lave oksygennivåer spesielt under forhold med lav strøm og høy temperatur. Når det nå utvikles både lukkede og delvis lukkede anlegg, og anlegg med betydelig større produksjonsenheter, er dette problemet mer aktuelt enn noen gang før. Oksygenkonsentrasjonen i en produksjonsenhet kan modelleres med en eksisterende modell basert på adveksjon-diffusjonslikningen, og slik danne grunnlag for bedre regulering av fôring eller andre pådrag for å sikre god fiskevelferd. Inngangsverdier til modellen er bl.a. strøm, utvendig oksygennivå i vannet og når og hvordan fisken fôres. Innledende tester har blitt gjort ved hjelp av måledata fra SalMars havmerd Ocean Farm 1 (se figur), og resultatene viser at modellen gir gode prediksjoner.

Artikkel med beskrivelse av oksygenmodellen: https://www.sciencedirect.com/science/article/pii/S0044848621013831
Skalastudie basert på oksygenmodellen: https://www.sciencedirect.com/science/article/pii/S0044848622009486

Oppgave 1: Måling og modellering av oksygennivå i oppdrettsenheter. I denne oppgaven skal modellen utvikles til å håndtere mer realistiske strømfelt. Det krever en videreutvikling av likningene og koden for adveksjon av oksygenfeltet. Den oppdaterte modellen skal testes mot tilgjengelige data.

Oppgave 2: Surrogatmodell for oksygennivå i oppdrettsenheter Modellen krever mye beregningskapasitet, særlig hvis man skal modellere hele anlegg med mange merder. I denne oppgaven skal det undersøkes hvor godt en surrogatmodell (basert på random forest eller andre metoder) kan representere dynamikken og brukes som en rask stand-in for oksygenmodellen.

Eksempel på modellerte O2-fordelinger i Ocean Farm 1. Høye konsentrasjoner av fisk nær de 16 undervanns utfôringsenhetene gir lokale reduksjoner i O2-nivå.

Maskinlæring for å detektere når fiskefartøy leter etter fisk

Med SINTEF Ocean

Norsk vårgytende sild gjennomfører en årlig gytevandring fra kysten utenfor Nord-Norge sørover til Midt-Norge. I prosjektet FishGuider skal det utvikles et beslutningsstøttesystem som skal bistå fiskere i å operere mest mulig effektivt, blant annet for å kunne spare drivstoff. Det er utviklet en matematisk modell av gytevandringen som skal simuleres i sanntid og korrigeres basert på observasjoner.

Vi har informasjon om når og hvor det fanges fisk, og hvor mye. I tillegg er det nyttig å kunne vite hvor fiskefartøy har lett etter fisk uten å finne noe. Det kan være mulig beregne dette ved hjelp av maskinlæring basert på detaljerte bevegelsesdata for fartøyene (basert på AIS). I denne oppgaven skal en eller flere maskinlæringsmetoder vurderes og testes for dette formålet.

Eksempel på modellerte geografiske fordelinger av sild under gytevandringen for samme dato to forskjellige år.

Validering av havmodell ved hjelp av ARGO-måledata

Havmodeller kan estimere temperatur, salinitet og strømretninger i havet, samt biologiske variable som algeoppblomstringer. De har imidlertid mange feilkilder og det er nødvendig å bruke målinger til å validere eller korrigere modellene. En rikholdig kilde til måledata er ARGO-programmet som består av tusenvis av driftere som måler temperatur og salinitet i havet. Det er også mulig å avlede estimat av strømhastigheter og -retninger basert på hvordan de beveger seg (se figur).

I denne oppgaven skal studenten bruke dataserier fra havmodellen SINMOD, og data fra ARGO-programmet. Det skal gjøres en validering av modellen mot disse målingene med fokus på vertikale og horisontale mønster i avvikene, med formålet å se etter årsaker til systematiske modellavvik.

Eksempel strømhastigheter og -retninger ved 1000 m dyp estimert ut fra posisjonene til ARGO-driftere (farge fra svart til rød indikerer strømhastighet og retning/lengde på strekene indikerer strømvektorene.

Robotbasert inspeksjon av ventiler og sensorer i industrianlegg

Med Equinor

Industrianlegg har gjerne tusenvis av ventiler, sensorer eller andre elementer som bør inspiseres visuelt med jevne mellomrom, og autonome roboter kan brukes til å automatisere denne prosessen. Det krever at roboten er i stand til å finne en tilgjengelig posisjon som gir god sikt til hvert aktuelle element. Dersom anlegget har en god digital tvilling kan planleggingen i mange tilfeller gjøres på forhånd ut fra 3D-modellen av anlegget. I en masteroppgave våren 2024 har det blitt utviklet en optimaliseringsalgoritme basert på spillmotoren Godot for inspeksjon basert på 3D-modeller, som kan lage "bestillinger" av robotinspeksjoner formatert for integrasjon med Equinor sine systemer.

I denne oppgaven skal systemet videreutvikles for bedre å kunne håndtere virkelige systemer med mulige forstyrrelser eller avvik fra den digitale tvillingen.

Eksempel på scene fra 3D-modell av anlegget Huldra. Roboten (delvis skjult ute til høyre) prøver å se ventilen lengst til venstre i bildet.

Kollektiv effekt av fiskebevegelser på vannstrøm og turbulens i havbruksmerder

Vi mangler gode modeller for hvordan fiskens bevegelser påvirker strømmønster og turbulens inne i havbruksmerder. Kunnskap om disse effektene vil kunne gjøre modeller for fôrfordeling og oksygenfordeling i merder mer presise, samt gjøre det lettere å vurdere hydrodynamiske forhold i nye typer produksjonsenheter, f.eks. delvis eller helt lukkede anlegg, samt tanker i landbaserte anlegg. I denne oppgaven skal studenten med utgangspunkt i en individbasert modell for lakseatferd analysere fiskebestandens aksellerasjoner med tanke på å bygge opp en forståelse av den kollektive effekten, og om mulig etablere en matematisk modell for fiskens effekt på strømmønsteret.

Eksempel på skjermbilde av 200.000 modellerte laks i oppdrettsmerd.

The effect of vertical migration on transport patterns for krill in the Southern Ocean

Background: Antarctic krill are a relatively large pelagic crustacean (Lengths < 60mm & weights < 2g) that play a crucial role in the Southern Ocean ecosystem. Firstly, they are an important prey item for marine predators including marine mammals and fish. Secondly, they form dense swarms that forage and graze on phytoplankton production. Thirdly, they produce large, fast sinking fecal pellets and other detritus that contributes to the biological pump.

Aker BioMarine, a Norwegian biotech company own fishing, carrier and processing vessels that harvest and process Antarctic krill in the Southern Ocean. In fact, Aker BioMarine account for 72% of the total Antarctic krill catch in the Southern Ocean. Operations occur in the Atlantic Sector of the Southern Ocean, with the most intense activity centered on the Antarctic Peninsula and South Georgia. Antarctic krill are primarily utilized for high quality feed ingredients in Aquaculture. In accordance with the green shift in fisheries, there is a need to reduce fuel consumption in the fishing industry. One industry goal is to reduce fuel use when searching for fishing grounds in the Southern Ocean. Therefore, this project will develop knowledge of krill hotspots in the Southern Ocean that can support fishing activities in near real-time and reduce energy use.

SINMOD is a 3D ocean model developed at SINTEF to simulate physical, chemical and biological properties of the ocean across time and space. An individual-based model of Antarctic krill is being developed within SINMOD to model the 3D movement of krill particles in the Southern Ocean.

Project description: The krill migrates vertically in a daily pattern (typically closer to the surface in the day and deeper in the night), and this can strongly affect transport patterns. We do not know the exact migration patterns, but model studies can help find appropriate models for these. The project task is to analyse the effect of 3-4 different migration models on the transport patterns between krill fishing grounds in the Southern Ocean.

Example of model data: particle visits over a simulated 4 month period.

Machine learning for correlating krill densities with ocean variables

Project description: Fishing hotspots are often correlated with ocean states. With data from fishing vessels and surveys in the Southern Ocean, the densities of krill can be correlated with ocean states, giving relevant information for both short- and long-term biomass forecasting. Krill data will be acquired from Aker Biomarine's archive of echosounder data and from Krillbase (https://essd.copernicus.org/articles/9/193/2017/), and oceanographic data from CMEMS (https://marine.copernicus.eu/).

Matematisk modell av CDOM (colored dissolved organic matter) i Norskehavet for hyperspektral havobservasjon

CDOM (colored dissolved organic matter) er oppløst materiale som kommer ut i havet bl.a. på grunn av avrenning fra jordbruk. I havet brytes stoffene gradvis ned, mens det også produseres noe fra plankton i havet. CDOM har betydelig innvirkning på absorpsjonen av lys i havet, og er derfor en viktig faktor å ta hensyn til ved satellittbasert fjernmåling av planktonkonsentrasjoner og -sammensetning i havet.

Havmodellen SINMOD brukes til å modellere fysikk og biologi i havet, og kan korrigeres ved hjelp av fjernmålinger, f.eks. fra NTNU-satellitten HYPSO-1 som tar hyperspektrale bilder av havoverflaten. For best mulig å kunne sammenholde målingene med modelltilstanden må SINMOD utvides med en modell av CDOM, f.eks. ved å integrere en publisert CDOM-modell (https://gmd.copernicus.org/articles/14/5049/2021/). I denne oppgaven skal innledende tester med CDOM-modell i SINMOD utføres.

Maskinlæring for nedskalering av havmodelldata

Havmodeller simulerer strømmønster, temperatur, salinitet, tidevann og annen dynamikk i havet ved å integrere et sett med likninger, og området som simuleres må diskretiseres f.eks. i rektangulære celler med en viss oppløsning. For å simulere i høy oppløsning kan det "nøstes" over flere oppløsninger, slik at modelloppsett med lavere oppløsning over et stort geografisk område gir grenseverdier for modelloppsett med høyere oppløsning for et mindre område. Jo høyere oppløsning som er ønsket, jo mer regnekrevende blir modellene.

Med moderne maskinlæringsteknikker er det mulig å nedskalere havmodelldata slik at man får et estimat av dynamikken i høyere oppløsning enn det som er simulert av havmodellen. Dette er beslektet med metoder som lager høyoppløste bilder basert på bilder med lavere oppløsning. I denne oppgaven skal en slik metode testes ved hjelp av datasett produsert i flere oppløsninger med havmodellen SINMOD. Det skal etableres et nevralt nettverk som trenes med modelldata, og det skal testes i hvor stor grad nettverket kan reprodusere høyoppløste modellfelt basert på felt med lavere oppløsning.

Ved behov kan oppgaven også utvides til å koble de høyoppløste feltene mot satellittbaserte måledata. Studier har vist at når høyoppløste målinger er tilgjengelig, er det effektivt å kombinere en modell på lavere oppløsning med en metode for nedskalering slik at assimilering av måledata kan gjøres i høy oppløsning.

Operativ havmodellering - automatisert visualisering og kvalitetssikring av modelldata

NTNU driver i samarbeid med SINTEF Ocean et operativt havmodelleringssystem basert på havmodellen SINMOD og en Python-basert kode som håndterer nedlasting og prosessering av inngangsdata og måledata, kjøring av havmodellen og postprosessering av utgangsdata. Systemet gir estimater av strøm, temperatur, salinitet, algevekst og planktonkonsentrasjoner. For bruk av utgangsdataene trengs det automatisert kvalitetssikring av data, bl.a. via sammenlikning med måledata, for å etterprøve hvor godt modellen samsvarer med virkeligheten. Det vil også være behov for prosessering og visualisering av data for å gi mest mulig nytte for brukerne.

Modellen produserer data i NetCDF-format, og viktige verkøy i denne oppgaven vil være Python og bibliotek for lesing og skriving av NetCDF-data.

Det er to deloppgaver, og mulighet til å velge en eller jobbe med begge:

Utvikle en prototype av et kvalitetssikringssystem som lager automatiske benchmarks mot måledata for å etterprøve hvor godt modellen samsvarer med virkeligheten.
Utvikle et utvalg av visualiseringer av modelldata som kan brukes i det automatiserte systemet.

Eksempel på visualisering av overflatetemperaturer i operativ modell sammenliknet med satellittbaserte målinger.