Et dybdekamera kan virke præcist indendørs og derefter blive støjfyldt ved et lyst vindue eller på en blank overflade. Ændringen hænger ofte sammen med, hvordan sensoren fortolker det tilbagevendende infrarøde lys, og ikke blot med en enkel grænse for ”rækkevidde”. iToF er almindeligt i kompakte 3D-sensorsystemer, fordi dybden kan estimeres over mange pixels på én gang. Denne guide gennemgår måleprocessen, de vigtigste begrænsninger for nøjagtighed, forskellen i forhold til dToF og de anvendelser, hvor fasebaseret dybdemåling er særligt nyttig.
iToF er lettest at forstå som en fasebaseret metode til dybdemåling frem for blot en generel betegnelse for time-of-flight. Grundideen bliver enkel, når det udsendte og det returnerede lyssignal ses i sammenhæng.
Indirect Time-of-Flight, eller iToF, er en aktiv dybdemålingsteknik, der estimerer afstand ud fra faseforsinkelsen mellem udsendt og reflekteret moduleret infrarødt lys. I modsætning til et almindeligt RGB-kamera, som registrerer farve og lysstyrke, er en iToF-sensor udviklet til at estimere, hvor langt overflader befinder sig fra kameraet. Betegnelsen ”indirect” adskiller fasebaseret tidsmåling fra direkte ToF-systemer, som måler tiden for enkelte lyspulser eller fotoners ankomst. iToF er især nyttig, når en anvendelse kræver et tæt dybdebillede over et synsfelt, f.eks. i et 3D-kamera, en bevægelsessensor eller et modul til robotperception.
iToF omdanner en faseforskydning i moduleret lys til et afstandsestimat. Ved at følge måleforløbet bliver den grundlæggende afstandslogik lettere at forstå.
En iToF-sensor oplyser en scene med infrarødt lys, hvis intensitet moduleres ved en kendt frekvens. Lyset reflekteres fra objekter og vender tilbage til modtageren med det samme overordnede modulationsmønster, men faseforskudt, fordi det har bevæget sig til objektet og tilbage. Sensoren behøver ikke identificere en enkelt udsendt puls. I stedet sammenligner den de udsendte og modtagne bølgeformer over mange cyklusser. Det gør målingen velegnet til kompakte dybdekameraer, der har brug for et tæt felt af afstandsværdier i stedet for én langtrækkende punktmåling.
Den centrale måling i iToF er faseforskellen. Hvis den returnerede modulation er forsinket med en del af en cyklus, omdanner elektronikken faseforskydningen til en udbredelsestid frem og tilbage og derefter til afstand ved hjælp af lysets hastighed. Da fasen gentages for hver fulde cyklus, har en enkelt modulationsfrekvens en grænse for entydig afstand. Praktiske sensorer kan bruge flere frekvenser eller kodet modulation for at udvide det brugbare område og reducere tvetydighed. Beregningen udføres for mange pixels samtidigt, hvilket gør det muligt for iToF at levere dybdedata ved videolignende billedhastigheder.
Hver lysfølsom pixel eller pixelgruppe estimerer en afstand og danner dermed et sæt dybdeværdier, der er tilpasset scenen. Efter kalibrering, filtrering, kontrol af konfidens og håndtering af ugyldige pixels omdanner enheden målingerne til et dybdekort. Et dybdekort kan vises som et gråtonebillede, konverteres til en 3D-punktsky eller kombineres med et almindeligt kamerabillede. Den vigtige forskel er, at kortet repræsenterer geometri: nærliggende overflader får mindre afstandsværdier, mens fjernere overflader får større værdier, så software direkte kan analysere form og adskillelse.
Ydelsen i virkelige miljøer afhænger af kvaliteten af signalet, der når sensoren, og af hvor præcist systemet kan fortolke det. Punkterne herunder forklarer de vigtigste forhold for pålidelige målinger.
Flervejsinterferens opstår, når udsendt lys når en pixel efter at være blevet reflekteret ad mere end én vej. En væg tæt på et blankt gulv, et hjørne eller et delvist reflekterende objekt kan blande en tidlig retur med en forsinket retur. Den målte fase bliver dermed en blanding i stedet for at repræsentere én ren afstand, så kanter og konkave områder kan se forvrængede ud. Bedre optik, modulationsmetoder, konfidensmålinger, scenefiltrering og flerfrekvensbehandling kan reducere fejlen. Systemdesignere bør dog stadig teste sensoren med den geometri og de materialer, der forventes i den endelige anvendelse.
Sollys og kraftig indendørs belysning tilføjer fotoner, som ikke kommer fra sensorens emitter. Denne baggrund øger støjen og kan reducere kontrasten i det modulerede retursignal, især ved længere afstande eller på mørke overflader. Resultatet kan være mere støjfyldte dybdedata, lavere konfidens eller manglende pixels. Optiske filtre centreret omkring emitterens bølgelængde, højere modulationskontrast, passende eksponering og tidsmæssig gennemsnitsberegning kan hjælpe. Udendørssystemer bør vurderes i direkte sollys og ikke kun i et laboratorium, fordi signal-støj-forholdet kan ændre sig markant mellem miljøerne.
Meget mørke materialer returnerer kun lidt infrarød energi, mens blanke eller spejlende materialer kan lede energien væk fra modtageren eller skabe kraftige spejlrefleksioner. Begge dele kan forvrænge et dybdebillede. Sort stof kan give svage eller ugyldige pixels, mens poleret metal eller glas kan skabe ustabile afstande afhængigt af vinklen. Et robust system bruger konfidensgrænser og kombinerer ofte dybde med andre sensoroplysninger. Den mekaniske placering betyder også noget: en ændring af kameraets vinkel kan gøre en vanskelig refleksion til et brugbart diffust retursignal uden at ændre selve sensoren.
Dybdedata er kun nyttige, når optik, timing og geometri er kalibreret. Temperaturændringer, linseforvrængning, tidsforskydninger mellem pixels og justeringen mellem emitter og modtager kan skabe systematiske fejl, hvis de ikke kompenseres. Bevægelse giver en ekstra udfordring, fordi scenen kan ændre sig under den sekvens af faseprøver, der bruges til ét dybdebillede. Hurtigt bevægende kanter kan derfor vise midlertidige artefakter. Fabrikskalibrering giver et udgangspunkt, mens validering i den konkrete anvendelse kontrollerer, om monteringsvibrationer, temperaturområde, eksponeringsindstillinger og billedhastighed passer til den forventede bevægelse.
De to metoder løser beslægtede problemer på forskellige måder. De praktiske afvejninger bliver tydeligere, når de samme ydelsesfaktorer sammenlignes side om side.
Faktor | iToF | dToF |
Primær måling | Faseforskydning i moduleret lys | Direkte rejsetid for puls/foton |
Typisk styrke | Tæt dybdeafbildning | Længere entydig rækkevidde |
Almindelig udfordring | Fasetvetydighed og flervejsrefleksioner | Timingpræcision og fotonstatistik |
Omgivende lys | Kan reducere modulationens SNR | Kan øge baggrundens fotonrate |
Arkitektur | Korrelations-/fasepixels | Hurtig detektor og timingkredsløb |
Teknologien bliver lettere at forstå, når den kobles til de opgaver, den udfører i virkelige systemer. Eksemplerne viser, hvordan det samme måleprincip kan understøtte forskellige former for automatisering.
I et dybdekamera kan iToF optage et tæt afstandsbillede uden at være afhængig af synlig tekstur. Det kan understøtte rumgeometri, personsegmentering, volumenestimering, baggrundsadskillelse og 3D-rekonstruktion. Sensoren kan arbejde sammen med et RGB-kamera, når både farve og geometri er nødvendige. Den brugbare rækkevidde afhænger af modulation, optik, emittereffekt, overfladers reflektivitet og omgivende lys, så betegnelsen ”3D-kamera” garanterer ikke ens ydeevne i alle scener. Det er vigtigere at matche synsfelt og dybdeområde til opgaven end blot at se på pixelantallet.
En robot kan bruge et dybdekort til at identificere fri plads, estimere afstand til objekter og afgøre, om en passage er bred nok. I modsætning til en enkelt nærhedssensor leverer et dybdekamera rumlig struktur over mange pixels, hvilket hjælper med at adskille underlaget fra forhindringer og estimere deres form. Udendørsrobotter kombinerer ofte dybdedata med syn, inertisensorer, hjulodometri eller satellitpositionering, fordi ingen enkelt sensor er ideel under alle forhold. Til automatiseret plænepleje kan denne lagdelte tilgang understøtte sikrere ruteplanlægning omkring møbler, træer, kanter, kæledyr og genstande, der ændrer placering i haven.
Et aktuelt eksempel fra Sunseeker er Sunseeker Elite X9, som kombinerer binokulært syn, iToF- og dToF-sensorer samt infrarød registrering til 360-graders forhindringsdetektion.
Et praktisk eksempel på udendørsrobotik er Sunseekers kollektion af robotplæneklippere, hvor navigation og registrering af forhindringer kombineres med autonom klipning.
Dybdedata på kort og mellemlang afstand er nyttige, når software skal forstå, hvor langt en hånd, et ansigt eller en overflade befinder sig fra en enhed. Bevægelsessystemer kan isolere hænder fra baggrunden og følge bevægelser i 3D. AR-systemer kan forbedre okklusion, scenenet og objektplacering, når pålidelige dybdedata er tilgængelige. Nærhedsfunktioner kan registrere, at noget nærmer sig eller er til stede, uden at kræve detaljerede farvebilleder. Den tekniske afvejning står typisk mellem dybderækkevidde, synsfelt, strømforbrug, billedhastighed, modulstørrelse og mængden af omgivende lys i det tilsigtede miljø.
iToF omdanner faseforsinkelsen i moduleret infrarødt lys til tætte dybdeoplysninger, men den brugbare nøjagtighed afhænger af signalkvalitet, reflektivitet, bevægelse, flervejsrefleksioner og kalibrering. Når disse begrænsninger vurderes sammen med rækkevidde og opløsning, giver det et langt klarere billede end at behandle alle time-of-flight-sensorer som ens. I robotik er dybdemåling mest effektiv, når den supplerer navigationssystemet og tager højde for driftsmiljøet.
3D iToF bruger moduleret infrarød belysning og måler faseforsinkelsen i det reflekterede signal over mange sensorpixels. Hver pixel omdanner faseforskellen til et afstandsestimat, og kameraet samler målingerne til et dybdekort. Kalibrering, modulationsfrekvens, reflektivitet, omgivende lys og bevægelse påvirker alle den endelige konfidens i dybdedataene.
Et 3D iToF-kamera integrerer en infrarød emitter, en fasefølsom billedsensor, optik, timingelektronik, kalibreringsdata og dybdebehandling. I stedet for kun at levere farve producerer det en dybdeværdi for mange punkter i scenen. Nogle moduler leverer også amplitude, konfidens eller synkroniserede RGB-data, så udseende og geometri kan kombineres.
Den vigtigste fordel er tæt dybdemåling i et kompakt kameraformat ved praktiske billedhastigheder. Det kan forenkle 3D-segmentering, nærhedsregistrering, bevægelsessporing, robotperception og scenerekonstruktion. Anvendelsen har stadig brug for passende rækkevidde og lysmargin, fordi sollys, flervejsrefleksioner, lav reflektivitet og bevægelse kan reducere målekonfidensen.