Kamera głębi może działać dokładnie w pomieszczeniu, a następnie generować więcej szumu przy jasnym oknie lub na błyszczącej powierzchni. Taka zmiana często wynika ze sposobu, w jaki czujnik interpretuje powracające światło podczerwone, a nie z prostej granicy „zasięgu”. iToF jest popularne w kompaktowych systemach pomiaru 3D, ponieważ może jednocześnie szacować głębię dla wielu pikseli. Ten przewodnik omawia proces pomiaru, główne ograniczenia dokładności, różnicę między iToF a dToF oraz zastosowania, w których fazowy pomiar głębi jest szczególnie przydatny.
iToF najłatwiej rozumieć jako fazową metodę pomiaru głębi, a nie ogólną nazwę technologii time-of-flight. Podstawowa zasada staje się prosta, gdy zestawi się sygnał światła emitowanego z sygnałem powracającym.
Indirect Time-of-Flight, czyli iToF, to aktywna technika pomiaru głębi, która szacuje odległość na podstawie opóźnienia fazowego między emitowanym a odbitym modulowanym światłem podczerwonym. W przeciwieństwie do typowej kamery RGB rejestrującej kolor i jasność, czujnik iToF określa, jak daleko powierzchnie znajdują się od kamery. Określenie „indirect” odróżnia pomiar czasu oparty na fazie od bezpośrednich systemów ToF, które mierzą czas pojedynczych impulsów światła lub rejestrują moment dotarcia fotonów. iToF jest szczególnie użyteczne tam, gdzie potrzebny jest gęsty obraz głębi w całym polu widzenia, np. w kamerze 3D, czujniku gestów lub module percepcji robotycznej.
iToF przekształca przesunięcie fazowe modulowanego światła w oszacowanie odległości. Prześledzenie tego procesu pomaga zrozumieć logikę pomiaru odległości.
Czujnik iToF oświetla scenę światłem podczerwonym, którego natężenie jest modulowane ze znaną częstotliwością. Światło odbija się od obiektów i wraca do odbiornika z tym samym ogólnym wzorcem modulacji, lecz przesuniętym w fazie, ponieważ przebyło drogę do obiektu i z powrotem. Czujnik nie musi identyfikować pojedynczego wyemitowanego impulsu. Zamiast tego porównuje przebiegi wysłane i odebrane w wielu cyklach. Dzięki temu metoda dobrze sprawdza się w kompaktowych kamerach głębi, które potrzebują gęstego pola wartości odległości, a nie jednego dalekiego pomiaru punktowego.
Kluczową wielkością w iToF jest różnica faz. Jeśli powracająca modulacja jest opóźniona o część jednego cyklu, elektronika przelicza to przesunięcie fazowe na czas propagacji w obie strony, a następnie na odległość z wykorzystaniem prędkości światła. Ponieważ faza powtarza się po każdym pełnym cyklu, jedna częstotliwość modulacji ma ograniczony jednoznaczny zakres pomiaru. W praktyce czujniki mogą korzystać z wielu częstotliwości lub modulacji kodowanej, aby zwiększyć użyteczny zasięg i ograniczyć niejednoznaczność. Obliczenia są wykonywane dla wielu pikseli jednocześnie, dzięki czemu iToF może dostarczać dane głębi z częstotliwością zbliżoną do wideo.
Każdy światłoczuły piksel lub grupa pikseli szacuje odległość, tworząc zestaw wartości głębi odpowiadających scenie. Po kalibracji, filtrowaniu, sprawdzeniu poziomu ufności i obsłudze nieprawidłowych pikseli urządzenie przekształca pomiary w mapę głębi. Można ją wyświetlić jako obraz w skali szarości, zamienić w chmurę punktów 3D lub połączyć z obrazem ze zwykłej kamery. Najważniejsze jest to, że mapa reprezentuje geometrię: bliższe powierzchnie otrzymują mniejsze wartości odległości, a dalsze większe, co daje oprogramowaniu bezpośrednią informację o kształcie i rozdzieleniu przestrzennym.
Rzeczywista skuteczność zależy od jakości sygnału docierającego do czujnika oraz od tego, jak dokładnie system potrafi go zinterpretować. Poniższe czynniki mają największy wpływ na wiarygodność pomiarów.
Interferencje wielodrogowe występują, gdy emitowane światło dociera do piksela po odbiciu kilkoma różnymi drogami. Ściana przy błyszczącej podłodze, narożnik lub częściowo odbijający obiekt mogą połączyć szybki powrót sygnału z opóźnionym. Zmierzona faza staje się wtedy mieszaniną zamiast reprezentować jedną czystą odległość, dlatego krawędzie i wklęsłe obszary mogą wyglądać na zniekształcone. Lepsza optyka, odpowiednie schematy modulacji, miary ufności, filtrowanie sceny i przetwarzanie wieloczęstotliwościowe mogą ograniczyć błąd. Mimo to projektanci powinni testować czujnik w geometrii i z materiałami przewidywanymi w końcowym zastosowaniu.
Światło słoneczne i mocne oświetlenie wewnętrzne dodają fotony, które nie pochodzą z emitera czujnika. Tło to zwiększa szum i może zmniejszyć kontrast modulowanego sygnału powrotnego, szczególnie przy większych odległościach lub na ciemnych powierzchniach. Skutkiem mogą być bardziej zaszumione dane głębi, niższa ufność lub brakujące piksele. Pomóc mogą filtry optyczne dopasowane do długości fali emitera, większy kontrast modulacji, odpowiednia ekspozycja i uśrednianie w czasie. Systemy zewnętrzne warto oceniać w bezpośrednim słońcu, a nie tylko w laboratorium, ponieważ stosunek sygnału do szumu może się między tymi warunkami znacznie zmieniać.
Bardzo ciemne materiały odbijają niewiele energii podczerwonej, natomiast powierzchnie błyszczące lub lustrzane mogą kierować energię poza odbiornik albo tworzyć silne odbicia zwierciadlane. Oba przypadki mogą zniekształcać obraz głębi. Czarna tkanina może powodować słabe lub nieprawidłowe piksele, a polerowany metal lub szkło mogą dawać niestabilne odległości zależnie od kąta. Odporny system stosuje progi ufności i często łączy głębię z innymi informacjami sensorycznymi. Znaczenie ma też położenie mechaniczne: zmiana kąta kamery może zamienić problematyczne odbicie w użyteczny powrót rozproszony bez zmiany samego czujnika.
Dane głębi są użyteczne tylko wtedy, gdy optyka, synchronizacja i geometria są skalibrowane. Zmiany temperatury, dystorsja obiektywu, przesunięcia czasowe pikseli i ustawienie emitera względem odbiornika mogą wprowadzać systematyczne błędy, jeśli nie są kompensowane. Ruch stanowi dodatkowe wyzwanie, ponieważ scena może zmieniać się podczas sekwencji próbek fazowych wykorzystywanych do jednej klatki głębi. Szybko poruszające się krawędzie mogą więc wykazywać chwilowe artefakty. Kalibracja fabryczna stanowi punkt wyjścia, a walidacja w aplikacji sprawdza, czy drgania montażowe, zakres temperatur, ustawienia ekspozycji i częstotliwość klatek odpowiadają oczekiwanemu ruchowi.
Oba podejścia rozwiązują podobne problemy w inny sposób, dlatego praktyczne kompromisy najlepiej widać po bezpośrednim porównaniu tych samych parametrów działania.
Czynnik | iToF | dToF |
Podstawowy pomiar | Przesunięcie fazowe modulowanego światła | Bezpośredni czas przelotu impulsu/fotonu |
Typowa zaleta | Gęste obrazowanie głębi | Większy jednoznaczny zasięg |
Typowe wyzwanie | Niejednoznaczność fazy i odbicia wielodrogowe | Precyzja czasowa i statystyka fotonów |
Światło otoczenia | Może obniżać SNR modulacji | Może zwiększać liczbę fotonów tła |
Architektura | Piksele korelacyjne/fazowe | Szybki detektor i układ czasowy |
Technologia staje się łatwiejsza do zrozumienia, gdy połączy się ją z zadaniami wykonywanymi w rzeczywistych systemach. Poniższe przykłady pokazują, jak ta sama zasada pomiaru może wspierać różne rodzaje automatyzacji.
W kamerze głębi iToF może rejestrować gęsty obraz odległości bez polegania na widocznej teksturze. Umożliwia to analizę geometrii pomieszczeń, segmentację osób, szacowanie objętości, oddzielanie tła i rekonstrukcję 3D. Czujnik może współpracować z kamerą RGB, gdy potrzebne są zarówno kolor, jak i geometria. Użyteczny zasięg zależy od modulacji, optyki, mocy emitera, refleksyjności powierzchni i światła otoczenia, dlatego samo określenie „kamera 3D” nie gwarantuje identycznej skuteczności w każdej scenie. Dopasowanie pola widzenia i zakresu głębi do zadania jest ważniejsze niż sama liczba pikseli.
Robot może wykorzystywać mapę głębi do rozpoznawania wolnej przestrzeni, szacowania odległości obiektów i oceny, czy przejazd jest wystarczająco szeroki. W przeciwieństwie do pojedynczego czujnika zbliżeniowego kamera głębi dostarcza strukturę przestrzenną dla wielu pikseli, co ułatwia oddzielenie podłoża od przeszkód i oszacowanie ich kształtu. Roboty zewnętrzne często łączą głębię z wizją, czujnikami inercyjnymi, odometrią kół lub pozycjonowaniem satelitarnym, ponieważ żaden pojedynczy czujnik nie jest idealny w każdych warunkach. W automatyzacji trawnika takie warstwowe podejście może wspierać bezpieczniejsze wyznaczanie tras wokół mebli, drzew, obrzeży, zwierząt i zmieniających się obiektów w ogrodzie.
W aktualnym przykładzie Sunseeker model Sunseeker Elite X9 łączy widzenie dwuoczne, czujniki iToF i dToF oraz podczerwień, zapewniając 360-stopniowe wykrywanie przeszkód.
Praktycznym przykładem robotyki zewnętrznej jest kolekcja roboty koszące Sunseeker, w której nawigacja i wykrywanie przeszkód są połączone z autonomicznym koszeniem.
Dane głębi krótkiego i średniego zasięgu są przydatne wszędzie tam, gdzie oprogramowanie musi rozumieć, jak daleko od urządzenia znajduje się dłoń, twarz lub powierzchnia. Systemy gestów mogą oddzielać dłonie od tła i śledzić ruch w 3D. Systemy AR mogą poprawiać obsługę zasłaniania obiektów, tworzenie siatki sceny i umieszczanie obiektów, gdy dostępna jest wiarygodna głębia. Funkcje zbliżeniowe mogą wykrywać zbliżenie lub obecność bez szczegółowego obrazu kolorowego. Kompromis konstrukcyjny zwykle obejmuje zasięg głębi, pole widzenia, pobór mocy, częstotliwość klatek, rozmiar modułu i ilość światła otoczenia w planowanym środowisku.
iToF przekształca opóźnienie fazowe modulowanego światła podczerwonego w gęste informacje o głębi, ale użyteczna dokładność zależy od jakości sygnału, refleksyjności, ruchu, odbić wielodrogowych i kalibracji. Analiza tych ograniczeń razem z zasięgiem i rozdzielczością daje znacznie pełniejszy obraz niż traktowanie wszystkich czujników time-of-flight jako równoważnych. W robotyce pomiar głębi jest najskuteczniejszy, gdy uzupełnia stos nawigacyjny i uwzględnia środowisko pracy.
3D iToF wykorzystuje modulowane oświetlenie podczerwone i mierzy opóźnienie fazowe odbitego sygnału na wielu pikselach czujnika. Każdy piksel przelicza różnicę faz na oszacowanie odległości, a kamera łączy pomiary w mapę głębi. Kalibracja, częstotliwość modulacji, refleksyjność, światło otoczenia i ruch wpływają na końcowy poziom ufności danych głębi.
Kamera 3D iToF łączy emiter podczerwieni, fazoczuły przetwornik obrazu, optykę, elektronikę czasową, dane kalibracyjne i przetwarzanie głębi. Zamiast zwracać wyłącznie kolor, generuje wartość głębi dla wielu punktów sceny. Niektóre moduły udostępniają również amplitudę, poziom ufności lub zsynchronizowane dane RGB, aby łączyć wygląd z geometrią.
Jego główną zaletą jest gęsty pomiar głębi w kompaktowym formacie kamery przy praktycznej częstotliwości klatek. Może to uprościć segmentację 3D, wykrywanie zbliżeniowe, śledzenie gestów, percepcję robotyczną i rekonstrukcję sceny. Aplikacja nadal wymaga odpowiedniego zakresu i zapasu na warunki oświetleniowe, ponieważ słońce, odbicia wielodrogowe, niska refleksyjność i ruch mogą obniżać wiarygodność pomiaru.