Niedawno zespół badawczo-rozwojowy Homsh® zakończył trójstopniową integrację kaskadową modułu wychwytu binokularnego MD31, platformy obliczeniowej RK3588 i akceleratora AXU9EGB FPGA,i opublikował stopniowy raport techniczny. Od uchwycenia obrazu oka w warstwie szarości 640×480 przez kamerę, poprzez ocenę jakości, lokalizację tęczówki, wniosek o cechach, dopasowanie 1:N,do wyświetlania wyników rozpoznawania z powrotem na ekranie cały ten rurociąg teraz działa w pełni przez trzy płyty sprzętowe.
Dla Homsha to coś więcej niż kolejny udany test integracji.Oznacza to, że przenieśliśmy funkcje rozpoznawania tęczówki, które wcześniej działały na PCch przemysłowych z systemem Windows, do architektury krawędzi o niższym zużyciu energii., bardziej elastyczne czynniki kształtu i możliwość wbudowania do różnych urządzeń końcowych.
Cały system przyjmuje kaskadową architekturę: przechwytywanie i obcinanie przez kamerę MD31, dostęp i transmisję przez RK3588, wnioskowanie przez AXU9EGB FPGA i wizualne sprzężenie zwrotne przez RK3588.MD31 wydobywa wycięte obrazy jednego oka dla obu lewych i prawych oczu; RK3588 działa na systemie Android ARM64, odpowiedzialnym za parzenie binokulerowe, zarządzanie zadaniami i transmisję sieciową; FPGA obsługuje bramę jakości i wszystkie algorytmy tęczówki,i wysyła wyniki z powrotem do RK3588 do wyświetlania.
Ten podział pracy ma głębsze znaczenie: przechwytywanie kamer i wnioski FPGA są całkowicie odłączone, połączone przez zunifikowaną warstwę semantyczną protokołu.Każdy zestaw obrazów lewego i prawego oka jest powiązany z identyfikatorem operacji i ściśle wzrastającym numerem sekwencyjnym, zapewniając, aby nie było zamieszania pomiędzy klatkami przeglądu, klatkami ponownego próby i klatkami z poprzednich zadań.Zarówno nasze starsze rozwiązanie Windows, jak i nowe rozwiązanie RK3588 mają ten sam zestaw protokołów FPGA i definicje wyników wnioskowania, z jednym zestawem usług pokładowych obsługujących dwie generacje systemów hosta.
Całkowity przepływ danych trójpoziomowej kaskady
FPGA zwraca status jakości, tożsamość kandydata, wyniki podobieństwa, odległości, progi i czas trwania etapu razem, dzięki czemu cały proces rozpoznawania jest w pełni widoczny dla użytkowników.
Najcięższa część rurociągu leży na AXU9EGB, opartej na płycie Zynq UltraScale+ MPSoC FPGA, i umożliwiającej Vitis AI 3.0 i przyspieszenie sprzętu DPU,podejmuje pełny siedmiostopniowy rurociąg wnioskowania: z walidacji danych wejściowych, lokalizacji źrenice i tęczówki poprzez sześcioparametrowy model okrągły, quality gating, rozwinięcie współrzędnych biegunowych Daugmana,do 512-wymiarowego generowania cech tęczówki przez sieć IResNet100, 1:N dopasowanie po normalizacji L2 i wreszcie zwrot wyników wraz z opóźnieniem na etap.
Umożliwienie głębokiej sieci setkowarstwowej do stabilnego wyodrębniania funkcji na FPGA opiera się na ścisłym dostosowaniu pomiędzy kwantowaniem modelu, zestawami danych kalibracyjnych i rozkładami obrazu prawdziwej kamery,jak również niestandardowy zero-kopii przyspieszenia backend dla modelu okrągłegoDokładnie to Homsh robi od 15 lat: wbudowanie algorytmów w sprzęt, tak aby rozpoznawanie odbywało się jak najbliżej urządzenia.
Siedmiostopniowy system wnioskowania pokładowego na FPGA
Obrazy, które nie są sprawdzane jakościowo, są odrzucane w trzecim kroku, unikając marnowania obliczeń funkcji.512-wymiarowy wektor cech tęczówki
Pod względem logiki użytkowania system przestrzega zasady "ostrzeżonej rejestracji, elastycznego rozpoznawania".zarówno lewy, jak i prawy wzrok użytkownika muszą przejść przez bramę jakości i być pomyślnie zarejestrowane; nieprawidłowe ramy, podwójne strony oczu i nieznane strony oczu są wyłączone z liczby rejestracyjnej.N w stosunku do szablonów lewego i prawego oka w bibliotece szablonów odpowiednioW przypadku dopasowania obrazu oka z dowolnego zapytania do dowolnego szablonu otrzymuje się wynik. Użytkownicy nie muszą pozycjonować obu oczu dla systemu.
Braki jakości, tymczasowe niezgodności lub naprawialne błędy komunikacyjne nie kończą zadania nagle. System zachowuje stan zadania i nadal czeka na następny zestaw obrazów;po odzyskaniu połączenia, rozpoczyna się od identyfikatora operacji i potwierdzonych numerów sekwencji bez ponownego przesyłania ram już otrzymanych przez FPGA.opóźnienie jest przekazywane do interfejsu, czyniąc sukcesy, porażki i ponowne próby widocznymi dla użytkowników.
Rejestracja wymaga kompletnych szablonów binokulowych, podczas gdy rozpoznawanie wymaga tylko dopasowania z jednego oka, zrównoważając bezpieczeństwo i doświadczenie użytkownika.
Co jesteśmy najbardziej dumni z tego raportu etapowego jest w rzeczywistości jego metodologii."Weryfikowane historycznie" z poprzednich rekordów integracjiWszystkie 176 zautomatyzowanych testów na bazie systemu Windows przeszły.150 pokładowych testów Python, a także funkcje rejestracji/uznania i odzyskiwania połączeń zakończone zintegrowanie Produkty, które nie zostały jeszcze ponownie przetestowane na miejscu, są również wyraźnie oznaczone "Do weryfikacji" na czarno-białym, bez wątpliwości.
Rozpoznawanie tęczówki to sprawa tożsamości, nie pozostawiając miejsca na "prawdopodobnie w porządku".
Trzy kluczowe dane: 512-wymiarowe funkcje generowane za pomocą przyspieszenia DPU; wszystkie 176 zautomatyzowanych testów bazowych systemu Windows przeszło; 150 zapisów testowych w systemie Python przeszło.
Ogólne zdanie sprawozdania jest takie, że obecne rozwiązanie stworzyło podstawy dla stopniowej demonstracji, integracji i dokumentacji,z jasnymi granicami architektonicznymi i technicznie wykonalną ogólną architekturą kaskadowąNastępne priorytety są równie jasne: stabilność od końca do końca, jakość obrazu w czasie rzeczywistym, spójność rozwijania współrzędnych biegunowych i monitorowanie stanu zamkniętej pętli w celu długoterminowej pracy,przeniesienie rurociągu z funkcjonalnego na stabilny i niezawodny, a następnie do gotowych do produkcji produktów.
Od samodzielnie opracowanych chipów rozpoznawania tęczówki, do synergii oprogramowania i sprzętu między algorytmami i FPGA, do dzisiejszych kompletnych systemów rozpoznawania wbudowanych w urządzenia krańcowe,Homsh zawsze wierzył, że przyszłość biometrii leży na krawędziTen raport jest kolejnym krokiem w kierunku tej przyszłości.
