De nieuwe 1,8-gigapixel camera van DARPA is een superhoog oplossend oog in de lucht

Anonim

De nieuwe 1, 8-gigapixel-camera van DARPA is een oog met een superhoge resolutie in de lucht

Leger

Brian Dodson

12 februari 2013

8 afbeeldingen

Hieronder verschijnt een deel van een ARGUS-IS-beeld van Quantico Marine Corps Base in Virginia, terwijl hierboven twee doelgebieden lijken die de zes-inch resolutie van de camera suggereren

DARPA heeft onlangs informatie vrijgegeven over zijn ARGUS-IS (Autonomous Real-Time Ground Ubiquitous Surveillance Imaging System), een bewakingscamera die honderden smartphone-beeldsensors gebruikt om een ​​afbeelding van 1, 8 gigapixel op te nemen. Ontworpen voor gebruik in een onbemande drone (waarschijnlijk een MQ-1 Predator), vanaf een hoogte van 6.100 m kan ARGUS een real-time video-oog houden op een gebied van 7, 2 mijl (7, 2 km) tot een resolutie van ongeveer vijftien centimeter.

Een van de grootste behoeften van een grondbevelhebber in deze dagen van asymmetrische oorlogsvoering is om te weten wat er op het actieterrein gebeurt. Dit alleen stelt een bevelhebber in staat om de troepen te leiden naar waar ze de grootste effectiviteit zullen hebben, terwijl ook de kans op verrassingsacties door vijandelijke troepen substantieel wordt verminderd. Dit niveau van situational awareness is moeilijk genoeg om op een conventioneel slagveld te verwerven, maar was bijna onmogelijk wanneer het actieterrein ruimtelijk rommelige theaters omvat, zoals steden, en olieraffinaderijen.

Een ARGUS-IS-weergavebord met het volledige bewaakte gebied samen met 19 gerichte videovensters

Het verbeteren van situationeel bewustzijn, met name in asymmetrische oorlogsscenario's, is een van de belangrijkste missies van DARPA in de afgelopen jaren. Het Autonomous Realtime Ground Alomtegenwoordig Surveillance Imaging System (ARGUS-IS) programma ontwikkelt een real-time high-resolution videobewakingssysteem met hoge resolutie dat real-time video biedt in een groot theater van actie, identificeert en volgt bewegende objecten, en biedt tot 65 individueel gerichte videovensters voor close-up observatie.

De 1, 8 gigapixel digitale camera is het eenvoudige deel van het ARGUS-IS-systeem, bestaande uit een matrix van CMOS optische sensoren, hoogwaardige beeldverwerkingoptica en een zes-assig gestabiliseerd cardansysteem. De 1, 8 gigapixel sensor bestaat uit een matrix van 368 Aptina MT9P031 5-megapixel smartphone CCD's. Deze sensoren hebben een actief oppervlak van 5, 7 x 4, 3 mm elk, dus de breedte van de sensormatrix is ​​ongeveer 90 mm (3, 5 in). Met behulp van een beetje trigonometrie en basale optica kunnen we schatten dat de brandpuntsafstand van de beeldlens ongeveer 85 mm (3, 35 inch) is.

Voor het gebruik van Commercial Off The Shelf (COTS) beeldsensors voor groothoek-beeldvorming is het nodig dat telecentrische beeldvormingsoptica worden gebruikt om massale computerverwerking te vermijden om de beelden te corrigeren. Wanneer een telecentrische lens wordt gebruikt, valt het gefocusseerde licht loodrecht op de beeldsensoren. Dit voorkomt variaties in de helderheid als gevolg van de lensjes die boven de CMOS-pixels zijn geplaatst en kleurvervormingen als gevolg van een verkeerde uitlijning van het binnenkomende licht met de Bayer-filters van de pixel.

De camera heeft vier lenzen, die worden gebruikt om hiaten in de afbeelding te voorkomen wanneer de 368 afzonderlijke afbeeldingen worden gecombineerd tot een enkele masterafbeelding. De afbeelding hierboven laat zien dat het optisch actieve deel (grijze binnenste rechthoek) van een CMOS-beeldsensor de chip niet vult waarop deze is gefabriceerd - er is extra ruimte nodig voor bedrading. Als de 368-beeldsensors van de ARGUS-IS in een enkele matrix waren verpakt, zou een aanzienlijk deel van het bewaakte gezichtsveld niet worden afgebeeld.

In plaats daarvan is de ARGUS-IS-sensormatrix opgesplitst in vier delen, elk met 92 sensoren. In de bovenstaande afbeelding is de matrix opgesplitst in groene, rode, blauwe en gele submatrices. (Deze kleuren zijn niet de kleuren waarvoor de sensoren gevoelig zijn - de kleuren dienen alleen ter referentie.) Het gewenste beeld (in het midden van de afbeelding) wordt door de submatrices gemarkeerd in 2 x 2 patronen. De groene sensoren bevinden zich linksboven, de rode sensoren rechtsboven, de blauwe sensoren linksonder en de gele sensoren rechtsonder in de herhalende 2 x 2 patronen. Elk van de vier submatrices heeft nu voldoende ruimte rond de randen van de sensoren om de nodige bedradingsstructuren te kunnen opnemen. Elke cameralens voert elke kleur van de submatrix door en vervolgens worden de vier gedeeltelijke afbeeldingen elektronisch samengevoegd tot een enkele afbeelding die het gehele gezichtsveld beslaat.

Nu komt het moeilijke deel. De ARGUS-IS neemt 12 frames per seconde in beslag om videobewaking te handhaven over zijn gezichtsveld. De sensorgegevens bedragen 12 bits per pixel, dus levert de camera een vloed aan onbewerkte afbeeldingsgegevens op van 32, 4 GB / sec, terwijl de Common Data Link die door de ARGUS-IS wordt gebruikt een capaciteit van 34, 25 MB / s heeft. Het is duidelijk dat een groot deel van de gegevenscompressie moet plaatsvinden in de ARGUS-eenheid in de lucht. Om dit te doen, wordt een gegevenscompressie-eenheid met 32 ​​processoren die de functie voor datacompressie en het volgen van objecten uitvoert samen met de ARGUS-IS-camera meegevoerd.

Lawrence Livermore National Laboratory (LLNL) kreeg de taak methoden te ontwikkelen om de onbewerkte videogegevens te comprimeren en te analyseren. Het grootste deel van de visuele informatie in een luchtfoto verandert niet van frame naar frame - daken veranderen niet tenzij iemand erop loopt (of er vliegt een vogel voorbij). De LLNL-software werkt door interessante bewegende objecten te identificeren, ze te volgen terwijl ze bewegen en veranderingen in hun uiterlijk vast te leggen. De onderzoekers beweren dat deze aanpak, samen met de JPEG2000-videocompressie, resulteert in een duizendvoudige compressie van de onbewerkte videogegevens. Dit verbazingwekkende compressieniveau maakt het gebruik van de Common Data Link voor communicatie tussen lucht en aarde mogelijk.

Het doel van DARPA is om 70 uur aan beeldgegevens in het grondstation te kunnen opslaan, zodat een commandant een gebied kan bekijken dat genegeerd werd in de real-time surveillance van gisteren en de hele dag kon zien videorecord van dat gebied. Voor het opslaan van de gedecomprimeerde onbewerkte video is bijna tien petabytes ruwe video per dag nodig. In plaats daarvan wordt de gecomprimeerde gegevensstroom van de ARGUS-IS opgeslagen, die slechts ongeveer zes terabytes aan gegevensopslag vereist - slechts twee keer zo groot als mijn back-upschijf van $ 200. Nu de videogegevens zijn verzameld, hebben mensen extra hulp nodig om erachter te komen wat er gebeurt. De traditionele interface (oogbollen) tussen videogegevens en de menselijke analisten is veel te inefficiënt wanneer dit niveau van gegevensinvoer wordt ervaren. Dit is niet alleen een probleem voor ARGUS-IS, maar het beperkt ook het effectieve gebruik van een aantal grote gegevensstroomintelligentieactiva.

Helpend om te begrijpen wat er allemaal gebeurt over een actieradius van tien tot twintig vierkante mijl is de taak van het Ground Exploitation System (GES). De GES biedt een visuele interface voor de grondbeelden, die vergelijkbaar is met die van Google Earth, waardoor tientallen gebruikers de achtergrondafbeeldingen kunnen bekijken, doelindicatoren kunnen verplaatsen die tienduizenden gronddoelen volgen en 65 VGA-videovensters om bij te houden van locaties van bijzonder belang.

Hoewel sommige van de functies op een hoger niveau van het ARGUS-IS-systeem nog steeds worden geoptimaliseerd, is de algehele functionaliteit van het systeem verbazingwekkend, vooral omdat de mogelijkheden waarschijnlijk aanzienlijk groter zijn dan momenteel wordt onthuld. Een beter gevoel voor de 'basisfuncties' van de ARGUS-IS wordt geleverd door een video van de PBS-televisieshow NOVA, die door DARPA ongekende toegang tot het ARGUS-IS-systeem heeft gekregen.

Bron: DARPA via PBS

Schets van de ARGUS-IS-camera met vier lenzen, gemonteerd in gyroscopisch gestabiliseerde gimbal-steunen (Afbeelding: Lawrence Livermore National Laboratory)

Afbeelding van ARGUS-IS die grondactiviteiten bekijkt (Afbeelding: DARPA)

Blokschema van het ARGUS-IS-systeem (Afbeelding: DARPA)

Hieronder verschijnt een deel van een ARGUS-IS-beeld van Quantico Marine Corps Base in Virginia, terwijl hierboven twee doelgebieden lijken die de zes-inch resolutie van de camera suggereren

Compressie- en analysesoftware voor de ARGUS-IS is geïmplementeerd op een computer met 12 knooppunten die een totaal van 40 teraflops levert (Photo: Lawrence Livermore National Laboratory)

Vier submatrices van beeldsensors worden aan elkaar gestikt om de ARGUS-IS-afbeeldingen te vormen

Een ARGUS-IS-weergavebord met het volledige bewaakte gebied samen met 19 gerichte videovensters

Een CCD-beeldsensor is kleiner dan de chip en het pakket