Kan programvara fixa ett dåligt kameraobjektiv

Moderna kameror kan göra en del imponerande saker.

Brusreducering kan få en mörk bild att se renare ut. AI-algoritmer kan skärpa kanter. Programvara kan korrigera förvrängning, justera färg och till och med generera saknade detaljer.

Så naturligtvis frågar någon så småningom:

Om programvaran blir så bra, behöver vi fortfarande ett dyrt kameraobjektiv?

Kort svar:

Ja. Mycket så.

Programvara kan förbättra en medioker bild.

Det kan inte på ett tillförlitligt sätt förvandla dålig optisk information till bra optisk information.

Och den distinktionen är viktigare än någonsin eftersom kameror används för AI-igenkänning, robotik, övervakning, bildbehandling av bilar och maskinseende.

Programvaran är mycket bra på att städa upp en röra

Låt oss ge programvaran lite kredit först.

Modern bildbehandling kan göra mycket.

Om en bild innehåller brus kan algoritmer minska det.

Om linsens distorsion är förutsägbar kan programvaran korrigera geometrin.

Om en bild har något svag kontrast kan skärpa och lokal kontrastförstärkning göra att den ser bättre ut.

Färgbehandling kan också kompensera för vissa egenskaper hos bildbehandlingssystemet.

Detta är otroligt användbart.

I själva verket skulle moderna kameror vara mycket sämre utan datoravbildning.

Men det finns en viktig gräns:

Programvara kan bearbeta information. Det kan inte helt återställa information som det optiska systemet aldrig fångade.

Det är där objektivet kommer in.

Du kan inte vässa det som aldrig löstes

Föreställ dig att fotografera en registreringsskylt på avstånd.

Sensorn har tillräckligt med pixlar.

Kameran är korrekt exponerad.

Men objektivet kan inte lösa de små tecknen tydligt.

Karaktärerna kommer fram till sensorn som suddiga former.

Applicera nu skärpning.

Kanterna kan se starkare ut.

Använd AI-förbättring.

Resultatet kan se ännu mer övertygande ut.

Men det finns ett problem.

Den ursprungliga fina detaljen registrerades aldrig ordentligt.

Programvaran uppskattar hur detaljen kan ha sett ut.

För ett avslappnat fotografi kan det vara helt acceptabelt.

För applikationer som registreringsskyltigenkänning, ansiktsigenkänning, industriell inspektion eller maskinseende är "ser troligt ut" och "innehåller pålitlig information" inte nödvändigtvis samma sak.

Den skillnaden är viktig.

MTF är där argumentet blir allvarligt

Detta är en anledning till att optiska ingenjörer uppmärksammarMTF (Modulation Transfer Function).

MTF beskriver hur effektivt ett objektiv bevarar kontraster på olika detaljnivåer.

Ett objektiv med dålig högfrekvent prestanda kan ha svårt att återge mycket fina strukturer.

Ingen mängd efterbehandling kan på magiskt sätt få den linsen att bete sig som ett fundamentalt bättre optiskt system.

Programvara kan öka den skenbara skärpan.

Det kan inte ändra objektivets fysiska upplösningsförmåga.

Det är därför en kamera med en 8MP-sensor fortfarande kan producera nedslående detaljer om det optiska systemet inte kan dra fördel av dessa pixlar.

Du kan ha åtta miljoner pixlar.

Du kan inte tvinga ett suddigt objektiv att leverera åtta miljoner användbara detaljer.

Vad sägs om AI-bildförbättring?

Det är här saker och ting blir extra intressanta.

AI-baserad bildförbättring kan ibland ge anmärkningsvärt övertygande resultat.

Men det finns en subtil skillnad mellan:

återställa information

och

genererar ett troligt resultat.

AI kan härleda mönster baserat på vad den har lärt sig.

Det kan få en bild att se betydligt bättre ut för en mänsklig betraktare.

Men om kameran används för att fatta ett objektivt beslut måste ingenjörer vara försiktiga.

Till exempel, om ett AI-system identifierar ett fordon, läser text eller inspekterar ett tillverkningsfel, kanske artificiellt genererade detaljer inte alltid representerar vad som faktiskt fanns på scenen.

Med andra ord:

En vacker bild är inte automatiskt en pålitlig bild.

Det är en skillnad som är värd att komma ihåg när man designar AI-visionsystem.

Det finns några problem Programvaran kan helt enkelt inte ångra

Tänk på flera vanliga optiska problem.

Dålig upplösning

Om objektivet inte kan lösa fina detaljer har programvaran begränsad verklig information att arbeta med.

Otillräckligt ljus

En långsam lins i en mörk miljö kan tvinga sensorn att arbeta med hög förstärkning, vilket producerar brus och minskar användbara detaljer.

Programvara kan minska bruset, men aggressiv brusreducering kan också ta bort fin information.

SvårKromatiskVillfarelse

Programvara kan korrigera vissa förutsägbara färgkanter, men allvarlig optisk aberration betyder fortfarande att den ursprungliga bildkvaliteten har äventyrats.

Dålig Edge Performance

Om hörnen på en vidvinkelbild är kraftigt suddiga kan digital skärpa få dem att se mer kontrasterande ut utan att återställa den saknade detaljen.

Flare och spöken

Starka reflektioner inuti det optiska systemet kan kontaminera bilden. När oönskat ljus väl har blandats in i den infångade signalen har mjukvaran mycket begränsad förmåga att separera det perfekt.

Det är därför optisk design fortfarande spelar roll.

Den bästa kameran använder både optik och programvara

Det verkliga svaret är inte:

Optik kontra mjukvara.

Det är:

Optik + mjukvara.

En väldesignad kamera ger mjukvaran en bra utgångspunkt.

Linsen ger:

Tillräcklig upplösning

Adekvat ljusgenomsläpplighet

Kontrollerad distorsion

Bra kontrast

Stabil kantprestanda

Lämplig sensormatchning

Då kan bildbehandling ta den starka optiska grunden och göra den slutliga bilden ännu bättre.

Detta är mycket effektivare än att be programvaran att rädda ett fundamentalt svagt optiskt system.

Tänk på det som att laga mat.

Programvaran är kryddan.

En bra algoritm kan göra en bra bild bättre.

Men om ingredienserna redan är brända är det förmodligen inte lösningen att tillsätta mer krydda.

Detta betyder ännu mer för AI-kameror

För traditionell fotografering kan en lite ofullständig bild helt enkelt vara oattraktiv.

För AI-vision kan konsekvenserna bli allvarligare.

AI-algoritmer beror på visuella funktioner som:

 Kanter

Former

Texturer

Kontrast

Färg

Objektgränser

Om det optiska systemet förstör dessa funktioner innan de når sensorn, får AI-systemet sämre input.

Det kan påverka detekterings- och igenkänningsprestandan.

Detta är anledningen till att optisk design i allt högre grad bör betraktas som en del av AI-systemet – inte bara en komponent fäst på framsidan av en kamera.

Så, kan programvara fixa ett dåligt objektiv?

Det beror på vad du menar med "fixa".

Programvara kan korrigera vissa förutsägbara optiska egenskaper.

Det kan förbättra kontrasten.

Det kan minska buller.

Det kan skärpa bilder.

Det kan korrigera distorsion.

Men programvara kan inte helt ersätta:

Bra optisk upplösning.

Bra ljusöverföring.

Bra optisk inriktning.

Bra aberrationskontroll.

Den bästa bildbehandlingsalgoritmen i världen behöver fortfarande fotoner att arbeta med.

Och dessa fotoner måste färdas genom linsen först.

På Boshi Optics närmar vi oss utvecklingen av kameralinser från den utgångspunkten: det optiska systemet måste ge användbar information innan programvaran börjar bearbeta den. Med funktioner för optisk design, tillverkning, montering och optisk testning utvecklar Boshi Optics linser för applikationer inklusive säkerhetskameror, AI-vision, bildbehandling av bilar, drönare, medicinsk bildbehandling och andra kamerasystem.

För i slutändan kan programvara förbättra en bild.

Men linsen avgör vilken information som kommer dit i första hand.