Gezichtsherkenning ontmaskert

Al jaren wordt er gespeculeerd over besturingssystemen die gezichtsherkenning gaan gebruiken als beveiliging. Maar zijn we al toe aan deze vorm van beveiliging, en is gezichtsherkenning al volwassen genoeg om jouw data veilig te stellen? We kunnen als eis stellen dat er in elk geval nooit een zogenaamd “false-positive” scenario mag voorkomen. Echter, niemand kan deze garantie nu geven, omdat gezichtsherkenning een complex proces is.

Waarom is gezichtsherkenning moeilijk?

Voor ik hierop in ga, moet ik eerst vertellen dat een gezichtsherkenning-systeem uit drie onderdelen bestaat. Het eerste deel is de gezichtsdetectie, het tweede deel zorgt voor de waarneming van specifieke eigenschappen van het gezicht en het laatste onderdeel doet de uiteindelijk herkenning van het gezicht: we plakken een naam bij het gezicht.

Gezichtsherkenning is lastig om eenvoudige redenen. Er zijn namelijk veel factoren die de ruwe data beïnvloeden. Denk bijvoorbeeld aan de belichting of de sluitertijd (resulterend in blur), gezichtsuitdrukkingen en de houding ten opzichte van de camera. Een nog veel lastigere factor is het natuurlijke ouder worden, hierbij kan je gezicht behoorlijk veranderen. Je huidskleur kan veranderen, je huid dikker of dunner worden, baardgroei ontstaat en tenslotte kan zelfs de vorm van het hoofd licht veranderen.

Over deze zaken denken wij niet eens na, maar voor de computer zijn ze niet zo vanzelfsprekend. Uit de FRVT (Face Recognition Vendor Test) 2000 blijkt dat de computer een pose, een houding ten opzichte van de camera, tot ongeveer 25 graden prima detecteert, maar als de pose 40 graden bereikt krijgt de computer het duidelijk een stuk moeilijker. Dat resulteert uiteraard in tragere gezichtsdetectie, laat staan de herkenning van de persoon achter het gezicht.

Het herkennen van gezichten

Als we eerst eens naar de mens kijken, dan blijkt dat deze erg goed is in het herkennen van gezichten. De gemiddelde tijd voor het herkennen van een willekeurig gezicht kost een mens 120ms. Niet erg snel zou je dan denken, want dat kan een computer ook makkelijk.

Echter, als wij de omstandigheden wat interessanter maken, door een slechte belichting te combineren met een lichte wazigheid en eventueel nog een lage resolutie, dan worden de resultaten heel anders. De snelheid van de herkenning blijft bij de mens ongeveer gelijk, maar de computer kans deze snelheid niet langer bijbenen, mogelijk zelfs niet eens tot een resultaat komen.

Voor de herkenning van het gezicht moeten we ook specifiek kijken naar bepaalde eigenschappen. Als voorbeeld wil ik de wenkbrauw gebruiken. De wenkbrauw is een perfect middel voor gezichtsherkenning door de unieke positie, hoogte, breedte, dikte, kleur en natuurlijk doordat deze veelal contrastrijk is vergeleken met de huid.

Belangrijke technieken om gezichtsherkenning te verbeteren

Paul Viola en Michael Jones hebben samen in 2004 een robuust gezichtsdetectie algoritme gepresenteerd. Dit algoritme kan met een behoorlijke snelheid gezichten detecteren met een goed werkbaar foutpercentage. Laten we nu stellen dat alle aanwezige gezichten goed gedetecteerd worden, hoe krijgen we de herkenning dan beter?

3D-Model

In 2003 kwamen V. Blanz en T. Vetter met een publicatie in IEEE Computer Magazine: “Face Recognition Based on Fitting a 3D Morphable Model”. In dit artikel beschrijven zij hoe je gebruik kunt maken van een 3d-model om gezichtsherkenning van lastige poses te verbeteren. Aan de hand van een invoerafbeelding wordt een 3d-model gemaakt van een gezicht. Er worden een aantal verschillende poses gecreëerd en vergeleken met de te herkennen gezichten.

Uit de resultaten was duidelijk te zien dat deze methode consistent betere herkenning percentages had dan de gebruikelijke methode. Het nadeel aan deze methode is echter dat het meestal erg veel rekenwerk vereist en soms moet de onderzoeker zelfs een paar kenmerken op geven om tot een juist model te komen. Hier is dus nog genoeg ruimte voor verbetering. Persoonlijk verwacht ik dat deze methode in de toekomst behoorlijke vorderingen gaat ondervinden, de processor-kracht neemt immers steeds meer toe (zeker vergeleken met de hardware in de tijd van het artikel). Als we het 3d-model volledig zelfstandig kunnen laten genereren, dan breekt er een nieuw tijdperk aan voor de gezichtsherkenning.

Groeipatronen

Een ander lastig punt bij gezichtsherkenning is het ouder worden. De gezichten veranderen mee met de leeftijd, vooral bij kinderen is dit heel duidelijk te zien. Veranderingen in het gezicht zijn ook afhankelijk van andere factoren, zoals blootstelling aan de zon, roken, drugsgebruik en stress. Voor kinderen van 2-18 jaar zijn verschillende groeipatronen opgesteld. Deze patronen geven aan hoe het gezicht veranderdt tussen verschillende leeftijden. Aan de hand van deze patronen kan men redelijk voorspellen hoe het kind er na een bepaalde periode van tijd uit gaat zien qua vorm en grootte van het gezicht.

Deze resultaten zijn leuk voor onderzoekers, maar in het echte leven zijn ze volgens mij van geen betekenis. Commerciële gezichtsherkenning-software zal dit niet vlug implementeren voor kinderen, omdat het systeem niet uit zichzelf kan werken. Je moet immers de leeftijd van het kind per foto aangeven. Voor gezichtsherkenning-software voor de beveiliging van ons land kan dit wellicht interessant zijn, maar direct rijst de vraag: Is deze techniek wel fatsoenlijk toe te passen op volwassenen? Het antwoord daarop is nee en dat wil ik toelichten aan de hand van een voorbeeld.

Meneer X heeft in 2000 een pasfoto ingeleverd voor zijn paspoort. Sinds 2001 is hij verdwenen en komt de overheid erachter dat hij met terroristische praktijken bezig was. Er kan onmogelijk een groeipatroon van het gezicht van deze man worden gemaakt, omdat men niet op de hoogte is van zijn gewoonten en leefomstandigheden die zijn gezicht beïnvloeden. De natuurlijke groei is ook minimaal tot niet aanwezig, dus dat levert ook geen aanknopingspunt. Dus wanneer de terrorist op Schiphol komt, kan de computer dat niet herkennen aan de hand van een kunstmatige foto die berekend is door de computer.

Het lijkt mij dus ook dat deze techniek voorlopig nog niet wordt toegepast in (commerciële) gezichtsherkenning-software. De moeite loont niet ten opzichte van de resultaten. Omdat de meeste mensen toch regelmatig foto’s maken blijft het systeem wel op de hoogte van de meeste gezichten en de veranderingen daarin. Voor de bedrijven dus een ‘no-brainer’: laat het idee (voorlopig) maar varen!

Video-gebaseerde gezichtsherkenning

Video-gebaseerde gezichtsherkenning (VFR - Video-based Face Recognition) kan de gezichten van personen herkennen die voorkomen in een video-opname. Dit gebeurt op een aantal punten hetzelfde als met een foto, maar op sommige punten heeft een VFR een aantal voordelen. VFR kan namelijk gebruik maken van verschillende beelden van dezelfde persoon, hierbij combineer je de beelden tot 1 beeld met een zogenaamde superresolutie. Veelal gaat de superresolutie niet verder dan twee maal de oorspronkelijke resolutie, maar voor gezichtsherkenning is dit toch een aanzienlijke stap, want de details van het gezicht zijn beter te zien.

Het 3D-model, wat ik eerder heb genoemd, is bij VFR ook een erg sterk punt. Doordat de persoon op de video niet altijd uit dezelfde hoek wordt gefilmd kan het systeem ideaal gebruik maken van het 3D-model om verschillende poses te bekijken.

Een groot voordeel van VFR is dat het autonoom kan werken. Denk bijvoorbeeld aan vliegvelden zoals Schiphol, waar elke dag duizenden mensen aankomen en vertrekken. Het zou niet te doen zijn om elke dag foto’s van deze mensen te maken om deze met een normaal gezichtsherkenning-systeem te testen. VFR biedt hier een uitkomst, omdat het systeem automatisch vrijwel alle gezichten bij de ingangen en uitgangen kan analyseren en vergelijken met een database van terroristen of andere gezochte mensen. Wanneer het systeem een ‘match’ vindt in de database hoeft er enkel een melding gegeven te worden via een display aan de beveiliging en deze kan dan ingrijpen. VFR is dus ook een systeem dat kan bijdragen aan de veiligheid van ons land.

Onderzoeksgebieden voor de toekomst

Gezichtsherkenning heeft nog lang niet het punt bereikt waarop de herkenning perfect is, daarom is het belangrijk om te blijven kijken naar zaken die kunnen bijdragen aan een verbetering van het huidige systeem. Voor we dat doen moeten we uiteraard vaststellen welke zaken belangrijk zijn voor gezichtsherkenning. Haarstijl of -kleur en baardgroei zijn bijvoorbeeld niet erg betrouwbare methoden om iemand te herkennen. Je kan deze eigenschappen erg makkelijk veranderen of verhullen. We moeten kijken naar dingen in het gezicht die moeilijk te veranderen zijn en we moeten ook kijken naar hoe we deze eigenschappen beter kunnen herkennen.

Vertrouwd zijn met een gezicht

Uit onderzoek is gebleken dat mensen gezichten waarmee zij bekend of vertrouwd zijn beter kunnen herkennen. Een foto van het gezicht van je echtgenoot, familielid of vriend is veel makkelijker te herkennen dan die van iemand anders (die je overigens wel kent). Dit is een erg interessant punt om te onderzoeken, want blijkbaar leren onze hersenen de eigenschappen van iemands gezicht anders te bekijken. Als we deze techniek kunnen toepassen in gezichtsherkenning, dan kunnen we ook bij foto’s met lage resolutie tot betere resultaten komen.

Een ander punt wat hier redelijk op aansluit is het verwachten van een gezicht. Mensen herkennen gezichten sneller als zij deze verwachten. In onze hersenen hebben we blijkbaar de eigenschappen van iemands gezicht “standby” staan, zodat we deze persoon snel kunnen herkennen. Denk hierbij bijvoorbeeld aan collega’s op je werk, daar herken je ze sneller dan buiten op straat wanneer je hen niet verwacht. Wanneer we dit toepassen in gezichtsherkenning kunnen we bijvoorbeeld op evenementen, bijvoorbeeld een voetbal wedstrijd, de gezichten van mogelijke rellenveroorzakers of mensen met een stadionverbod bovenaan in onze database zetten, deze mensen worden er dan sneller opgemerkt.

Facebook

Momenteel heeft Facebook ook gezichtsherkenning-software draaien op hun site. Hoewel de resultaten verbazingwekkend goed zijn, zijn ze nog lang niet perfect. Er is een mogelijkheid gemaakt om fouten in het systeem aan te passen, waardoor het systeem beter leert hoe het gezicht er nou eigenlijk uit ziet. Maar we kunnen ook kijken naar alle fouten en analyseren waarom het fout gaat, zodat we deze punten in de toekomst kunnen verbeteren. Wanneer we dat doen kunnen we verwachten dat de gezichtsherkenning-software voor consumenten angstaanjagend goed zal worden, want daar is vrijwel altijd een hoge resolutie beschikbaar en een ideale pose (je wilt immer toch een mooie foto).

Al deze zaken kunnen gezichtsherkenning in de toekomst nog aanzienlijk verbeteren, wanneer hier onderzoek naar wordt gedaan zullen we nog geweldige ontwikkelingen zien.