Content-based visual search learned from social media

In een wereld waarin de hoeveelheid digitale afbeeldingen alsmaar groeit is het belangrijk te kunnen zoeken op basis van beeldinhoud. Xirong Li liet zich inspireren door sociale media en onderzocht de waarde van beelden met social tags voor visueel zoeken. Hij ontwikkelde verschillende algoritmen die automatisch bepalen of de tag die mensen aan een foto toevoegen overeenkomt met wat daadwerkelijk op de afbeelding te zien is. De beelden met relevante tags worden gebruikt als invoer voor een intelligente zoekmachine die ook onbenoemde beelden op het internet, een smartphone, of een laptop kan terugvinden. Op basis van vrij te verkrijgen beelden en hun tags ontwikkelde Li een zoekmachine waarmee het mogelijk is complexe visuele vragen te stellen, zoals de zoekopdracht voor een afbeelding van amazones langs het strand.