CrowdPlay: een internetplatform voor human computation

30 mei 2013 door ICTO TEAM
Alessandro Bozzon (EWI)

Human computation is een recente ontwikkeling waarbij internet wordt ingezet om berekeningsprocessen te ontwerpen en uit te voeren. Mensen verrichten taken die voor computers moeilijk zijn uit te voeren. Human computation is een cross-disciplinair onderwerp en staat centraal in diverse onderzoeksgebieden, waaronder informatievoorziening, databases, kunstmatige intelligentie, sociale wetenschappen, social sensing, beleid, etc.

N.B.: Dit project is uitgevoerd binnen de groep Web Information Systems. De CrowdPlay-tool is onderdeel van het CrowKnow-platform, begeleid door Jasper Oosterman, en gedeeltelijk ontwikkeld door Debarshi Basak als onderdeel van zijn MSc-thesisonderzoek. 

Projectbeschrijving
Human computation kan bijvoorbeeld worden gebruikt om:

  • kwalitatief de prestaties van een systeem te beoordelen; 
  • een golden-rule dataset voor machine learning te bouwen;
  • social media te ‘interpeteren’ en op die manier globale kennis over gebeurtenissen te verzamelen;
  • de structuur en de gegevens in een database op te schonen; 
  • vertalingen te maken.

Om te begrijpen hoe de technieken effectief kunnen worden toegepast in een alledaagse context, worden de studenten geconfronteerd met de volgende problemen: 

  • Programmeren van een crowd door gebruik te maken van: adaptieve algoritmes, interactiemodellen, besturingsmechanismen (de menigte, een ‘levende’ parameter, kan onvoorspelbaar gedrag vertonen) en effectverwerking en -analyse.
  • Betrekken van een realistische crowd (menigte) met de bedoeling om de deelnemers vervolgens taken te laten uitvoeren. Deelnemers kunnen voor een project worden ‘ingehuurd’ door:
    - ze te betalen via daartoe geëigende platforms zoals Amazon Mechanical Turk en CrowdFlower; of
    - ze door niet niet-financiele prikkels over te halen, zoals de lol van het meedoen of de bereidheid om samen te werken aan een relevant onderzoek.

CrowdPlay biedt uitkomst bij voornoemde problemen. Het voorziet een digitale ontsluiting voor interactie met een crowd, zodat studenten gemakkelijk en effectief kunnen experimenteren binnen een realistische context. 

Figuur 1. Een screenshot van de taakbedieningsinterface van CrowdPlay (klik voor een vergroting).

Doelstellingen
CrowdPlay is ontworpen om het opzetten, uitvoeren en evalueren van human computation eenvoudiger te maken. Omdat CrowdPlay volledig draait op en is ontsloten via internet, kunnen de implementatie en uitvoering van de studentenprojecten (openbaar) eenvoudig worden benaderd via web browsers. CrowdPlay streeft twee doelstellingen na: 

  1. Studenten voorzien van een online tool die de kosten van interactie op platforms voor human computaiton en sociale netwerken minimaliseert, zodat zij zich kunnen concentreren op het ontwerpen van efficiënte, plezierige en effectieve projecten. 
  2. Docenten voorzien van middelen waarmee het werk van de studenten eerlijk en objectief kan worden geëvalueerd volgens welomschreven, kwantificeerbare criteria (bijvoorbeeld het aantal betrokken deelnemers in de crowd, tijdstip van uitvoering, kosten, aantal correct uitgevoerde taken, etc.).

     

    Figuur 2. De annotatietool in CrowdPlay (klik voor een vergroting).

    Evaluatie
    Een eerste en volledig functionele versie van het CrowdPlay-platform is ontwikkeld als onderdeel van de MSc-thesis van Debarshi Basak. Het platform wordt nog actief verder ontwikkeld en verbeterd. De nieuwste versie van CrowdPlay kan worden gedownload via https://github.com/WISDelft/CroKnow.
    CrowdPlay is getest binnen het vak ‘Information Retrieval’ (IN4325). In het kader van een groepsopdracht hebben studenten het platform met succes ingezet om een functioneel prototype van een crowdsourced receptmanagementsysteem te onwikkelen, genaamd CrowdChef.
    Andere masterstudenten zijn via CrowdPlay projecten gestart met de bedoeling om ground truth data te verzamelen.
    Ondanks het prototypische karakter van het platform en de status van ‘work in progress’ heeft CrowdPlay al veel positieve reacties losgemaakt bij studenten. Vanwege dit succes staan er de komende maanden nieuwe projecten gepland waarbinnen studenten CrowdPlay zullen gaan gebruiken en doorontwikkelen.

    Tips voor collega’s

    • Human computation is een veelbelovende ontwikkeling die de uitvoering van experimenteel onderzoek binnen verschillende vakgebieden kan vereenvoudigen. 
    • Betrokkenheid bij en interactie met een crowd vereist een gestructureerde aanpak. 
    • Een solide en goed gedocumenteerd platform kan de praktische vaardigheden van studenten aanzienlijk vergroten.

    Meer informatie

    Docent: Dr. Alessandro Bozzon (EWI); e-mail: a.bozzon@remove-this.tudelft.nl
    Jaar: 2013-2014

    © 2017 TU Delft

    Metamenu