Crowdsourcing_胡斐.pptVIP

A note on payments $3 per 100 tweets for interestingness $0.02 per tweet for NER Conclusions Most tweets are not of general interest (57%) Crowdsourcing to label “interesting” and “uninteresting” tweets and train a classifier Very fast and cheap Faux features Other features to explore: temporal, social Experiment [1] Omar Alonso, Chad Carson, David Gerster, Xiang Ji, Shubha Nabar. Identifying Uninteresting Content in Text Streams. Proceedings of the SIGIR 2010 Workshop on Crowdsourcing for Search Evaluation [2] Aniket Kittur. Crowdsourcing, Collaboration and Creativity. XRDS * Winter 2010 * Vol.17 * no.2 [3] Omar Alonso Daniel E. Rose Benjamin Stewart. Crowdsourcing for Relevance Evaluation. ACM SIGIR Forum 2008 [4] Catherine Grady , Matthew Lease. Crowdsourcing Document Relevance Assessment with Mechanical Turk. Proceedings of the NAACL HLT 2010 Workshop on Creating Speech and Language Data with Amazon’s Mechanical Turk [5] Omar Alonso, Design of Experiments for Crowdsourcing Search Evaluation: challenges and opportunities. invited talk WSDM 2011 References Thanks for your attention ! Jeff Howe 首次提出了众包这一概念：一个公司或者机构把过去由特定人员执行的工作任务以自由自愿的形式外包给大众网络的做法。很明显，这种模式提供了一种组织劳动力的全新方式。 * 1.外包是指雇佣人员提供服务，劳资双方的关系到此为止，其实和雇佣关系没什么两样。 2.众包则是从外部吸引人才的参与，使他们参与到广阔的创新与合作过程中来。 3.众包所体现的不是外包中的雇佣关系，其核心是携手共创价值的理念。因为产品设计已经由生产者为主导逐渐转向以消费者为主导。 4.外包强调高度的专业化，主张用专业的人干专业的事，信赖的是专业化机构和人士。而众包则倡导的是社会差异化、多样化带来的创新潜力，相信消费者的力量，是更加个体的行为。 * 1.认真分析业务流程，构建正确的商业模式。 微任务:数据验证、研究、图片标记、翻译。宏观任务：研发、产品创意。大众集资：让大众为某些特定的原因或者工程捐款，或者是一定期限内的贷款。但如果你所承诺的结果没有达成的话，钱是要如数返还的。例如：工程集资，灾难救济，艺术支持，创业理念，市场研发等等。竞赛：让大众完成工作，但只对那些被采纳的结果赋予报酬。例如：LOGO设计，公司名称设计。 * 我们在实验中发现任务中一些先完成的部分（这些先完成的部分我们称之为“种子”），在一定程度上给后面的用户指明了方向。 * 简明、清楚的指令对于用户来说是至关重要的。最初的标注结果，指令说明被修正之后的标注结果。 * Eyeball：目测 Algorithmic：规则系统的 * * Faux人工的；人造的 temporal：暂时的，一时的 * * * * ir.dlut.edu.cn * * ir.dlut.edu.cn 1 2 3 4 * * ir.dlut.edu.cn * * ir.dlut.edu.cn * * ir.dlut.edu.cn * * ir.dlut.edu.cn * * ir.dlut.edu.cn * * ir.dlut.edu.cn * * ir.dlut.edu.cn * * ir.dlut.edu.cn * *