狭路相逢勇者胜―计算机学院研究生代表队参加2013国际TREC评测竞赛喜获佳绩

发布者:系统管理员发布时间:2014-04-08浏览次数:35



     2013年度国际TREC评测竞赛在本月圆满地落下帷幕。此次竞赛共有来自21个国家的52个大学或科研机构参加了8个任务的评测。哈尔滨理工大学计算机学院TREC 评测小组参加了本届国际TREC 评测Crowdsouring(众包)任务的比赛,取得了APCorr指标排名第一,RMSE指标排名第二的好成绩,并创造性地提出采用心理学行为分析的方法对众包欺诈进行检测,为探索众包质量评价这一难点问题提供了具有理论依据和算法实现的一种具体解决方案。
      TREC(Text Retrieval Conference)是信息检索领域人气最旺、最权威的评测会议,由美国国防部高等研究计划署(DARPA)与美国国家技术标准局(NIST)联合主办。自从1991年举办第一届起,国际上每年的参与者包括MIT、Stanford、UCB、微软研究院、Google、IBM研究院、新加坡国立大学、台湾大学、加拿大Quenes大学、日本东京大学、香港中文大学、英国城市大学等众多当今IT界一流学府和企业科研机构,并且参赛机构还在不断增加。国内参与者包括清华大学、北京大学、复旦大学、中科院、上海交大、哈工大、大连理工大学、北京邮电大学等重点大学。评测竞赛由NIST向参赛者提供标准的语料库(Corpus)、检索条件和问题集(Query Set)、以及评测办法(Evaluation),参赛者则被要求在规定的时间内构造系统并提交结果(Runs),由NIST评测各个任务结果的优劣,最终依据评测结果召开大会进行学术交流,发表会议论文。若某队技术没有贡献价值、结果不可信或未在规定时间内完成则没有成绩排名,竞赛要求十分苛刻(本届报名时有来自36个国家的145个大学和机构,最后仅52个单位有结果和排名,其它均弃权或取消成绩,哈尔滨理工大学计算机学院TREC评测小组取得了APCorr指标排名第一,RMSE指标排名第二的成绩)。TREC已发展成为一个国际化的面向信息检索领域的大型顶级测试“竞赛”。
       哈尔滨理工大学计算机学院TREC 评测小组成员由该学院保研生学术基础培训实验室的部分成员组成。2012年,计算机学院“校青年拔尖人才”李鹏老师为了更好地培养研究生的科研实战能力,他在自己已经超负荷工作的状态下向学院领导提出成立学院保研生学术基础培训实验室,由他为已获得保研资格和有志向读研的大四学生义务进行培训,并制定了“四个十”培训计划(即掌握十个经典程序、了解十个经典算法、听取十场技术报告、进行十次互动交流)。计算机学院代表队在本次TREC评测竞赛中取得的优异成绩是对“四个十”培训效果与意义的检验和肯定,也是对李鹏老师及同学们辛勤付出的真诚回报。
        当我们为此事采访年轻的李鹏教授时,他把所有的功劳和赞美之词都给予了他的学生。他说:“首先,作为TREC 评测竞赛曾经的亲历者,我深知此项评测竞赛的难度和影响力之大,每年的对手中都不乏来自MIT、Stanford、UCB、微软研究院、Google等大名头机构的顶尖高手。今天我的学生再次参赛,我深知这种级别的评测团队的基本配置一般都是博士,而我们的队伍配置只有几只刚上研一的“小菜鸟”。但他们不惧对手,勇往直前,并取得了优异的成绩,我为他们感到骄傲;其次,TREC评测竞赛目前还没被列入学校资助的竞赛范围,即使获得排名,他们也不会得到任何的加分与物质奖励,我也一样,而且我们还要自己承担一些费用。那为什么还要参赛?因为学生们知道这也许是他们人生之中唯一一次能代表哈理工、代表中国在世界级舞台上的表演。在评测准备过程中,当学生们跟我说想用心理学的艾宾浩斯遗忘曲线来检测欺诈时,我被他们的创造力和想象力惊呆了。那一刻我觉得排名、加分和物质奖励已经不重要了,学生的创造力就是对教师育人成果的最好的嘉奖;最后,我要说学校在发展中难免会遇到困难、甚至危机,但是大家不要气馁,这些可爱的学生们就是我们明天的希望,相信哈理工一定会越来越好。这次评测竞赛给我的启示是:即使面对名校我们的学生仍不乏智慧、不缺能力,甚至更有惊人的创造力。只要我们能充满自信,敢于挑战,我们就一定能取得骄人的成绩。请记住--狭路相逢勇者胜!”





                                               指导教师李鹏教授



           获奖同学-前排:毕婷婷,黄玖玲,张婷婷;后排:张茗越,刘洋,李思本,梁天歌