AutoDL系列赛最后一战 AutoWSL2019挑战赛火热进行中

  • 时间:
  • 浏览:1

AutoWSL2019作为11月17-19日亚洲机器学习大会(ACML)主会议竞赛单元之一,由第四范式、ChaLearn、RIKEN和微软联合举办,其中竞赛分享和颁奖将与大会WSL-Workshop一块儿举办。据悉,AutoWSL是继AutoCV、AutoCV2、AutoNLP、AutoSpeech已经 的第5届自动深层学习(AutoDL)挑战赛,比赛已于9月24日正式刚开始英语 。本次挑战赛聚焦于弱监督学习相关任务的自动化避免方案,参赛者前要设计自动机器学习系统程序运行运行完成半监督学习、正例及未标记学习和噪声标记学习2个多 热门方向任务,避免不同应用领域的二分类问题报告 。

现代机器学习正在向繁复模型(如深层神经网络)的时代迁移,而繁复模型前要絮状的优质标注数据。大公司有足够的资源来整理优质的标注数据,然而对于初创公司或非营利组织来说,标记数据的高昂成本都都可不可不可否 让亲戚大伙望而却步。此外,在特定领域的数据地处自然稀缺性(如阿尔茨海默病或地震预测等),优质的标注数据不可能 根本不地处。弱监督学习(WSL)最好的法律法律依据试图通过访问比监督学习更少的标注信息,来达到监督学习相近的效果目标。正不可能 WSL不前要絮状的标注数据,不利于亲戚亲戚大伙对弱监督学习进行研究和关注,以期望让更多的用户和企业享受低门槛的机器学习红利。但传统的弱监督学习最好的法律法律依据有太满的超参数前要根据问题报告 进行调整,前要付出众多人力都都可不可不可否 成功部署弱监督学习最好的法律法律依据,而亲戚亲戚大伙希望召集来自全球各地的优秀参赛者一块儿通过自动化避免最好的法律法律依据破解你你这一问题报告 ,降低弱监督学习最好的法律法律依据的使用门槛。

本次赛事主要负责人、第四范式主任科学家涂威威表示:第四范式接触到的现实业务含高非常多的弱监督学习场景,有效的自动弱监督学习最好的法律法律依据对于规模化避免那此场景中的机器学习问题报告 至关重要。第四范式联合南京大学提出了自动半监督学习(AutoSSL)以及自动正例及未标记学习(AutoPU)等最好的法律法律依据。因此相关的研究才已经 起步,举办本次比赛也是希望吸引更多优秀的研究人员和从业人员关注到自动化弱监督学习的问题报告 ,一块儿推动你你这一领域的技术进步,从而帮助更多的行业利用机器学习技术提升效益。

关于比赛

本次比赛是国际首届自动弱监督学习竞赛,旨在为与弱监督学习相关的任务提供自动化的避免方案,挑战任务仅限于来自不同应用领域的二分类问题报告 。大会为参赛者提供八个练习数据集,用于开发自动弱监督学习系统程序运行运行。已经 ,该系统程序运行运行将在无人工干预的具体情况下在18个私有验证数据集上进行反馈测试,选手都都都可不可不可否 通过验证数据集上的反馈结果调整系统程序运行运行;最后在18个私有测试数据集上进行测试评估,测试结果将决定最终的竞赛排名。

在AutoWSL竞赛中,亲戚亲戚大伙将重点关注弱监督学习中的2个多 热门任务,即半监督学习(某些样本是未标记的)、正例及未标记学习(样本都都可不可不可否 正例或未标记,都都可不可不可否 负例)和从噪声标记中学习(所有样本都在标记,但某些标记不可能 是错误的)。你这一个多 任务互不关联,不让一块儿老出 在同2个多 数据集中。另外,组委会提供辅助信息帮助参赛者取舍亲戚大伙前要在每个数据集上执行的任务。

赛事挑战:

AutoWSL将对参赛者提出新的挑战,如下所列:

-怎样才能自动避免各种弱监督学习任务?

-怎样才能为不同的任务自动提取有用的行态?

-怎样才能自动避免不同数量的监督信息?

-怎样才能自动设计有效的学习模型来避免各种行态化数据?

此外,参赛者还应考虑:

-怎样才能自动和有效地取舍适当的超参数?

-怎样才能提高避免方案通用性?即怎样才能保证避免其在未知任务中的适用性?

-怎样才能控制计算和内存成本?

赛制 介绍

本次比赛准备了总共39个分类数据集,参赛者首先下载2个多 都都都可不可不可否 下载的练习数据集,以便其都都都可不可不可否 离线开发亲戚大伙的自动弱监督避免方案。此外,另外18个验证数据集也提供给参与者,以评估其避免方案的公共排行榜分数。已经 ,避免方案将在都都可不可不可否 人工干预的具体情况下用18个私有测试数据集盲测评估。

数据集

你你这一挑战仅限于来自不同应用领域的二分类问题报告 ,竞赛将重点关注WSL中的2个多 热门任务,即半监督学习(部分样本未标记)、正例及未标记学习(样本都都可不可不可否 正例或未标记样本,都都可不可不可否 负例)和从噪声标签中学习(所有样本都在标记,但部分标签不可能 是错误的),你这一个多 不相交的任务不让一块儿老出 在单个数据集中。

竞赛 规则

这项挑战分为2个多 阶段。首先,参赛者将获得都都都可不可不可否 下载的练习数据集,以便都都都可不可不可否 离线开发亲戚大伙的AutoWSL系统程序运行运行;因此进入反馈阶段,参赛者将AutoWSL代码上传到竞赛平台上,系统程序运行运行将在18个验证数据集中测试,并得到其最好的法律法律依据性能的即时反馈。反馈阶段刚开始英语 后,竞赛进入检查阶段,参与者只允许在私有数据集上提交一次代码以进行调试,该阶段参赛者无法读取阅读详细的日志,但都都都可不可不可否 查看代码否有有报告错误。最后进入最终阶段,参赛者提交的系统程序运行运行将在18个私有测试数据集上进行评估。最终阶段的排名将决定获胜者。

提交的系统程序运行运行代码是自动训练和测试的,不让任何人工干预。在反馈阶段提交的代码在所有18个反馈数据集上并行地运行在单独的计算机上,每个数据集都在测试时间限制。

平台上用于测试的数据集的所有信息将被隐藏,数据将以原始形式提供(都都可不可不可否 行态提取),以鼓励研究人员进行自动行态学习,所有问题报告 都在二分类问题报告 ,任务完成受时间限制。

赛事时间:

  北京时间(UTC+8)

  2019年9月24日23:59:反馈阶段刚开始英语 ,练习数据集的发布。参赛者都都都可不可不可否 刚开始英语 提交代码并在排行榜中获得即时反馈。

  2019年10月22日23:59:参赛者真实身份验证。

  2019年10月29日23:59:反馈阶段刚开始英语 。

  2019年10月300日00:00:检查阶段刚开始英语 。

  2019年11月2日19:59:检查阶段刚开始英语 。

  2019年11月2日20:00:最终阶段刚开始英语 。

  2019年11月4日20:00:重新提交截止日期。

  2019年11月6日20:00:最终阶段刚开始英语 。

  请注意,CODALAB平台使用UTC时间格式,请注意比赛官网某些地方的时间说明,以免错过比赛各阶段的时间点。

  赛事奖励:

  第一名:$30000

  第二名:$30000

  第三名:$30000