安全AI挑战者计划第三期 - 文本分类对抗攻击
-
长期赛
长期赛，2020年12月开启～
1、本比赛为长期赛，无奖金，旨在为大家提供一个实战环境，提升算法能力。
2、报名成功后，参赛队伍本地调试算法，通过Docker容器镜像提交结果。 第一次接触docker可直达教程（链接）。
3、2020年12月12日10:00AM起系统实时评测，每小时更新排行榜，队伍一天内有1次提交机会；按照评测指标排序；（排行榜将选择选手在本阶段的历史最优成绩进行排名展示，不做最终排名计算）背景
近年来随着科技的蓬勃发展，AI逐步成为各类应用技术的驱动器，推动行业及技术发展。在安全领域，AI也正发挥越来越重要的作用，随着流量识别、人脸识别、动作识别、假货识别等应用场景的出现，AI与安全结合的成果愈加丰硕，但AI面临的安全问题也逐渐浮出水面。
AI安全性有诸多挑战，为了抵御未来AI面临的安全风险，阿里安全联合清华大学，以对抗样本为核心，假想未来作为安全AI防守者的身份，结合内容安全场景，从文字、图像、视频、声音等多个领域针对对抗样本技术资源赏金召集“挑战者”共同打磨AI模型安全，为打造更安全的AI共同努力。
AI安全专家学术公开文章，请至阿里安全官网查看。https://s.alibaba.com/
赛事介绍
比赛周期
安全AI挑战者计划分多轮举行下半年陆续展开，每一期主题各不相同。比赛开始后，赛事平台会对外开放相关接口，选手可以通过向接口提交恶意样本，来攻击AI引擎，使之产生误判。比赛将从文字、图像、视频、声音等多个领域设置题目，有target类型的题目也有non-target类型的问题，主办方也将在每新一轮变化相关模型。
参赛对象
面向全社会开放，高等院校、科研单位、互联网企业等人员均可报名参赛。
注：大赛主办和技术支持单位如有机会接触赛题背景业务、产品、数据的员工，则自动退出比赛，放弃参赛资格。赛程安排
报名及实名认证（即日起—2020年3月5日）
1、报名方式：登录比赛官网，完成个人信息注册，即可报名参赛；
2、选手可单人成队或2-3人组队参赛，每位选手只能加入一支队伍；
3、选手需确保报名信息准确有效，组委会有权取消不符合条件队伍的参赛资格及奖励。
4、报名、组队变更、实名认证截止时间均为2020年3月5日10:00 AM。 未完成认证的参赛团队将于2020年3月5日12:00 AM淘汰，无法继续参赛。
5、大赛官方交流请至论坛，选手交流钉钉群号码：23301258
enter image description here正式赛，2020年2月14日-3月6日
1、报名成功后，参赛队伍本地调试算法，通过Docker容器镜像提交结果。 第一次接触docker可直达教程（链接）。
2、2020年2月14日10:00AM起系统实时评测，每小时更新排行榜，队伍一天内有10次提交机会；按照评测指标排序；（排行榜将选择选手在本阶段的历史最优成绩进行排名展示，不做最终排名计算）目前榜上有虚高分数允许上报取消，上报时间截止3月5日18:00，上报通道https://survey.aliyun.com/apps/zhiliao/Fm7ikBr7
3、正式赛截止后（3月6日20:00最后一次提交），组委会将通知TOP10团队提交审核材料。
4、入围团队需要在3月10日之前提交材料，包括参赛方案及总结、算法核心代码。获奖审核（2020年3月）
1、评委将根据选手的技术思路、理论深度和线上成绩进行综合评分； 并于3月25日前期间进行最终奖项公布。
2、获奖团队需要在天池技术圈进行参赛方案及总结的分享。激励设置
第一名：每支队伍奖金叁万元
第二名：每支队伍奖金壹万伍仟元
第三名：每支队伍奖金壹万元
第四-六名：每支队伍奖金叁仟元
第七-十名：每支队伍奖金壹仟元
荣誉证书：前十名队伍，每位同学都将获得阿里和清华共同颁发的精美证书
线下颁奖：优秀同学将有机会受邀参加挑战者线下沙龙并领奖本次比赛的任务为 辱骂场景对抗攻击：基于辱骂文本生成对抗样本，使模型识别错误，同时扰动较小，并且不影响辱骂性质。
举例
原始文本：“配你妈的音乐，难听死了”
模型预测：辱骂；真实标签：辱骂
对抗文本：“配你ma的音乐，难听4了”模型预测：正常；真实标签：辱骂
真实标签的判断逻辑：辱骂文本需要具备攻击性，且能够通过字面快速辨识。反例：“长亭外，古道边，芳草天”
隐喻讥讽，不能够通过字面快速辨识。
真实标签：正常
反例：“人是人他妈生的，妖是妖他妈生的”带有辱骂中常见词汇，但实际语义不具备攻击性。
真实标签：正常
数据和资料
评测使用 1000 条辱骂样本，由选手将其进行对抗扰动，依原有的次序提交。
上述辱骂样本对选手 不可见，选手需要提交Docker镜像，由接口函数对文本进行变异。
上述辱骂样本为短文本，每条均在100字以内，平均长度约20-30字，常见于社交网络、发帖评论。
模型参考主办方提供一个简易模型，选手可以用它进行预测，一定程度上判断何种文本对于模型而言属于辱骂。
上述简易模型将不会出现在评测中。
预处理函数主办方提供根据字符集过滤的预处理函数，与下文评测中使用的预处理相同。
Embedding主办方提供相似度计算所使用的embedding，与下文评测中使用的embedding相同。
训练数据
选手可以自行获取和使用网络上的公开语料，没有使用数量和场景限制。
但训练数据不一定多多益善，请结合上文中的提供的模型和常见场景来辅助判断。
评测标准
概要
每条样本根据 扰动大小 和 模型识别 结果，最少得0分，最多得1分；总分1000分，得分最高者胜出。
提交的时间窗口 以“赛制”页面为准。
直观描述
对每个生成的对抗样本，采用若干个文本分类模型对该样本进行预测，并计算与原始样本的相似度，根据绕过模型的成功率和与原始样本的相似度，取点积计算得分。具体距离种类和计算方式如下：
编辑相似度：1 - 编辑距离/原始文本长度的比值，小于0则视为0，取值范围[0, 1]。
词粒度Jaccard相似度：原始文本和对抗文本在分词后的Jaccard相似度，取值范围[0, 1]。
字符粒度Jaccard相似度：原始文本和对抗文本在分词后的Jaccard相似度，取值范围[0, 1]。
embedding cosine相似度：原始文本和对抗文本的embedding向量余弦相似度，取值范围[0, 1]。