AAAI 2023实用AI挑战赛：打通学术与落地的桥梁

近年来，人工智能行业发展迅速，热度居高不下，各种性能强大的算法和硬件层出不穷。但在“光鲜”外表之下，人工智能算法“落地难”的问题却一直为人所诟病。归根究底，是学术界在追求模型理论性能提升的同时，对于算法在实际工业场景的落地实践有所欠缺，忽视了模型在不同硬件上的能力边界。

为此，商汤科技联合北航刘祥龙教授团队，携手安徽合肥数据空间研究院、天数智芯、科大讯飞、OpenI 启智新一代人工智能开源开放平台等机构与企业，在国际顶级人工智能会议AAAI 2023上举办实用AI挑战赛，旨在搭建一座连通学术与工业化落地的桥梁，筛选出效果好、效率高、鲁棒性强的模型设计，推动人工智能领域朝实用方向发展。

依托商汤AI大装置，商汤科技内部自研的模型全生命周期效率提升工具-模型工厂，也将于本次比赛期间首次对外开放部分能力，其全流程、自动化、多硬件的人工智能部署和测试平台，可用于评估包括算法速度、精度等多维度的实用性，快速筛选出高性能的人工智能模型。

在本次比赛中，我们选择了在智慧安防、自动驾驶、手机、云计算四个热门人工智能落地场景下使用的7个不同硬件平台，这些硬件平台在算力、算子支持和模型量化方案等方面各有不同。参赛队伍将基于7个指定平台展开角逐，充分考虑硬件特性，针对交通灯和交通标志识别任务，尝试找出在各个平台表现最优异的模型，也可以尝试设计多平台通用的“全能”模型！

本次大赛依托“AAAI 2023 Workshop: Practical Deep Learning in the Wild”展开。获奖队伍将获得丰厚奖金，还将受邀在workshop分享冠军方案。大赛已正式启动，查看文末网址或点击阅读原文，即刻报名参与。

赛题详情

本次比赛共包含两个赛道：单平台高性能鲁棒结构设计和跨平台高性能鲁棒结构设计。

赛道一：单平台高性能鲁棒结构设计

针对单一硬件平台的最优模型：不同的芯片支持的算子和数据类型以及算子的底层优化机制均不相同，因此该赛道鼓励参赛团队根据不同的硬件芯片的特性，选择特定芯片设计硬件相关的高性能网络结构。

赛道二：跨平台高性能鲁棒结构设计

针对全部硬件平台找到一个通用的高效鲁棒模型：希望参赛团队能够综合考虑不同芯片的硬件特性，设计一个在全部七个平台通用的，高效鲁棒模型结构。

赛题覆盖多种场景和硬件架构，涉及的硬件平台包括：

· 安防芯片：华为Atlas 300 / 瑞芯微 RV1126

· 云端GPU芯片：英伟达 Tesla T4

· 手机芯片：高通SNPE GPU、DSP

· 自动驾驶芯片：德州仪器TDA4VM

· 商汤自研推理芯片：商汤STPU S1

在数据集方面，基于商汤在自动驾驶领域多年积累，开放部分交通标志和信号灯数据集，聚焦真实场景问题。

比赛规则

比赛将系统评估模型的速度、精度和鲁棒性三个方面。

比赛早期会分别释放训练数据，选手们仅能使用该阶段提供的训练数据对其设计的模型进行训练，并用A榜验证集评估模型在其实验环境下的精度表现。为了筛选出具备鲁棒性的参赛方案，最终排名会使用B榜测试集，该测试集包含硬件平台自身的系统噪声以及真实生活场景的自然噪声。每个平台会单独评估选手提交模型的精度(presicion)和速度(latency)，并计算相对的精度得分和速度得分。

得益于商汤AI大装置能力，比赛开放模型的速度测试和精度测试入口，选手每天可以通过比赛提供的测速服务和精度测试服务，快速验证其设计的结构在不同硬件平台的真实推理速度和精度。

奖项设置

比赛提供了总额达1.7万美元的丰厚奖金池。

赛道1：单平台赛道

*本奖项共涉及7个硬件平台，每个硬件平台的冠军队伍均可获得1000美元的奖励。

赛道2：多平台赛道

注：参赛队伍不能同时获得两个赛道的奖金，若在两赛道均排名靠前，奖金取数额大者发放。

参赛样例

为了降低参赛门槛、方便参赛队伍快速上手，提供了包含从训练到测试的完整样例 (https://github.com/ModelTC/AAAI2023_EAMPD)，每个人都可以跟随教程，完成提交。同时还能享受到来自OpenI的免费算力资源。

赛程安排

2022/11/18

开放竞赛报名和数据集下载

2022/12/1

开放提交及线上精度评测

2022/12/31

排行榜封榜

2023/01

结果公布

报名方式

本次大赛的信息发布、报名、提交均会通过竞赛主页进行，大家也可以通过微信群聊或者slack与我们联系。欢迎大家踊跃参加！

大赛主页：

https://practical-dl.sensecore.cn