新推出的AI语音理解基准测试SuperGLUE，较GLUE有多大的提升？
Facebook 人工智能研究员和 Google 旗下的 DeepMind、华盛顿大学、以及纽约大学合作，于今日正式推出了 SuperGLUE 。
作为一个严格的语义理解基准测试项目，其能够针对现代高性能语义理解 AI 的性能，展开一系列的基准测试。
当然，SuperGLUE 投入使用的前提，是某会话 AI 的深度学习模型已经触及了天花板，并希望接受更大的挑战。
【图自：SuperGLUE，via VentureBeat】
SuperGLUE 使用谷歌的 BERT 作为性能基准模型，因为早在 2018 年的时候，它就已经在多方面被认为是最先进的、甚至打败了新一年的诸多竞争对手，比如微软的 MT-DNN、谷歌自家的 XLNet、以及 Facebook 的 RoBERTa 。
SuperGLUE 的前身，是纽约大学、华盛顿大学和 DeepMind 研究人员于 2018 年 4 月推出的针对语义理解 AI 的‘通用语义理解评估’（GLUE）基准测试。
发展到现在的 SuperGLUE，它能够评估比 GLUE 更复杂的任务表现，鼓励构建能够账务更复杂或细微差别的语义理解模型。
据悉，GLUE 能够根据 AI 对自然语言理解（NLU）系统给出的九个英语短句的识别处理表现，而给出该模型的分值，比如在线***评论数据集中提取情感细节的斯坦福情感树库（SST-2）。
目前 RoBERTa 在 GLUE 基准测试数据库中的得分为榜上第一，但 9 项 GLUE 任务中拿到了 4 项最高分。不过 SuperGLUE 包含了在一系列困难的 NLP 任务中测试创造性解决方案的新方法。
从GLUE到SuperGLUE：难度更大
SuperGLUE在GLUE设计的基础上，采用了一系列更加困难的语言理解任务，除了共同任务识别文本蕴涵（RTE）和 Winograd 模式挑战赛（WSC）外，还添加了常识推理和词义消除等任务，上表中给出的其他测试数据集包括：
CB短文本语料库
MultiRC真***问答任务数据集
COPA因果推理
WiC词义消岐
RoBERTa离人类还有多远
从SuperGLUE排行榜上看，RoBERTa的得分距离人类只有5.2分，但是NYU数据科学中心助理教授Sam Bowman在其推特上，关于这一排行榜RoBERTa直逼人类的表现也发表了看法。
RoBERTa在SuperGLUE得分逼近人类，甩baseline十多个点
SuperGLUE(Super General Langu***e Understanding Evaluation)是当下NLP领域难度最大，权威性最高，含金量最足的测评标准之一，由纽约大学、华盛顿大学以及谷歌旗下的DeepMind联合Facebook作为主要发起人推出，最大程度涵盖了现实生活中可能遇到的不同类型的NLP任务，旨在更真实地反映当前最前沿的NLP技术可以达到的认知智能水平。
近日，自然语言处理领域权威数据集SuperGLUE最新榜单排名更新。Google预训练模型T5保持第一，中国AI创业公司追一科技AI Lab团队超越Facebook AI，跃居榜单第二。值得注意的是，相比谷歌T5等超大规模研究型模型，追一此次登榜的RoBERTa-mtl-adv模型在商业化能力也非常强劲，相关技术已经落地到追一科技的AI数字员工产品线上，持续赋能银行、保险、证券、零售、地产、能源，教育，互联网等多个行业。
追一科技跃居SuperGLUE测试榜第二
除去作为参照的人类水平，目前排名榜单第一的是Google的T5模型。从学术研究看，T5模型达到了目前“实验室智能”的最好水平，但如果考虑商用，T5需要耗费大量的算力，且模型自身体积过于庞大，目前还不能落地到实际业务场景中，缺少实际的商业应用价值。
而追一科技通过多任务学习、对抗训练以及知识蒸馏的方式，使得RoBERTa-mtl-adv模型大小合理，效果仅次于Google的T5。同时，相关技术也落地到了追一科技AI数字员工的产品线上。就SuperGLUE排名而言，可以说追一科技的RoBERTa-mtl-adv模型在目前全球具有实际落地能力的NLP模型中效果最好，排名最高。
雇佣兵为何来乌克兰？为何还在增加？俄罗斯应该怎么办？
乌克兰的雇佣兵实际是波波的正规军，由英国***提供技术支持。俄乌冲突已经演变为俄波英之间的有限战争。后续俄罗斯会调整战略，目标是确保乌东地区及克里米亚的控制权；而波波的目的是夺回二战前丧失的乌克兰西部领土；英国历史上与俄罗斯世代为仇；乌克兰为各大国历史恩怨情仇提供角斗场，他的司机师傅已经成为被搓弄的历史小丑。美国自然不会放过消弱俄罗斯的一切机会，但是自己内心有大顾忌。以俄罗斯的国力，只要北约不正式下场，应付英波绰绰有余。若是以美国为首的北约正式介入俄乌冲突，将迎来真正的世界百年之大变局。
乌克兰有没有佣兵，俄罗斯根本控制不住，所以俄罗斯在这个事情上，基本就是无计可施，或者说叫做，做好自己的事情，不要去想管不了的事情！
另外，乌克兰方面现在能够取得上风的原因，不是因为乌克兰军队中有一些志愿兵（雇佣兵），而是因为整个乌克兰军事系统正在快速北约化，是因为将标准提高到了北约标准的军事体系和军事装备。俄罗斯真要觉得要认真应对，我想乌克兰军队在这方面的进步，才是需要俄罗斯认真应对的。
在乌克兰前线，用装甲车掩护着冲向敌人防线的大头兵，是哪一个国家的人重要么？都只是一颗步***就会打死的人而已。也就是说，乌克兰不管收拢了多少这样的一线志愿兵（雇佣兵），实际上对乌克兰军力提高是极其有限的。最多就是缓解一下乌克兰紧张的兵员问题，让前线的士兵平均年龄从50岁降低到45岁而已。这种用***、自动***去拼命的兵员也确实是乌克兰需要的，但这却不是乌克兰可以取得战争上风的原因。
现在是北约援助的装备和北约提供的“后勤/指挥/侦察”支持，才是乌克兰可以处于上风的关键原因。如果俄罗斯始终无法解决在这些方面逊色于乌克兰，那么这场战争就会让俄罗斯付出更多代价了。
比如，最直接最根本的，如何应对海马斯对后勤补给线路的毁灭打击？以及美国提供的反辐射***M88导弹，逼的俄罗斯雷达都不敢开机了，着些又要怎么解决？这些问题都要比志愿兵（雇佣兵）要更麻烦。
此时，你说俄罗斯去关心雇佣兵问题是不是“丢西瓜捡芝麻”呢？想要取得战争的胜利，就要抓住主要矛盾！诸如佣兵这样的事情，只要乌克兰处于节节溃退的局面，自然而然就解决了。
