EvalAI

EvalAI是评估和比较机器学习（ML）和人工智能（AI）算法的开源平台。

近年来，比较解决给定任务与其他现有方法的算法变得越来越困难。这些比较在算法实施，非标准数据集拆分和不同的评估指标上的差异很小。通过提供中央排行榜和提交界面，我们使研究人员更容易复制论文中提到的结果并进行可靠且准确的定量分析。通过基于地图减少的框架提供快速速度的快速后端，以速度快速评估， EvalAI目的是使研究人员更容易从技术论文中复制结果并进行可靠，准确的分析。

• 自定义评估协议和阶段：我们允许创建任意数量的评估阶段和数据集拆分，使用任何编程语言的兼容性，并在公共和私人排行榜中组织结果。

• 远程评估：某些大规模挑战需要特殊的计算能力进行评估。如果挑战需要额外的计算能力，挑战组织者可以轻松地添加自己的工人节点群来处理参与者提交的内容，同时我们照顾挑战，处理用户提交和维护排行榜。

• 在环境内部的评估： EvalAI允许参与者以docker图像的形式提交代理的代码，这些代理会根据评估服务器上的测试环境进行评估。在评估过程中，工人获取图像，测试环境和模型快照，并旋转一个新容器以进行评估。

• CLI支持： EvalAI -CLI旨在将EvalAI Web应用程序的功能扩展到您的命令行，以使平台更容易访问和终端友好。

• 可移植性： EvalAI设计是从想法开始时保持这种系统的心态和可移植性。大多数组件都在很大程度上依赖开源技术 - Docker，Django，Node.js和PostgreSQL。

• 更快的评估：我们通过导入挑战代码并将数据集预处在内存中预处理来为启动时的工人节点进行热身。我们还将数据集分成小块，这些块在多个内核上同时评估。这些简单的技巧导致评估更快，并在某些情况下减少了评估时间的数量级。

我们的最终目标是建立一个集中式平台，以主持，参与和协作在全球范围内组织的AI挑战，我们希望帮助基于AI的进度进行基准测试。

在本地机器上设置EvalAI真的很容易。您可以使用Docker设置EvalAI ：这些步骤是：

1. 在计算机上安装Docker和Docker-Compose。

2. 通过git将源代码输入计算机。

   EvalAI ">

   git clone https://*git**hub.com/Cloud-CV/EvalAI.git EvalAI && cd EvalAI

3. 构建并运行Docker容器。这可能需要一段时间。

    docker-compose up --build
   

   默认情况下，这仅启动所需的服务（ db ， sqs和django ）。
   如果您需要工作人员服务，请使用以下方式开始使用：

    docker-compose --profile worker up --build
   

   如果您需要statsd-exporter ，请使用：

    docker-compose --profile statsd up --build
   

   要启动这两个可选服务，请使用：

    docker-compose --profile worker --profile statsd up --build
   

4. 就是这样。打开Web浏览器并点击URL http://127.0.***0.1：8888。默认情况下将创建三个用户 - 下面列出 -

   超级用户 - 用户名： admin密码： password
   主机用户 - 用户名： host密码： password
   参与者用户 -用户名： participant密码： password

如果您在安装过程中面临任何问题，请在安装页面期间查看我们的常见错误。

如果您想为EvalAI文档做出贡献，请参阅docs/README.md中的文档特定设置说明，以在本地设置文档构建器。

如果您正在使用EvalAI进行挑战，请引用以下技术报告：

 @article{ EvalAI ,
    title   =  { EvalAI : Towards Better Evaluation Systems for AI Agents},
    author  =  {Deshraj Yadav and Rishabh Jain and Harsh Agrawal and Prithvijit
                Chattopadhyay and Taranjeet Singh and Akash Jain and Shiv Baran
                Singh and Stefan Lee and Dhruv Batra},
    year    =  {2019},
    volume  =  arXiv:1902.03570
}

目前由Rishabh Jain，Gunjan Chhablani EvalAI 。其他主要贡献者的非竭力清单包括：Deshraj Yadav，Ram Ramrakhya，Akash Jain，Taranjeet Singh，Shiv Baran Singh，Harsh Agarwal，Prithvijit Chattopadhyay，Devi Parikh和Dhruv Batra。

如果您有兴趣为EvalAI做出贡献，请遵循我们的贡献指南。