СНАЧАЛА ДОКАЗАТЕЛЬСТВА · ИСТОРИЧЕСКИЕ РЕЗУЛЬТАТЫ НЕ ДОКАЗЫВАЮТ ТЕКУЩУЮ PRODUCTION-СБОРКУ
PRO Bench / Публичные доказательства

Сравнивайте системы.Проверяйте доказательства.

Вопросы, участники, результаты, стоимость, время и оценки должны находиться в одной проверяемой цепочке. Отсутствующие данные остаются неизвестными.

Текущее публичное состояние

Результат не публикуется, пока неизменяемый пакет доказательств не пройдёт все проверки.

Наблюдаемая сборка приложения: da50cacfac4f

Целевое доказательство

R3 snapshot с правами публикации, целостностью, вопросами, ответами и receipt’ами.

Проверенный R3 evidence snapshot не настроен для публичной выдачи.

Архитектура доказательств

От задачи до доказательства.

Каждый опубликованный результат должен проходить по одной проверяемой цепочке.

Проверить правила
01Задача

Точная задача, версия и допустимые данные.

02Участник

Класс системы, сборка и политика инструментов.

03Попытка

Ответ, артефакты, стоимость и время.

04Оценивание

Рубрика, судьи и ограничения.

05Публикация

Неизменяемый пакет с подтверждёнными правами.

Каталог бенчмарков

Каталог бенчмарков

Откройте набор, чтобы проверить его охват, состояние доказательств и границы по каждому вопросу.

Публичных наборов пока нет.Каталог пуст; система не подставляет нулевые баллы.
Треки участников

Сравниваем сопоставимое

Raw-модели, chat-продукты, coding agents, agent runtimes и оркестраторы — разные участники. Официальный рейтинг строится только внутри зафиксированного протокола.

Планируемое покрытие →
трек сравненияТолько модельMODEL_ONLY

Один зафиксированный snapshot модели без внешних инструментов и продуктового workflow.

  • pinned_model_snapshot
  • frozen_prompt_protocol
  • no_external_tools
трек сравненияМодель + стандартные инструментыSTANDARD_TOOLS

Зафиксированные модели получают одинаковый браузер, code runner и файловые инструменты.

  • pinned_model_snapshot
  • identical_tool_contract
  • frozen_prompt_protocol
трек сравненияАгент / системаAGENT_SYSTEM

Полные продукты, coding agents, agent runtimes и оркестраторы сравниваются как системы.

  • product_or_system_snapshot
  • interaction_protocol
  • tool_and_model_disclosure
трек сравненияЛучший результат при равном бюджетеEQUAL_BUDGET

Разные классы участников сравниваются только при одинаковых лимитах денег, времени и оператора.

  • shared_money_cap
  • shared_wall_clock_cap
  • shared_operator_protocol
  • actual_cost_and_time_receipts
Текущее выполнение

Текущее выполнение

Ход выполнения не означает квалификацию. Идентичность сборки и доказательства проверяются отдельно.

Открыть ход выполнения →
вопросов 0
завершённых прогонов 0/0
обновлено UNKNOWN
Публичных запусков сейчас нет.Итоги остаются неизвестными до привязки прогона.
Машиночитаемые данные

Машиночитаемые данные

Интерфейс — это представление данных. Эти endpoints показывают то же закрытое по умолчанию состояние для проверки.