benchmark-methodology.mdПубличный

benchmark-methodology

Методология бенчмаркинга AI-агентов и систем

О скиле

Методология разработки бенчмарков (эталонных тестов) для AI-систем и агентов: критерии оценки, формирование датасетов, выбор метрик и стандарты воспроизводимости. Claude помогает спроектировать корректный тест: избежать data leakage (утечки обучающих данных в тест), выбрать правильные метрики и интерпретировать результаты. Если вы ML-инженер, создадите надёжный eval-пайплайн для своей модели. Если продакт-менеджер AI-продукта, поймёте как объективно оценить качество AI-фичи. Работает с Claude Code.

Как установить

  1. Открой папку скилов Claude Code: open ~/.claude/skills/

  2. Склонируй репозиторий: git clone https://github.com/affaan-m/ECC ~/.claude/skills/ecc

  3. Перезагрузи Claude Code — скил подхватится автоматически.

  4. Активируй в чате: Use benchmark-methodology skill.

Установка

telegram

Разбираю скилы вроде этого и близкие по теме «Данные и ИИ»: где брать, как собирать и применять их на практике.

  • бесплатно
  • то, чем сам пользуюсь
  • новые скилы и разборы каждую неделю
Подписаться в Telegram
// продолжай по той же профессии или категории

Частые вопросы

Что такое скил «benchmark-methodology»?
«benchmark-methodology» — готовый Agent Skill для Claude Code и Cursor. Это .md-файл с системным промптом, который подключается одним файлом и расширяет возможности AI-редактора в задачах vibe-coding. Скил можно скачать и использовать сразу — без настройки.
Как установить скил «benchmark-methodology» в Claude Code?
Скачайте .md-файл на этой странице и положите его в папку ~/.claude/skills/ вашего проекта. Перезапустите Claude Code — скил подхватится автоматически. Для Cursor и Windsurf скопируйте содержимое .md-файла в системный промпт проекта (Settings → Rules).
Бесплатен ли скил «benchmark-methodology»?
Да, скил «benchmark-methodology» доступен бесплатно для всех пользователей без регистрации. Скачайте .md-файл прямо на этой странице.

Больше вопросов про Agent Skills — общий FAQ маркетплейса