GitHub Copilot Evals는 스킬·사용자 에이전트·MCP 도구의 동작을 같은 과제와 검사 기준으로 다시 확인하는 공개 미리보기입니다. 좋은 답 한 번을 개선의 증거로 삼기보다, 입력·통과 조건·실행 영향·저장 보고서를 연결해 보세요.
GitHub는 2026년 11월 17일 이 기능을 발표했습니다. 18일 공지와 공식 저장소의 현재 README를 확인했어요. 이 글은 Copilot 맞춤 설정을 바꾼 개발자가 평가를 설계하고 결과를 읽는 방법을 설명합니다. 플러그인을 설치하거나 평가를 실행해 점수·생산성·모델 우열을 측정한 후기는 아닙니다.
모델 순위보다 내가 바꾼 동작을 확인하는 도구예요
eval은 AI가 맡은 과제에서 기대하는 동작을 반복해서 확인하는 시험입니다. 현실적인 작업을 주고 좋은 결과의 조건을 정한 뒤, 최종 결과뿐 아니라 그 결과에 이르는 과정도 살펴봅니다. 공식 발표는 한 번 좋은 답이 나와도 맞춤 설정이 꾸준히 잘 작동한다고 판단하기 어렵다는 문제에서 출발합니다.
이번 기능의 대상에는 프로젝트의 스킬, 사용자 지정 에이전트, MCP 도구가 있습니다. 스킬은 특정 작업의 지침과 자원을 묶은 단위, MCP는 AI 도구가 외부 기능이나 자료에 연결하는 방식이라고 이해하면 편해요. 설정이 바뀌면 어떤 입력을 읽고 어떤 도구를 쓸지, 결과를 어떻게 정리할지가 함께 달라질 수 있습니다.
공지는 자연어 요청이나 /eval 명령으로 평가를 만들고, 통과·실패를 확인하며, 실패 이유를 살펴 수정하고 변경 전후 실행을 비교할 수 있다고 안내합니다. 평가 엔진으로는 확장 가능한 로컬 도구 Vally를 사용합니다. 평가 파일을 만들었다는 사실과 그 파일대로 실제 동작을 실행했다는 사실은 구분해야 합니다.
이 글은 공개 미리보기의 제공 범위인 Copilot Individual·Business·Enterprise 플랜을 기준으로 설명합니다. 실제 호스트와 조직 정책·버전에서 사용할 수 있는지는 적용 시점에 확인해 주세요. 미리보기이므로 현재 저장소의 안내와 기능 조건이 달라질 가능성도 있습니다.
여기서 얻고 싶은 답은 어느 모델이 세상에서 가장 뛰어난가가 아닙니다. 내 프로젝트의 특정 지침을 바꿨을 때 중요한 동작이 유지됐는지, 새 실패가 생겼는지 확인하는 것이 더 구체적인 질문이에요. 한 과제의 통과를 모든 개발 업무나 개인의 생산성 향상으로 일반화하지 않는 편이 정확합니다.
사용하는 호스트와 실행 전제를 먼저 맞추세요
설치 경로는 환경에 따라 나뉩니다. VS Code에서는 Visual Studio Marketplace의 GitHub Copilot Evals 확장 경로가 있고, Copilot CLI에는 공식 저장소의 플러그인 설치 안내가 있습니다. Copilot 앱은 Customize에서 github/evals 마켓플레이스를 추가해 플러그인을 설치하는 경로로 공지돼요. 실제 설치는 조직의 승인과 현재 도구 지원을 먼저 확인해야 합니다.
18일 읽은 README는 CLI의 /eval 명령과 Evals Canvas에 Copilot CLI 실험 모드가 필요하다고 설명합니다. 실험 모드 없이도 여섯 스킬을 자연어로 요청할 수 있지만, 이것이 확장 전용 명령·도구·Canvas까지 켜는 것은 아닙니다. 어떤 화면을 썼는지에 따라 기대할 기능을 구분해 주세요.
Canvas는 프로젝트 자산, 평가 초안, 검사 정의, 저장된 결과 보고서를 살피는 화면입니다. VS Code 확장의 기능과 독립 플러그인을 같은 설치물로 생각하면 화면이나 도구 차이를 놓칠 수 있어요. 현재 설치한 항목의 제공 범위와 활성 상태·적용 범위를 확인하고 새 프로젝트 세션이 필요한 안내도 함께 읽는 것이 좋습니다.
로컬 runner의 전제도 있습니다. 현재 README의 최소값은 CLI 플러그인용 Node.js 24.0.0, VS Code용 22.14.0, Vally CLI 0.19.0, GitHub Copilot CLI 1.0.85, Git 2.28.0입니다. 각각 플러그인·평가 실행·기본 에이전트 실행·격리에 연결된 조건입니다. 숫자 하나만 맞으면 모든 호스트 구성이 검증된다는 뜻은 아니며 실제 설치 상태를 따로 확인해야 합니다.
공식 안내는 프로젝트를 열고 필요한 신뢰·로그인 상태를 확인한 뒤 평가를 만드는 흐름입니다. 폴더를 신뢰하거나 도구 권한을 허용하는 일은 자료와 코드에 접근할 수 있는 범위와 연결됩니다. 익숙하지 않은 저장소를 평가한다는 이유로 그대로 신뢰하거나 권한을 넓히지 마세요. 이 글에서는 실험 모드·인증·신뢰 설정을 바꾸지 않았습니다.
또한 공식 저장소는 소스 열람이 가능한 제한적 이용 라이선스를 안내하며 오픈소스 소프트웨어가 아니라고 명시합니다. 코드가 GitHub에 공개돼 있다는 사실만으로 어떤 배포·사용 방식도 허용된다고 판단하면 안 됩니다. 도입 목적에 맞는 실제 라이선스 조건은 담당자가 확인해 주세요.
작은 실제 과제와 통과 기준을 먼저 적어 보세요
처음에는 평가 도구의 화면보다 반복해서 확인할 행동을 정하는 편이 좋습니다. 다음은 릴리스 노트 작성 스킬을 평가한다고 가정한 설계 예시입니다. 실제 프로젝트의 실행 결과가 아니며, 이슈 내용도 비밀정보가 없는 가상 자료로 준비한다는 전제입니다.
완료된 작업과 아직 열려 있는 작업을 함께 주고, 완료된 내용만 결과에 넣도록 요구해 보세요. 결과 문장이 자연스럽다는 인상과 별개로 완료 여부를 구분했는지, 원래 이슈 식별자를 보존했는지, 입력 파일을 변경하지 않았는지를 확인할 수 있습니다. 공식 README의 첫 평가 예시도 이런 종류의 조건을 사용합니다.
| 평가 전에 정할 것 | 가상 릴리스 노트 과제의 예 |
| 입력과 제외 조건 | 완료·미완료 자료를 함께 주고 완료 내용만 포함 |
| 결과의 정확성 | 원문에 있는 식별자와 사실을 보존 |
| 작업의 경계 | 입력 파일을 바꾸지 않고 허용한 결과만 생성 |
| 실패 검토 | 누락·오분류·불필요한 변경을 서로 구분 |
이처럼 결과와 과정의 조건을 나누면 수정할 위치가 구체적입니다. 완료 작업을 빠뜨린 경우와 미완료를 완료로 쓴 경우는 모두 좋지 않은 결과지만 원인은 같지 않을 수 있어요. 같은 통과율이라는 한 숫자에 묻기보다 어떤 검사에서 무엇을 놓쳤는지 읽을 수 있게 준비하는 것이 좋습니다.
fixture는 이런 시험에 넣는 입력 자료를 뜻합니다. 실제 사용자 정보나 운영 비밀값을 그대로 복사할 필요는 없습니다. 평가할 조건이 드러나는 작은 가상 자료를 만들고, 원본이 바뀌면 그 사실을 결과 비교에 반영해 주세요. 무조건 자료를 많이 넣는 것이 반복 비교를 더 정확하게 만드는 것은 아닙니다.
첫 실행 전에 제안된 과제·입력·검사 정의를 읽어야 합니다. 평가를 AI가 만들어 줬더라도 무엇을 통과로 보는지 잘못 정의하면 결과가 좋아 보이는 이유부터 달라져요. 성공한 답에 맞춰 기준을 뒤늦게 바꾸는 대신, 중요한 조건을 먼저 정하고 실패 사례를 발견했을 때 그 근거와 함께 평가를 보완하는 방식이 낫습니다.
이 예시가 다른 팀의 필수 검사 목록은 아닙니다. 자신의 스킬이 파일을 편집하는지, 외부 자료를 읽는지, 어떤 결과를 약속하는지에 맞춰 입력·결과·허용 행동을 정해 보세요. 평가가 다루지 않은 범위는 별도 검토 대상으로 남겨 두어야 합니다.
평가 저장과 실행 승인은 서로 다른 단계입니다
공식 README는 평가 저장과 실행을 분리합니다. 파일 유효성을 확인하거나 이미 저장한 결과를 읽고 비교하는 작업에는 모델 호출이 없습니다. 반면 실제 eval 실행이나 grader 시험은 시작 전에 실행 영향과 토큰·크레딧 비용을 검토하고 승인하는 흐름입니다.
grader는 결과를 어떤 기준으로 판정할지 정한 검사기입니다. 설정 스크립트, 도구, 사용자 정의 검사기, AI 판정기는 코드를 실행하고 비용을 발생시킬 수 있어요. 로컬에서 돈다는 설명은 아무런 권한이나 외부 호출 없이 문서만 읽는다는 뜻이 아닙니다. 실제 호스트의 권한 범위에서 어떤 동작이 일어나는지 확인해야 합니다.
현재 안내의 흐름은 /eval create로 평가를 만들고 제안된 내용·검사를 검토해 저장한 뒤, /eval run 또는 Canvas의 Review & run에서 실행하는 방식입니다. 이후 /eval review로 결과를 읽고 변경 다음에는 /eval compare로 이전 저장 결과와 비교할 수 있습니다. 이 명령들은 문서의 사용 경로를 설명한 것이며 여기서 실행하지 않았습니다.
실행 효과를 검토할 때는 파일을 어디에 쓰는지, 어떤 도구를 부르는지, 가상 자료 밖으로 접근할 가능성은 없는지 살펴보는 것이 좋습니다. 실제 서비스에 쓰기 권한이 있는 도구를 시험한다면 비운영 환경이나 별도 복사본으로 범위를 제한할 계획도 필요합니다. 평가라는 이름이 운영 변경의 승인을 대신하지 않습니다.
비용에서도 같은 구분이 필요해요. 저장 결과를 비교하는 화면을 열었다는 사실과 새 모델 실행을 여러 번 요청했다는 사실을 합쳐 기록하면 사용량을 설명하기 어렵습니다. 실제 실행·검사기의 호출과 표시된 비용 조건을 확인하고, 측정하지 않은 토큰 수나 금액을 결과처럼 쓰지 않는 편이 정확합니다.
자동화용 정의가 포함돼 있다는 설명도 매 실행을 무조건 예약해야 한다는 뜻은 아닙니다. 팀의 도입 목적과 승인된 실행 범위에 맞게 결정하면 됩니다. 이 글은 별도의 반복 작업을 만들거나 실행 일정을 추가하지 않았고, 실제 평가 승인 버튼도 누르지 않았습니다.
전후 비교는 같은 입력과 저장 보고서로 읽어 보세요
공식 발표가 제안하는 활용은 스킬·에이전트·MCP를 바꾼 뒤 같은 평가를 다시 실행해 회귀, 즉 예전에는 되던 동작이 깨졌는지 확인하는 것입니다. 비교하려는 변화 외에 입력 자료나 모델·도구 조건까지 달라지면 결과 차이를 어느 변경 때문이라고 설명할지 어려워집니다.
변경 전 결과를 남기고, 무엇을 바꿨는지와 평가 정의·입력의 버전을 함께 기록해 보세요. 가능한 한 같은 과제·같은 검사로 비교하되 환경이 달라졌다면 그 차이를 숨기지 않는 방식입니다. 한 번의 성공과 실패만으로 일반적인 성능이나 개선율을 계산하기보다 반복해서 나타나는 실패와 아직 확인하지 못한 조건을 읽는 편이 좋습니다.
저장 보고서에서는 통과·실패 표시만 보지 말고 산출물과 대화 흐름도 확인해 주세요. 결과가 요구한 내용과 맞는지, 입력을 불필요하게 바꾸지는 않았는지, 허용하지 않은 도구나 자료를 쓰지 않았는지 살펴볼 수 있습니다. 공식 첫 평가 흐름도 보고서의 검사·출력·대화 추적을 읽도록 안내합니다.
결과는 프로젝트의 .copilot/evals/results에 저장됩니다. 실제 표기와 경로 구분자는 운영체제에 따라 확인해 주세요. 로컬 결과가 제품 분석 통계로 전송되지 않는다는 설명과 그 결과를 외부에 공유해도 된다는 판단은 다릅니다. 공유 전에 프롬프트·출력·대화·파일에 민감한 정보가 있는지 검토하는 편이 좋습니다.
개인정보 조건도 단순히 켜짐·꺼짐 한 단어로 줄이기 어렵습니다. 현재 README는 출시된 독립 플러그인의 원격 측정이 기본 활성화되며 환경·작업 결과 범주 등의 정보를 기록한다고 안내합니다. 가명 식별자는 익명 정보와 다르다고 명시하고, 코드·프롬프트·모델 출력 등은 해당 원격 측정에 포함하지 않는다고 구분합니다.
에디터 호스트에서의 동의 처리와 VS Code 확장의 원격 측정은 별도 조건을 따릅니다. 따라서 모든 호스트가 같은 자료를 같은 방식으로 전송한다고 단정하지 말고 실제 설치 형태와 공식 개인정보 안내를 확인해야 합니다. 이 글은 사용자의 설정을 읽거나 바꾸지 않았습니다.
검사를 통과해도 AI가 매번 맞게 답한다는 보장은 없습니다. 중요한 실패를 발견했다면 평가에 빠진 조건인지, 지침·도구의 문제인지, 실행 환경 차이인지 나눠 보세요. 그 원인을 확인한 수정과 다음 저장 결과가 있어야 이전보다 나아졌다는 판단을 구체적으로 설명할 수 있습니다.
자주 묻는 질문과 첫 평가의 범위
평가 파일을 저장하면 이미 실행된 건가요? 아닙니다. 저장·파일 검토·저장 결과 비교와 새 실행은 다른 단계입니다. 실행의 영향과 비용을 검토하고 실제 보고서가 생긴 뒤에 실행 결과로 기록해야 합니다.
CLI에 설치하면 모든 /eval 화면이 바로 되나요? 현재 README는 /eval 명령과 Canvas의 실험 모드 전제를 구분합니다. 자연어 스킬 요청이 가능하다는 설명을 확장 전용 기능 전체가 활성화됐다는 뜻으로 읽지 마세요. 실제 호스트와 버전을 확인해야 합니다.
통과율이 올랐으면 생산성이 좋아진 건가요? 정해 둔 입력과 검사가 다루는 범위에서의 결과입니다. 평가 정의와 환경이 같은지도 확인해야 하며, 팀 전체의 개발 속도·품질·비용 효과로 바로 일반화할 수는 없습니다.
처음에는 무엇을 준비할까요? 자주 하는 작은 과제, 비밀정보 없는 고정 입력, 결과와 작업 경계의 통과 조건, 실행 영향·비용을 확인할 방법을 준비해 보세요. 그 뒤 저장한 평가·실제 실행·보고서·다음 수정의 관계를 따라가면 한 번 잘된 답보다 설명할 수 있는 근거를 남기기 쉽습니다. 이는 적용 제안이며 실제 성과를 보장하는 절차는 아닙니다.
자료 확인일은 2026년 11월 18일입니다. 공식 발표와 현재 문서로 확인한 범위이며, 실제 계정 설정 변경·명령 실행·성능 시험은 하지 않았어요. 적용 시점의 계정·버전·환경과 승인 범위는 담당자가 다시 확인해 주세요.
함께 읽어 볼 글: 모델 비교 전에 입력과 조건을 맞추는 안내.

'소프트웨어개발' 카테고리의 다른 글
| Copilot 비밀정보 검사 추가: 변경 코드와 저장소 이력은 따로 보세요 (0) | 2026.11.19 |
|---|---|
| Cloudflare CLI 1.0 RC: 배포 스크립트를 바꾸기 전 확인할 차이 (0) | 2026.11.19 |
| AI Search 파일 요약을 켜기 전: 재색인·비용·누락 조건부터 확인하세요 (0) | 2026.11.19 |