update: 2024.3.9
- https://huggingface.co/spaces/mike-ravkine/can-ai-code-results
- https://huggingface.co/spaces/bigcode/bigcode-models-leaderboard
- https://leaderboard.tabbyml.com/
- https://bird-bench.github.io/ (SQL)
- https://yale-lily.github.io/spider (SQL)
항목에 대한 정보
- Model: 모델의 이름 또는 식별자입니다.
- Params: 모델의 매개변수 수 (일반적으로 모델의 크기를 나타냅니다).
- HumanEval: 모델의 인간 평가 점수입니다. 이는 모델이 사람의 품질에 얼마나 근접한지를 나타냅니다.
- MBPP: Mean Binary Perplexity (MBPP)는 모델이 이진 데이터의 평균 퍼플렉서티를 나타냅니다. 이것은 모델이 이진 데이터를 얼마나 잘 예측하는지를 측정합니다.
- HF: Hugging Face 모델 허브(Hugging Face Model Hub)의 해당 모델에 대한 링크입니다.
- Source: 해당 모델에 대한 추가 정보를 찾을 수 있는 링크입니다.
| Model | Params | HumanEval | MBPP | HF | Source |
|---|---|---|---|---|---|
| GPT-4 + Reflexion | ? | 91.0 | 77.1 | paper | |
| GPT-4 (latest) | ? | 84.1 | 80.0 | github | |
| DeepSeek-Coder-Instruct | 33B | 79.3 | 70.0 | ckpt | github |
| DeepSeek-Coder-Instruct | 7B | 78.6 | 65.4 | ckpt | github |
| GPT-3.5-Turbo (latest) | ? | 76.2 | 70.8 | github | |
| Code-Llama | 34B | 62.2 | 61.2 | paper | |
| Pangu-Coder2 | 15B | 61.6 | paper | ||
| WizardCoder-15B | 15B | 57.3 | 51.8 | ckpt | paper |
| Code-Davinci-002 | ? | 47.0 | paper | ||
| StarCoder-15B (Prompted) | 15B | 40.8 | 49.5 | ckpt | paper |
| PaLM 2-S | ? | 37.6 | 50.0 | paper | |
| PaLM-Coder-540B | 540B | 36.0 | 47.0 | paper | |
| InstructCodeT5+ | 16B | 35.0 | paper | ||
| StarCoder-15B | 15B | 33.6 | 52.7 | ckpt | paper |
| Code-Cushman-001 | ? | 33.5 | 45.9 | paper | |
| CodeT5+ | 16B | 30.9 | paper | ||
| LLaMA2-70B | 70B | 29.9 | ckpt | paper | |
| CodeGen-16B-Mono | 16B | 29.3 | 35.3 | paper | |
| PaLM-540B | 540B | 26.2 | 36.8 | paper | |
| LLaMA-65B | 65B | 23.7 | 37.7 | paper | |
| CodeGeeX | 13B | 22.9 | 24.4 | paper | |
| LLaMA-33B | 33B | 21.7 | 30.2 | paper | |
| CodeGen-16B-Multi | 16B | 18.3 | 20.9 | paper | |
| AlphaCode | 1.1B | 17.1 | paper |
반응형
'개발' 카테고리의 다른 글
| Mac이 AI PC로서 최고인 이유 (0) | 2024.02.03 |
|---|---|
| 2024년 프로그래밍 랭킹 (1) | 2024.01.02 |
| gitlab 설치(apache --proxy--> gitlab) (0) | 2023.12.27 |
| elixir vs rust 비교 (1) | 2023.12.27 |
| vscode dev containers (1) | 2023.12.22 |