코딩 AI 랭킹

update: 2024.3.9

• https://huggingface.co/spaces/mike-ravkine/can-ai-code-results
• https://huggingface.co/spaces/bigcode/bigcode-models-leaderboard
• https://leaderboard.tabbyml.com/
• https://bird-bench.github.io/ (SQL)
• https://yale-lily.github.io/spider (SQL)

항목에 대한 정보

1. Model: 모델의 이름 또는 식별자입니다.
2. Params: 모델의 매개변수 수 (일반적으로 모델의 크기를 나타냅니다).
3. HumanEval: 모델의 인간 평가 점수입니다. 이는 모델이 사람의 품질에 얼마나 근접한지를 나타냅니다.
4. MBPP: Mean Binary Perplexity (MBPP)는 모델이 이진 데이터의 평균 퍼플렉서티를 나타냅니다. 이것은 모델이 이진 데이터를 얼마나 잘 예측하는지를 측정합니다.
5. HF: Hugging Face 모델 허브(Hugging Face Model Hub)의 해당 모델에 대한 링크입니다.
6. Source: 해당 모델에 대한 추가 정보를 찾을 수 있는 링크입니다.

Model	Params	HumanEval	MBPP	HF	Source
GPT-4 + Reflexion	?	91.0	77.1		paper
GPT-4 (latest)	?	84.1	80.0		github
DeepSeek-Coder-Instruct	33B	79.3	70.0	ckpt	github
DeepSeek-Coder-Instruct	7B	78.6	65.4	ckpt	github
GPT-3.5-Turbo (latest)	?	76.2	70.8		github
Code-Llama	34B	62.2	61.2		paper
Pangu-Coder2	15B	61.6			paper
WizardCoder-15B	15B	57.3	51.8	ckpt	paper
Code-Davinci-002	?	47.0			paper
StarCoder-15B (Prompted)	15B	40.8	49.5	ckpt	paper
PaLM 2-S	?	37.6	50.0		paper
PaLM-Coder-540B	540B	36.0	47.0		paper
InstructCodeT5+	16B	35.0			paper
StarCoder-15B	15B	33.6	52.7	ckpt	paper
Code-Cushman-001	?	33.5	45.9		paper
CodeT5+	16B	30.9			paper
LLaMA2-70B	70B	29.9		ckpt	paper
CodeGen-16B-Mono	16B	29.3	35.3		paper
PaLM-540B	540B	26.2	36.8		paper
LLaMA-65B	65B	23.7	37.7		paper
CodeGeeX	13B	22.9	24.4		paper
LLaMA-33B	33B	21.7	30.2		paper
CodeGen-16B-Multi	16B	18.3	20.9		paper
AlphaCode	1.1B	17.1			paper