update: 2024.3.9

• https://huggingface.co/spaces/mike-ravkine/can-ai-code-results
• https://huggingface.co/spaces/bigcode/bigcode-models-leaderboard
• https://leaderboard.tabbyml.com/
• https://bird-bench.github.io/ (SQL)
• https://yale-lily.github.io/spider (SQL)

항목에 대한 정보

1. Model: 모델의 이름 또는 식별자입니다.
2. Params: 모델의 매개변수 수 (일반적으로 모델의 크기를 나타냅니다).
3. HumanEval: 모델의 인간 평가 점수입니다. 이는 모델이 사람의 품질에 얼마나 근접한지를 나타냅니다.
4. MBPP: Mean Binary Perplexity (MBPP)는 모델이 이진 데이터의 평균 퍼플렉서티를 나타냅니다. 이것은 모델이 이진 데이터를 얼마나 잘 예측하는지를 측정합니다.
5. HF: Hugging Face 모델 허브(Hugging Face Model Hub)의 해당 모델에 대한 링크입니다.
6. Source: 해당 모델에 대한 추가 정보를 찾을 수 있는 링크입니다.

프롬프트는 인공지능 분야, 특히 인공지능 언어 모델의 개발과 개선에 있어 필수적인 요소가 되었습니다. 이 블로그 게시물에서는 프롬프트의 정의, 프롬프트 엔지니어링의 기술, 효과적인 프롬프트를 만들기 위한 다양한 프레임워크에 대해 살펴봅니다. 또한 프롬프트 마켓플레이스의 등장과 적대적 프롬프트의 개념에 대해서도 논의할 것입니다.

프롬프트란 무엇인가요?

프롬프트는 AI 언어 모델에 제공되는 텍스트 입력으로, 응답을 생성하거나 작업을 완료하기 위한 시작점 역할을 합니다. 프롬프트는 일반적으로 컨텍스트(배경 정보)와 명령(특정 요청 또는 질문)으로 구성됩니다.

프롬프트 엔지니어링이란 무엇인가요?

프롬프트 엔지니어링은 AI 언어 모델 성능을 최적화하고 보다 정확하고 관련성 있으며 유용한 응답을 생성하기 위해 프롬프트를 설계하고 개선하는 프로세스입니다.

프롬프트 작성을 위한 기본 지침

• 대화 스타일 조정하기: 원하는 출력에 따라 적절한 어조와 스타일을 선택합니다.
• 명확하고 간결한 표현: 모호한 표현을 최소화하고 간단한 언어를 사용하여 메시지를 전달하세요.
• 열린 질문보다 닫힌 지시: 개방형 질문 대신 구체적인 지침을 제공하세요.
• 지시 사항과 맥락을 명시하세요: 작업을 명확하게 정의하고 관련 배경 정보를 제공하세요.

더 나은 프롬프트 작성을 위한 프레임워크

• Zero Shot Prompting: AI 모델이 사전 예제 없이 응답을 생성합니다.
• One-Shot Prompting: AI 모델이 하나의 예시를 사용하여 응답을 안내합니다.
• Few-Shot Prompting: AI 모델은 몇 가지 예제를 사용하여 작은 데이터셋에서도 높은 성능을 발휘할 수 있는 모델을 학습시키기 위한 기술
• CoT (Chain-of-Thought): 프롬프트를 더 작은 단계 또는 시퀀스로 세분화하는 기법입니다.
• Zero-Shot CoT (Chain of Thought): 제로 샷 프롬프트와 CoT 접근 방식을 결합합니다.
• Self-Consistency: AI가 생성한 콘텐츠가 스스로 일관성을 유지하도록 보장합니다.
• Generated Knowledge Prompting: AI가 생성한 지식을 후속 프롬프트의 컨텍스트로 활용합니다.

프롬프트 엔지니어링과 함께 떠오르는 트렌드

• 프롬프트 마켓플레이스: 프롬프트와 명령의 교환을 용이하게 하는 플랫폼.
• 눈에 띄는 프롬프트 마켓플레이스: 이 분야에서 점점 더 많은 플랫폼이 등장하고 있습니다.
• 적대적 프롬프트: 악성 프롬프트로 AI를 해킹하는 행위.
• 프롬프트 인젝션: 합법적인 프롬프트에 적대적인 입력을 삽입하여 AI의 응답을 조작하는 행위.
• 프롬프트 유출: 프롬프트를 통해 민감한 정보를 유출하는 AI의 경향을 악용하는 행위.
• 탈옥: 교묘하게 조작된 프롬프트를 통해 AI 모델에 대한 제한을 우회하는 행위.
• 적대적 프롬프트 탐지기: 악의적인 프롬프트를 탐지하고 완화하는 도구 및 기법.

프롬프트와 프롬프트 엔지니어링은 AI 언어 모델의 효과와 효율성에 중요한 역할을 합니다. AI 기술이 계속 발전함에 따라 프롬프트 설계의 복잡성을 이해하고 프롬프트 마켓플레이스 및 적대적 프롬프트와 같은 새로운 트렌드에 대한 최신 정보를 파악하는 것이 필수적입니다. 그래야만 AI의 잠재력을 최대한 활용할 수 있습니다.