open-calm-7b
このモデルは、MosaicMLのllm-foundryリポジトリを使用してcyberagent/open-calm-7bをファインチューニングしたモデルです。
Model Date
June 28, 2023
Model License
cc-by-sa-4.0
評価
Jumtra/test_data_100QAを用いてモデルの正答率を評価した また、学習時のvalidateデータに対してのPerplexityを記載した。
| model name | 正答率 | Perplexity |
|---|---|---|
| Jumtra/rinna-3.6b-tune-ep5 | 40/100 | 8.105 |
| Jumtra/rinna-v1-tune-ep1 | 42/100 | 7.458 |
| Jumtra/rinna-v1-tune-ep3 | 41/100 | 7.034 |
| Jumtra/calm-7b-tune-ep4 | 40/100 | 9.766 |
| Jumtra/calm-v3-ep1 | 35/100 | 9.305 |
| Jumtra/calm-v3-ep3 | 37/100 | 13.276 |
以下のプロンプトを用いた
INSTRUCTION_KEY = "### 入力:"
RESPONSE_KEY = "### 回答:"
INTRO_BLURB = "以下はタスクを説明する指示と文脈のある文章が含まれた入力です。要求を適切に満たす回答を生成しなさい。"
JP_PROMPT_FOR_GENERATION_FORMAT = """{intro}
{instruction_key}
{instruction}
{response_key}
""".format(
intro=INTRO_BLURB,
instruction_key=INSTRUCTION_KEY,
instruction="{instruction}",
response_key=RESPONSE_KEY,
)
- Downloads last month
- 4