Swallow LLM Leaderboard

Small (5B-15B) base LLMs

  • X axis
  • Y axis
  • X axis
  • Y axis
Model name Ja avg JComQA JEMHQA NIILC JSQuAD XL-Sum MGSM En-Ja Ja-En JMMLU JHumanEval
Falcon3-7B-Base 0.337 0.634 0.412 0.180 0.788 0.173 0.244 0.078 0.119 0.385 0.361
Falcon3-10B-Base 0.383 0.680 0.443 0.187 0.854 0.187 0.376 0.103 0.139 0.435 0.426
Gemma 2 9B 0.500 0.904 0.573 0.524 0.898 0.168 0.456 0.269 0.236 0.623 0.345
Llama 3 8B 0.429 0.835 0.436 0.410 0.892 0.177 0.312 0.221 0.206 0.455 0.344
Llama 3 Swallow 8B 0.471 0.896 0.478 0.546 0.900 0.198 0.440 0.276 0.222 0.471 0.282
Llama 3 Youko 8B 0.442 0.870 0.493 0.513 0.895 0.213 0.276 0.276 0.219 0.449 0.222
Llama 3.1 8B 0.437 0.845 0.461 0.405 0.895 0.179 0.356 0.221 0.210 0.479 0.320
Llama 3.1 Swallow 8B v0.1 0.490 0.912 0.509 0.601 0.899 0.202 0.460 0.291 0.231 0.518 0.276
Llama 3.1 Swallow 8B v0.2 0.499 0.911 0.510 0.627 0.892 0.198 0.464 0.296 0.233 0.525 0.336
llm-jp-3-13b 0.393 0.650 0.525 0.649 0.882 0.164 0.160 0.273 0.210 0.399 0.023
Mistral-Nemo-Base-2407 (12B) 0.460 0.911 0.516 0.475 0.904 0.192 0.416 0.244 0.212 0.538 0.194
Mistral-NeMo-Minitron 8B 0.444 0.887 0.486 0.374 0.902 0.157 0.424 0.186 0.193 0.494 0.332
Mistral-7B-v0.3 0.361 0.714 0.474 0.245 0.847 0.212 0.156 0.142 0.171 0.404 0.242
PLaMo 2 8B 0.481 0.909 0.474 0.655 0.910 0.120 0.508 0.280 0.205 0.536 0.213
Qwen2-7B 0.472 0.875 0.463 0.372 0.899 0.172 0.524 0.209 0.195 0.587 0.422
Qwen2.5-7B 0.512 0.924 0.459 0.426 0.907 0.216 0.616 0.229 0.199 0.634 0.507
Sarashina2-7B 0.395 0.742 0.509 0.634 0.868 0.141 0.080 0.273 0.201 0.384 0.121
Sarashina2-13B 0.445 0.850 0.557 0.661 0.898 0.158 0.188 0.284 0.221 0.473 0.161
Swallow 7B 0.346 0.483 0.511 0.585 0.847 0.182 0.108 0.250 0.149 0.324 0.018
Swallow 13B 0.415 0.764 0.507 0.643 0.893 0.215 0.208 0.272 0.178 0.439 0.027
Swallow-MS 7B v0.1 0.439 0.873 0.517 0.572 0.879 0.197 0.244 0.251 0.167 0.459 0.232
Yi-1.5 6B 0.354 0.658 0.380 0.226 0.829 0.198 0.240 0.130 0.147 0.423 0.313
Yi-1.5 9B 0.432 0.834 0.417 0.265 0.894 0.224 0.420 0.174 0.187 0.516 0.391
Model name En avg OpenBookQA TriviaQA HellaSwag SQuAD2 XWINO MMLU GSM8K MATH BBH HumanEval
Falcon3-7B-Base 0.596 0.354 0.552 0.566 0.539 0.881 0.701 0.766 0.438 0.692 0.476
Falcon3-10B-Base 0.639 0.368 0.579 0.596 0.603 0.901 0.732 0.802 0.492 0.776 0.543
Gemma 2 9B 0.597 0.382 0.718 0.626 0.506 0.907 0.706 0.688 0.338 0.704 0.390
Llama 3 8B 0.542 0.380 0.712 0.612 0.502 0.905 0.651 0.487 0.180 0.620 0.376
Llama 3 Swallow 8B 0.523 0.350 0.656 0.590 0.519 0.901 0.615 0.483 0.182 0.598 0.337
Llama 3 Youko 8B 0.486 0.348 0.625 0.589 0.502 0.896 0.601 0.355 0.096 0.571 0.281
Llama 3.1 8B 0.545 0.380 0.702 0.609 0.503 0.907 0.651 0.507 0.214 0.616 0.364
Llama 3.1 Swallow 8B v0.1 0.538 0.378 0.671 0.605 0.502 0.905 0.624 0.511 0.224 0.615 0.348
Llama 3.1 Swallow 8B v0.2 0.539 0.382 0.651 0.596 0.513 0.904 0.622 0.521 0.228 0.605 0.366
llm-jp-3-13b 0.399 0.332 0.602 0.570 0.501 0.902 0.462 0.158 0.026 0.402 0.032
Mistral-Nemo-Base-2407 (12B) 0.559 0.422 0.741 0.647 0.528 0.914 0.690 0.550 0.184 0.657 0.259
Mistral-NeMo-Minitron 8B 0.572 0.406 0.728 0.621 0.525 0.915 0.694 0.585 0.202 0.658 0.382
Mistral-7B-v0.3 0.507 0.374 0.695 0.622 0.511 0.909 0.623 0.361 0.116 0.585 0.273
PLaMo 2 8B 0.474 0.346 0.584 0.560 0.511 0.890 0.575 0.550 0.200 0.260 0.260
Qwen2-7B 0.602 0.374 0.610 0.602 0.574 0.891 0.705 0.781 0.492 0.530 0.460
Qwen2.5-7B 0.630 0.392 0.601 0.600 0.618 0.888 0.742 0.832 0.510 0.562 0.554
Sarashina2-7B 0.383 0.346 0.479 0.532 0.501 0.892 0.425 0.101 0.034 0.373 0.146
Sarashina2-13B 0.418 0.340 0.548 0.562 0.501 0.896 0.496 0.158 0.036 0.442 0.198
Swallow 7B 0.363 0.312 0.491 0.527 0.501 0.885 0.391 0.103 0.020 0.354 0.041
Swallow 13B 0.412 0.344 0.580 0.560 0.502 0.902 0.501 0.197 0.024 0.430 0.080
Swallow-MS 7B v0.1 0.461 0.352 0.599 0.579 0.501 0.901 0.548 0.268 0.096 0.491 0.270
Yi-1.5 6B 0.540 0.344 0.593 0.575 0.651 0.898 0.636 0.522 0.244 0.583 0.352
Yi-1.5 9B 0.592 0.390 0.619 0.601 0.693 0.902 0.696 0.620 0.300 0.710 0.384