Model name Ja avg JComQA JEMHQA NIILC JSQuAD XL-Sum MGSM En-Ja Ja-En JMMLU JHumanEval
Falcon3-1B-Base 0.129 0.216 0.251 0.062 0.281 0.085 0.008 0.012 0.020 0.264 0.088
Falcon3-3B-Base 0.209 0.281 0.333 0.113 0.517 0.120 0.096 0.031 0.051 0.319 0.229
Gemma 2 2B 0.348 0.721 0.472 0.316 0.810 0.083 0.124 0.203 0.190 0.388 0.177
Gemma 2 Baku 2B 0.372 0.760 0.475 0.443 0.843 0.121 0.124 0.255 0.187 0.376 0.137
Gemma-2-Llama Swallow 2B 0.421 0.830 0.509 0.549 0.863 0.119 0.172 0.261 0.195 0.461 0.251
Gemma 3 1B 0.223 0.237 0.410 0.252 0.631 0.079 0.024 0.150 0.136 0.239 0.073
Gemma 3 4B 0.417 0.851 0.432 0.410 0.887 0.139 0.248 0.230 0.205 0.499 0.273
Llama 3.2 1B 0.201 0.208 0.404 0.188 0.525 0.081 0.024 0.079 0.092 0.260 0.150
Llama 3.2 3B 0.337 0.605 0.443 0.324 0.816 0.129 0.136 0.161 0.167 0.352 0.235
llm-jp-3-1.8b 0.251 0.209 0.463 0.449 0.703 0.100 0.012 0.198 0.134 0.242 0.001
llm-jp-3-3.7b 0.281 0.203 0.431 0.541 0.804 0.142 0.060 0.223 0.159 0.249 0.000
PLaMo 2 1B 0.250 0.203 0.463 0.434 0.626 0.055 0.052 0.236 0.119 0.256 0.057
Qwen2.5-0.5B 0.234 0.369 0.389 0.139 0.635 0.101 0.076 0.058 0.064 0.304 0.203
Qwen2.5-1.5B 0.372 0.800 0.383 0.241 0.849 0.143 0.292 0.132 0.134 0.438 0.308
Qwen2.5-3B 0.442 0.847 0.475 0.306 0.878 0.176 0.460 0.180 0.167 0.529 0.404
Qwen3-0.6B-Base 0.322 0.705 0.344 0.175 0.807 0.111 0.300 0.096 0.097 0.373 0.216
Qwen3-1.7B-Base 0.423 0.855 0.435 0.300 0.871 0.133 0.472 0.160 0.154 0.501 0.350
Qwen3-4B-Base 0.511 0.910 0.477 0.407 0.908 0.169 0.644 0.214 0.197 0.649 0.537
Sarashina2.2 0.5B 0.296 0.211 0.472 0.451 0.824 0.091 0.196 0.201 0.111 0.253 0.148
Sarashina2.2 1B 0.392 0.649 0.462 0.523 0.858 0.100 0.388 0.219 0.136 0.371 0.215
Sarashina2.2 3B 0.516 0.911 0.563 0.642 0.906 0.162 0.596 0.273 0.202 0.541 0.360
TinySwallow-1.5B 0.402 0.840 0.437 0.474 0.839 0.173 0.256 0.201 0.125 0.446 0.231
Model name En avg OpenBookQA TriviaQA HellaSwag SQuAD2 XWINO MMLU GSM8K MATH BBH HumanEval
Falcon3-1B-Base 0.376 0.316 0.296 0.458 0.501 0.816 0.449 0.337 0.140 0.323 0.125
Falcon3-3B-Base 0.495 0.312 0.346 0.492 0.503 0.847 0.567 0.634 0.344 0.553 0.348
Gemma 2 2B 0.439 0.342 0.552 0.552 0.501 0.890 0.530 0.249 0.176 0.415 0.188
Gemma 2 Baku 2B 0.400 0.314 0.475 0.533 0.501 0.881 0.493 0.168 0.110 0.376 0.150
Gemma-2-Llama Swallow 2B 0.426 0.312 0.435 0.516 0.501 0.871 0.538 0.275 0.144 0.384 0.286
Gemma 3 1B 0.310 0.304 0.358 0.471 0.501 0.832 0.262 0.016 0.008 0.276 0.070
Gemma 3 4B 0.501 0.360 0.603 0.576 0.502 0.895 0.596 0.376 0.258 0.495 0.351
Llama 3.2 1B 0.339 0.300 0.388 0.477 0.501 0.849 0.313 0.049 0.020 0.303 0.193
Llama 3.2 3B 0.450 0.326 0.586 0.558 0.502 0.888 0.558 0.262 0.070 0.466 0.285
llm-jp-3-1.8b 0.293 0.244 0.301 0.462 0.501 0.851 0.248 0.017 0.018 0.276 0.008
llm-jp-3-3.7b 0.324 0.280 0.421 0.506 0.502 0.876 0.253 0.055 0.016 0.309 0.019
PLaMo 2 1B 0.274 0.280 0.129 0.425 0.501 0.807 0.294 0.072 0.034 0.122 0.080
Qwen2.5-0.5B 0.365 0.266 0.190 0.399 0.501 0.768 0.479 0.341 0.148 0.277 0.277
Qwen2.5-1.5B 0.490 0.342 0.397 0.499 0.506 0.851 0.610 0.611 0.314 0.413 0.356
Qwen2.5-3B 0.534 0.360 0.504 0.553 0.541 0.872 0.657 0.580 0.440 0.442 0.387
Qwen3-0.6B-Base 0.397 0.268 0.200 0.410 0.501 0.782 0.523 0.483 0.334 0.170 0.295
Qwen3-1.7B-Base 0.516 0.348 0.362 0.493 0.504 0.849 0.626 0.629 0.456 0.431 0.462
Qwen3-4B-Base 0.610 0.382 0.508 0.555 0.588 0.891 0.729 0.719 0.520 0.594 0.617
Sarashina2.2 0.5B 0.339 0.302 0.203 0.420 0.501 0.794 0.262 0.246 0.130 0.312 0.223
Sarashina2.2 1B 0.415 0.324 0.289 0.469 0.502 0.827 0.400 0.403 0.206 0.385 0.342
Sarashina2.2 3B 0.532 0.362 0.447 0.538 0.513 0.877 0.572 0.624 0.310 0.551 0.530
TinySwallow-1.5B 0.413 0.308 0.332 0.468 0.501 0.850 0.546 0.379 0.162 0.328 0.254