| { |
| "ag_news": { |
| "base": 0.9383333333333334, |
| "new": 0.9316666666666666, |
| "delta": -0.00666666666666671 |
| }, |
| "boolq": { |
| "base": 0.7833333333333333, |
| "new": 0.7833333333333333, |
| "delta": 0.0 |
| }, |
| "emotion": { |
| "base": 0.5133333333333333, |
| "new": 0.535, |
| "delta": 0.021666666666666723 |
| }, |
| "prompt_injections": { |
| "base": 0.5775862068965517, |
| "new": 0.5517241379310345, |
| "delta": -0.025862068965517238 |
| }, |
| "sst5": { |
| "base": 0.2866666666666667, |
| "new": 0.2866666666666667, |
| "delta": 0.0 |
| }, |
| "typed_decisions": { |
| "base": 0.352, |
| "new": 0.3455, |
| "delta": -0.006500000000000006 |
| }, |
| "massive_en": { |
| "base": 0.7, |
| "new": 0.725, |
| "delta": 0.025000000000000022 |
| }, |
| "massive_de": { |
| "base": 0.63, |
| "new": 0.625, |
| "delta": -0.0050000000000000044 |
| }, |
| "massive_hi": { |
| "base": 0.535, |
| "new": 0.585, |
| "delta": 0.04999999999999993 |
| }, |
| "massive_ja": { |
| "base": 0.695, |
| "new": 0.74, |
| "delta": 0.04500000000000004 |
| }, |
| "massive_es": { |
| "base": 0.635, |
| "new": 0.675, |
| "delta": 0.040000000000000036 |
| }, |
| "massive_ar": { |
| "base": 0.59, |
| "new": 0.555, |
| "delta": -0.03499999999999992 |
| }, |
| "_fail": [ |
| "prompt_injections", |
| "massive_ar" |
| ] |
| } |
