MedicalBenchmark
Google: Gemma 3 12B provider

Gemma 3 12B

233

#233 de 291 modelsMIR 2024

Puntuació neta

121.66 pts

Certesa

70.5%

Correctes / Incorrectes

141 / 58

Cost total

$0.03

Rendiment General

(vs. mitjana)
Certesa

70.5%

avg: 80.5%

Puntuació neta

121.66 pts

avg: 150.85 pts

Encerts

141

avg: 161

Errors

58

avg: 30

Cost total

$0.03

avg: $3.32

Temps mitjà de resposta

12.7s

avg: 16.4s

Tokens eixints

89K

avg: 427K

Tokens de raonament

0

avg: 310K

Confiança mitjana

99.3%

avg: 95.4%

Desglossament per Assignatura

Al·lergologia
Encerts
3
Errors
0
No contestades
0
Certesa
100.0%
Mitjana
90.5%
Anestesiologia i Reanimació
Encerts
4
Errors
0
No contestades
0
Certesa
100.0%
Mitjana
87.1%
Cardiologia
Encerts
14
Errors
7
No contestades
0
Certesa
66.7%
Mitjana
79.7%
Cures Pal·liatives
Encerts
3
Errors
1
No contestades
0
Certesa
75.0%
Mitjana
88.2%
Dermatologia
Encerts
10
Errors
4
No contestades
0
Certesa
71.4%
Mitjana
80.2%
Endocrinologia i Nutrició
Encerts
13
Errors
6
No contestades
0
Certesa
68.4%
Mitjana
84.2%
Epidemiologia
Encerts
7
Errors
1
No contestades
0
Certesa
87.5%
Mitjana
89.3%
Estadística
Encerts
3
Errors
0
No contestades
0
Certesa
100.0%
Mitjana
91.1%
Farmacologia
Encerts
20
Errors
3
No contestades
0
Certesa
87.0%
Mitjana
85.4%
Gastroenterologia
Encerts
8
Errors
14
No contestades
0
Certesa
36.4%
Mitjana
70.5%
Genètica
Encerts
5
Errors
2
No contestades
0
Certesa
71.4%
Mitjana
86.5%
Geriatria
Encerts
10
Errors
0
No contestades
0
Certesa
100.0%
Mitjana
86.9%
Ginecologia i Obstetrícia
Encerts
12
Errors
2
No contestades
0
Certesa
85.7%
Mitjana
81.2%
Hematologia
Encerts
9
Errors
4
No contestades
0
Certesa
69.2%
Mitjana
81.5%
Immunologia
Encerts
8
Errors
0
No contestades
0
Certesa
100.0%
Mitjana
89.1%
Malalties Infeccioses
Encerts
17
Errors
6
No contestades
0
Certesa
73.9%
Mitjana
81.8%
Medicina Legal i Bioètica
Encerts
2
Errors
0
No contestades
0
Certesa
100.0%
Mitjana
91.7%
Nefrologia
Encerts
9
Errors
4
No contestades
0
Certesa
69.2%
Mitjana
80.8%
Neurologia
Encerts
18
Errors
4
No contestades
0
Certesa
81.8%
Mitjana
83.7%
Oftalmologia
Encerts
2
Errors
3
No contestades
0
Certesa
40.0%
Mitjana
80.0%
Oncologia Mèdica
Encerts
15
Errors
6
No contestades
0
Certesa
71.4%
Mitjana
80.2%
ORL
Encerts
4
Errors
3
No contestades
0
Certesa
57.1%
Mitjana
74.4%
Pediatria
Encerts
12
Errors
5
No contestades
0
Certesa
70.6%
Mitjana
82.0%
Planificació i Gestió Sanitària
Encerts
0
Errors
1
No contestades
1
Certesa
0.0%
Mitjana
73.2%
Pneumologia
Encerts
13
Errors
5
No contestades
1
Certesa
68.4%
Mitjana
80.6%
Psiquiatria
Encerts
9
Errors
1
No contestades
0
Certesa
90.0%
Mitjana
89.5%
Radiologia-Urgències
Encerts
9
Errors
5
No contestades
0
Certesa
64.3%
Mitjana
64.9%
Reumatologia
Encerts
11
Errors
3
No contestades
0
Certesa
78.6%
Mitjana
81.4%
Traumatologia
Encerts
11
Errors
4
No contestades
0
Certesa
73.3%
Mitjana
74.5%
Urologia
Encerts
4
Errors
2
No contestades
0
Certesa
66.7%
Mitjana
78.2%

Desglossament per Tipus de Pregunta

Anatomia
Encerts
2
Errors
4
No contestades
0
Certesa
33.3%
Mitjana
79.8%
Bioestadística
Encerts
3
Errors
1
No contestades
1
Certesa
60.0%
Mitjana
90.7%
Diagnòstic
Encerts
51
Errors
22
No contestades
0
Certesa
69.9%
Mitjana
79.2%
Epidemiologia
Encerts
8
Errors
4
No contestades
0
Certesa
66.7%
Mitjana
81.2%
Ètica
Encerts
1
Errors
0
No contestades
0
Certesa
100.0%
Mitjana
94.5%
Farmacologia
Encerts
20
Errors
5
No contestades
0
Certesa
80.0%
Mitjana
84.0%
Fisiopatologia
Encerts
27
Errors
6
No contestades
0
Certesa
81.8%
Mitjana
85.4%
Interpretació
Encerts
23
Errors
14
No contestades
0
Certesa
62.2%
Mitjana
69.6%
Prevenció
Encerts
9
Errors
2
No contestades
1
Certesa
75.0%
Mitjana
89.8%
Pronòstic
Encerts
6
Errors
1
No contestades
0
Certesa
85.7%
Mitjana
83.9%
Proves
Encerts
12
Errors
9
No contestades
0
Certesa
57.1%
Mitjana
73.9%
Risc
Encerts
10
Errors
3
No contestades
0
Certesa
76.9%
Mitjana
83.6%
Tractament
Encerts
50
Errors
21
No contestades
0
Certesa
70.4%
Mitjana
81.3%
#RespostaCorrectaEstat
1CB
2DD
3BB
4CC
5DC
6BB
7DD
8CC
9CA
10DD
11DD
12AA
13DC
14BA
15CB
16CA
17CC
18BA
19BB
20AC
21DD
22BB
23AA
24CA
25BC
26BB
27AC
28BA
29BB
30BC
31AD
32AA
33CC
34CB
35DD
36DD
37AA
38AA
39CC
40BB
41CC
42DD
43AA
44DD
45DD
46BB
47AC
48BC
49BB
50CC
51AA
52DD
53CC
54BB
55CC
56DD
57DA
58DA
59CA
60DA
61AA
62BD
63CD
64DAnul·lada
65DD
66CC
67DB
68BAnul·lada
69AA
70BB
71BB
72DD
73AB
74CC
75CB
76BA
77DD
78DC
79BB
80AA
81CC
82CC
83BB
84CC
85AA
86AA
87BB
88DD
89BB
90AA
91DD
92AA
93CC
94BB
95DD
96BB
97BB
98DB
99AA
100BB
101DA
102DD
103BB
104DD
105DB
106CC
107CC
108BB
109DD
110CD
111CB
112DC
113DAnul·lada
114DD
115DD
116AA
117DD
118DD
119AA
120CC
121AA
122DB
123DD
124DD
125BB
126DD
127AA
128BB
129DD
130BC
131AC
132CD
133CA
134BC
135DA
136AD
137AA
138DC
139AA
140CC
141BB
142CC
143BA
144DD
145DC
146BC
147CC
148BA
149AC
150DD
151AA
152AA
153DC
154BB
155DD
156CC
157CC
158DD
159DD
160BB
161BB
162BB
163BB
164AB
165DA
166CC
167AA
168BB
169CC
170AA
171BD
172BB
173DA
174BB
175AA
176CC
177CC
178BB
179CC
180DAnul·lada
181CB
182DD
183CC
184DA
185CC
186DD
187AA
188CC
189BD
190DD
191BB
192B
193CC
194CC
195CC
196BB
197AA
198BB
199CD
200AA
201BB
202DD
203BB
204DD
205BD
206CAnul·lada
207DA
208AA
209DB
210AD