MedicalBenchmark
Meta: Llama 3.2 11B Vision Instruct provider

Llama 3.2 11B Vision Instruct

274

#274 291 modeloetatikMIR 2024

Puntuazio garbia

44.66 pts

Ziurtasuna

30.5%

Zuzenak / Okerrak

61 / 49

Kostu osoa

$0.04

Errendimendu Orokorra

(vs. batez bestekoa)
Ziurtasuna

30.5%

avg: 80.5%

Puntuazio garbia

44.66 pts

avg: 150.85 pts

Zuzenak

61

avg: 161

Okerrak

49

avg: 30

Kostu osoa

$0.04

avg: $3.32

Batez besteko erantzun-denbora

53.9s

avg: 16.4s

Irteerako tokenak

207K

avg: 427K

Arrazonamendu tokenak

0

avg: 310K

Batez besteko konfiantza

57.2%

avg: 95.4%

Irakasgaien araberako xehetasuna

Alergologia
Zuzenak
0
Okerrak
0
Erantzun gabeak
3
Ziurtasuna
0.0%
Batez bestekoa
90.5%
Anestesiologia eta Bizkortzea
Zuzenak
3
Okerrak
1
Erantzun gabeak
0
Ziurtasuna
75.0%
Batez bestekoa
87.1%
Dermatologia
Zuzenak
7
Okerrak
4
Erantzun gabeak
3
Ziurtasuna
50.0%
Batez bestekoa
80.2%
Endokrinologia eta Nutrizioa
Zuzenak
8
Okerrak
5
Erantzun gabeak
6
Ziurtasuna
42.1%
Batez bestekoa
84.2%
Epidemiologia
Zuzenak
3
Okerrak
2
Erantzun gabeak
3
Ziurtasuna
37.5%
Batez bestekoa
89.3%
Erradiologia-Larrialdiak
Zuzenak
4
Okerrak
6
Erantzun gabeak
4
Ziurtasuna
28.6%
Batez bestekoa
64.9%
Erreumatologia
Zuzenak
7
Okerrak
0
Erantzun gabeak
7
Ziurtasuna
50.0%
Batez bestekoa
81.4%
Estatistika
Zuzenak
1
Okerrak
1
Erantzun gabeak
1
Ziurtasuna
33.3%
Batez bestekoa
91.1%
Farmakologia
Zuzenak
9
Okerrak
7
Erantzun gabeak
7
Ziurtasuna
39.1%
Batez bestekoa
85.4%
Gaixotasun Infekziosoak
Zuzenak
6
Okerrak
7
Erantzun gabeak
10
Ziurtasuna
26.1%
Batez bestekoa
81.8%
Gastroenterologia
Zuzenak
3
Okerrak
5
Erantzun gabeak
14
Ziurtasuna
13.6%
Batez bestekoa
70.5%
Genetika
Zuzenak
3
Okerrak
1
Erantzun gabeak
3
Ziurtasuna
42.9%
Batez bestekoa
86.5%
Geriatria
Zuzenak
5
Okerrak
0
Erantzun gabeak
5
Ziurtasuna
50.0%
Batez bestekoa
86.9%
Ginekologia eta Obstetrizia
Zuzenak
2
Okerrak
5
Erantzun gabeak
7
Ziurtasuna
14.3%
Batez bestekoa
81.2%
Hematologia
Zuzenak
3
Okerrak
2
Erantzun gabeak
8
Ziurtasuna
23.1%
Batez bestekoa
81.5%
Immunologia
Zuzenak
3
Okerrak
2
Erantzun gabeak
3
Ziurtasuna
37.5%
Batez bestekoa
89.1%
Kardiologia
Zuzenak
6
Okerrak
5
Erantzun gabeak
10
Ziurtasuna
28.6%
Batez bestekoa
79.7%
Medikuntza Legala eta Bioetika
Zuzenak
1
Okerrak
0
Erantzun gabeak
1
Ziurtasuna
50.0%
Batez bestekoa
91.7%
Nefrologia
Zuzenak
4
Okerrak
2
Erantzun gabeak
7
Ziurtasuna
30.8%
Batez bestekoa
80.8%
Neurologia
Zuzenak
9
Okerrak
4
Erantzun gabeak
9
Ziurtasuna
40.9%
Batez bestekoa
83.7%
Oftalmologia
Zuzenak
3
Okerrak
0
Erantzun gabeak
2
Ziurtasuna
60.0%
Batez bestekoa
80.0%
Onkologia Medikoa
Zuzenak
4
Okerrak
7
Erantzun gabeak
10
Ziurtasuna
19.0%
Batez bestekoa
80.2%
ORL
Zuzenak
2
Okerrak
2
Erantzun gabeak
3
Ziurtasuna
28.6%
Batez bestekoa
74.4%
Osasun Plangintza eta Kudeaketa
Zuzenak
1
Okerrak
0
Erantzun gabeak
1
Ziurtasuna
50.0%
Batez bestekoa
73.2%
Pediatria
Zuzenak
1
Okerrak
7
Erantzun gabeak
9
Ziurtasuna
5.9%
Batez bestekoa
82.0%
Pneumologia
Zuzenak
4
Okerrak
0
Erantzun gabeak
15
Ziurtasuna
21.1%
Batez bestekoa
80.6%
Psikiatria
Zuzenak
5
Okerrak
1
Erantzun gabeak
4
Ziurtasuna
50.0%
Batez bestekoa
89.5%
Traumatologia
Zuzenak
2
Okerrak
4
Erantzun gabeak
9
Ziurtasuna
13.3%
Batez bestekoa
74.5%
Urologia
Zuzenak
0
Okerrak
3
Erantzun gabeak
3
Ziurtasuna
0.0%
Batez bestekoa
78.2%
Zainketa Aringarriak
Zuzenak
0
Okerrak
0
Erantzun gabeak
4
Ziurtasuna
0.0%
Batez bestekoa
88.2%

Galdera motaren araberako xehetasuna

Anatomia
Zuzenak
2
Okerrak
1
Erantzun gabeak
3
Ziurtasuna
33.3%
Batez bestekoa
79.8%
Arriskua
Zuzenak
5
Okerrak
1
Erantzun gabeak
7
Ziurtasuna
38.5%
Batez bestekoa
83.6%
Biostatistika
Zuzenak
3
Okerrak
1
Erantzun gabeak
1
Ziurtasuna
60.0%
Batez bestekoa
90.7%
Diagnostikoa
Zuzenak
24
Okerrak
17
Erantzun gabeak
32
Ziurtasuna
32.9%
Batez bestekoa
79.2%
Epidemiologia
Zuzenak
3
Okerrak
3
Erantzun gabeak
6
Ziurtasuna
25.0%
Batez bestekoa
81.2%
Etika
Zuzenak
0
Okerrak
0
Erantzun gabeak
1
Ziurtasuna
0.0%
Batez bestekoa
94.5%
Farmakologia
Zuzenak
9
Okerrak
5
Erantzun gabeak
11
Ziurtasuna
36.0%
Batez bestekoa
84.0%
Fisiopatologia
Zuzenak
11
Okerrak
9
Erantzun gabeak
13
Ziurtasuna
33.3%
Batez bestekoa
85.4%
Interpretazioa
Zuzenak
12
Okerrak
12
Erantzun gabeak
13
Ziurtasuna
32.4%
Batez bestekoa
69.6%
Prebentzioa
Zuzenak
6
Okerrak
1
Erantzun gabeak
5
Ziurtasuna
50.0%
Batez bestekoa
89.8%
Probak
Zuzenak
5
Okerrak
8
Erantzun gabeak
8
Ziurtasuna
23.8%
Batez bestekoa
73.9%
Pronostikoa
Zuzenak
2
Okerrak
2
Erantzun gabeak
3
Ziurtasuna
28.6%
Batez bestekoa
83.9%
Tratamendua
Zuzenak
17
Okerrak
19
Erantzun gabeak
35
Ziurtasuna
23.9%
Batez bestekoa
81.3%
#ErantzunaZuzenaEgoera
1BB
2D
3BB
4AC
5BC
6BB
7DD
8CC
9CA
10D
11AD
12BA
13BC
14A
15BB
16BA
17CC
18A
19AB
20CC
21AD
22B
23AA
24DA
25CC
26B
27DC
28A
29B
30C
31DD
32A
33C
34CB
35DD
36DD
37CA
38DA
39C
40B
41BC
42D
43AA
44AD
45D
46BB
47CC
48CC
49CB
50CC
51CA
52DD
53BC
54BB
55AC
56D
57CA
58A
59A
60AA
61A
62D
63DD
64BBaliogabetua
65D
66C
67B
68BBaliogabetua
69AA
70CB
71CB
72DD
73CB
74C
75B
76A
77BD
78DC
79CB
80AA
81DC
82CC
83B
84CC
85A
86A
87DB
88D
89BB
90AA
91D
92DA
93C
94B
95CD
96BB
97B
98B
99BA
100B
101A
102DD
103B
104CD
105B
106BC
107CC
108BB
109D
110D
111BB
112C
113Baliogabetua
114DD
115DD
116A
117CD
118D
119A
120C
121A
122B
123D
124D
125BB
126D
127A
128B
129DD
130C
131AC
132D
133A
134C
135DA
136D
137A
138C
139AA
140CC
141B
142CC
143A
144D
145C
146C
147DC
148A
149C
150D
151A
152A
153BC
154BB
155D
156CC
157CC
158DD
159D
160B
161BB
162B
163B
164DB
165CA
166CC
167A
168BB
169CC
170CA
171CD
172BB
173A
174B
175AA
176CC
177C
178B
179CC
180Baliogabetua
181B
182D
183C
184A
185C
186DD
187DA
188C
189BD
190DD
191B
192BB
193CC
194AC
195CC
196B
197DA
198B
199CD
200AA
201BB
202D
203CB
204DD
205AD
206Baliogabetua
207A
208BA
209AB
210AD