-
Notifications
You must be signed in to change notification settings - Fork 0
/
Copy pathlogs
366 lines (353 loc) · 206 KB
/
logs
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
293
294
295
296
297
298
299
300
301
302
303
304
305
306
307
308
309
310
311
312
313
314
315
316
317
318
319
320
321
322
323
324
325
326
327
328
329
330
331
332
333
334
335
336
337
338
339
340
341
342
343
344
345
346
347
348
349
350
351
352
353
354
355
356
357
358
359
360
361
362
363
364
365
366
Preparing data ...
Evaluating ...
GNB - accuracy: [0.8, 0.7, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 1.0, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666]
GNB - f1-micro: [0.8000000000000002, 0.7, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 1.0, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666]
GNB - f1-macro: [0.7619047619047619, 0.696969696969697, 0.4, 0.4, 0.5846153846153845, 1.0, 0.6785714285714286, 0.6785714285714286, 0.6785714285714286, 0.4]
Ridge - accuracy: [0.8, 0.7, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888, 0.7777777777777778]
Ridge - f1-micro: [0.8000000000000002, 0.7, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888, 0.7777777777777778]
Ridge - f1-macro: [0.7619047619047619, 0.6703296703296704, 0.8831168831168831, 0.4, 0.6785714285714286, 0.8615384615384616, 0.6785714285714286, 0.4, 0.8615384615384616, 0.6785714285714286]
RandomForest - accuracy: defaultdict(<class 'list'>, {10: [0.8, 0.6, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666], 30: [0.9, 0.6, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666], 50: [0.8, 0.7, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666], 70: [0.8, 0.6, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666], 100: [0.8, 0.7, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666], 120: [0.8, 0.6, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666]})
RandomForest - f1-micro: defaultdict(<class 'list'>, {10: [0.8000000000000002, 0.6, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666], 30: [0.9, 0.6, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666], 50: [0.8000000000000002, 0.7, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666], 70: [0.8000000000000002, 0.6, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666], 100: [0.8000000000000002, 0.7, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666], 120: [0.8000000000000002, 0.6, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666]})
RandomForest - f1-macro: defaultdict(<class 'list'>, {10: [0.6875, 0.5238095238095238, 0.4, 0.4, 0.6785714285714286, 0.6785714285714286, 0.4, 0.4, 0.4, 0.4], 30: [0.8666666666666667, 0.5238095238095238, 0.4, 0.4, 0.6785714285714286, 0.4, 0.4, 0.4, 0.6785714285714286, 0.4], 50: [0.6875, 0.6000000000000001, 0.4, 0.4, 0.6785714285714286, 0.6785714285714286, 0.6785714285714286, 0.4, 0.4, 0.4], 70: [0.6875, 0.5238095238095238, 0.4, 0.4, 0.6785714285714286, 0.6785714285714286, 0.4, 0.4, 0.4, 0.4], 100: [0.6875, 0.6000000000000001, 0.4, 0.4, 0.6785714285714286, 0.6785714285714286, 0.4, 0.4, 0.4, 0.4], 120: [0.6875, 0.5238095238095238, 0.4, 0.4, 0.6785714285714286, 0.6785714285714286, 0.4, 0.4, 0.4, 0.4]})
KNN - accuracy: defaultdict(<class 'list'>, {1: [0.7, 0.6, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666], 2: [0.8, 0.7, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666], 3: [0.6, 0.8, 0.6666666666666666, 0.5555555555555556, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666], 4: [0.7, 0.7, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.5555555555555556, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666], 5: [0.6, 0.7, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.5555555555555556, 0.6666666666666666, 0.6666666666666666], 6: [0.7, 0.7, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666], 7: [0.7, 0.7, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.5555555555555556], 8: [0.7, 0.6, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666], 9: [0.9, 0.6, 0.5555555555555556, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778]})
KNN - f1-micro: defaultdict(<class 'list'>, {1: [0.7, 0.6, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666], 2: [0.8000000000000002, 0.7, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666], 3: [0.6, 0.8000000000000002, 0.6666666666666666, 0.5555555555555556, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666], 4: [0.7, 0.7, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.5555555555555556, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666], 5: [0.6, 0.7, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.5555555555555556, 0.6666666666666666, 0.6666666666666666], 6: [0.7, 0.7, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666], 7: [0.7, 0.7, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.5555555555555556], 8: [0.7, 0.6, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666], 9: [0.9, 0.6, 0.5555555555555556, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778]})
KNN - f1-macro: defaultdict(<class 'list'>, {1: [0.6, 0.5238095238095238, 0.4, 0.4, 0.6785714285714286, 0.6785714285714286, 0.6785714285714286, 0.4, 0.5846153846153845, 0.4], 2: [0.6875, 0.6000000000000001, 0.4, 0.4, 0.6785714285714286, 0.6785714285714286, 0.4, 0.4, 0.4, 0.4], 3: [0.5833333333333333, 0.7619047619047619, 0.4, 0.35714285714285715, 0.6785714285714286, 0.6785714285714286, 0.5846153846153845, 0.4, 0.4, 0.4], 4: [0.6703296703296704, 0.6000000000000001, 0.4, 0.4, 0.6785714285714286, 0.6785714285714286, 0.35714285714285715, 0.4, 0.4, 0.4], 5: [0.5833333333333333, 0.6000000000000001, 0.6785714285714286, 0.5846153846153845, 0.6493506493506493, 0.6785714285714286, 0.75, 0.35714285714285715, 0.6493506493506493, 0.4], 6: [0.6, 0.6000000000000001, 0.4, 0.4, 0.6785714285714286, 0.6785714285714286, 0.5846153846153845, 0.4, 0.4, 0.4], 7: [0.6, 0.6000000000000001, 0.4, 0.4, 0.6785714285714286, 0.6785714285714286, 0.5846153846153845, 0.4, 0.4, 0.35714285714285715], 8: [0.4117647058823529, 0.37499999999999994, 0.4, 0.4, 0.6785714285714286, 0.4, 0.6785714285714286, 0.4, 0.4, 0.4], 9: [0.8666666666666667, 0.5238095238095238, 0.35714285714285715, 0.4, 0.6785714285714286, 0.4, 0.6785714285714286, 0.6785714285714286, 0.4, 0.6785714285714286]})
SVM - accuracy: defaultdict(<class 'list'>, {('linear', 0.5): [0.8, 0.7, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888, 0.7777777777777778], ('linear', 1): [0.8, 0.7, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888, 0.7777777777777778], ('linear', 2): [0.8, 0.7, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888, 0.7777777777777778], ('linear', 4): [0.8, 0.7, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888, 0.7777777777777778], ('linear', 8): [0.8, 0.7, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888, 0.7777777777777778], ('linear', 16): [0.8, 0.7, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888, 0.7777777777777778], ('linear', 32): [0.8, 0.7, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888, 0.7777777777777778], ('linear', 64): [0.8, 0.7, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888, 0.7777777777777778], ('linear', 128): [0.8, 0.7, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888, 0.7777777777777778], ('rbf', 0.5): [0.7, 0.6, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666], ('rbf', 1): [0.8, 0.7, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666], ('rbf', 2): [0.9, 0.6, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778], ('rbf', 4): [0.9, 0.7, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778], ('rbf', 8): [0.8, 0.7, 1.0, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778], ('rbf', 16): [0.8, 0.7, 1.0, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778], ('rbf', 32): [0.8, 0.7, 1.0, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778], ('rbf', 64): [0.8, 0.7, 1.0, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778], ('rbf', 128): [0.8, 0.7, 1.0, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778]})
SVM - f1-micro: defaultdict(<class 'list'>, {('linear', 0.5): [0.8000000000000002, 0.7, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888, 0.7777777777777778], ('linear', 1): [0.8000000000000002, 0.7, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888, 0.7777777777777778], ('linear', 2): [0.8000000000000002, 0.7, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888, 0.7777777777777778], ('linear', 4): [0.8000000000000002, 0.7, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888, 0.7777777777777778], ('linear', 8): [0.8000000000000002, 0.7, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888, 0.7777777777777778], ('linear', 16): [0.8000000000000002, 0.7, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888, 0.7777777777777778], ('linear', 32): [0.8000000000000002, 0.7, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888, 0.7777777777777778], ('linear', 64): [0.8000000000000002, 0.7, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888, 0.7777777777777778], ('linear', 128): [0.8000000000000002, 0.7, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888, 0.7777777777777778], ('rbf', 0.5): [0.7, 0.6, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666], ('rbf', 1): [0.8000000000000002, 0.7, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666], ('rbf', 2): [0.9, 0.6, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778], ('rbf', 4): [0.9, 0.7, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778], ('rbf', 8): [0.8000000000000002, 0.7, 1.0, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778], ('rbf', 16): [0.8000000000000002, 0.7, 1.0, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778], ('rbf', 32): [0.8000000000000002, 0.7, 1.0, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778], ('rbf', 64): [0.8000000000000002, 0.7, 1.0, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778], ('rbf', 128): [0.8000000000000002, 0.7, 1.0, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778]})
SVM - f1-macro: defaultdict(<class 'list'>, {('linear', 0.5): [0.7619047619047619, 0.6703296703296704, 0.8831168831168831, 0.4, 0.6785714285714286, 0.75, 0.6785714285714286, 0.4, 0.8615384615384616, 0.6785714285714286], ('linear', 1): [0.7619047619047619, 0.6703296703296704, 0.8831168831168831, 0.4, 0.6785714285714286, 0.75, 0.6785714285714286, 0.4, 0.8615384615384616, 0.6785714285714286], ('linear', 2): [0.7619047619047619, 0.6703296703296704, 0.8831168831168831, 0.4, 0.6785714285714286, 0.75, 0.6785714285714286, 0.4, 0.8615384615384616, 0.6785714285714286], ('linear', 4): [0.7619047619047619, 0.6703296703296704, 0.8831168831168831, 0.4, 0.6785714285714286, 0.75, 0.6785714285714286, 0.4, 0.8615384615384616, 0.6785714285714286], ('linear', 8): [0.7619047619047619, 0.6703296703296704, 0.8831168831168831, 0.4, 0.6785714285714286, 0.75, 0.6785714285714286, 0.4, 0.8615384615384616, 0.6785714285714286], ('linear', 16): [0.7619047619047619, 0.6703296703296704, 0.8831168831168831, 0.4, 0.6785714285714286, 0.75, 0.6785714285714286, 0.4, 0.8615384615384616, 0.6785714285714286], ('linear', 32): [0.7619047619047619, 0.6703296703296704, 0.8831168831168831, 0.4, 0.6785714285714286, 0.75, 0.6785714285714286, 0.4, 0.8615384615384616, 0.6785714285714286], ('linear', 64): [0.7619047619047619, 0.6703296703296704, 0.8831168831168831, 0.4, 0.6785714285714286, 0.75, 0.6785714285714286, 0.4, 0.8615384615384616, 0.6785714285714286], ('linear', 128): [0.7619047619047619, 0.6703296703296704, 0.8831168831168831, 0.4, 0.6785714285714286, 0.75, 0.6785714285714286, 0.4, 0.8615384615384616, 0.6785714285714286], ('rbf', 0.5): [0.4117647058823529, 0.37499999999999994, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4], ('rbf', 1): [0.6875, 0.6000000000000001, 0.4, 0.4, 0.6785714285714286, 0.6785714285714286, 0.4, 0.4, 0.4, 0.4], ('rbf', 2): [0.8666666666666667, 0.5238095238095238, 0.6785714285714286, 0.4, 0.6785714285714286, 0.6785714285714286, 0.4, 0.4, 0.4, 0.6785714285714286], ('rbf', 4): [0.8666666666666667, 0.6703296703296704, 0.75, 0.4, 0.6785714285714286, 0.6785714285714286, 0.6785714285714286, 0.4, 0.6785714285714286, 0.6785714285714286], ('rbf', 8): [0.7619047619047619, 0.6703296703296704, 1.0, 0.4, 0.6785714285714286, 0.6785714285714286, 0.6785714285714286, 0.4, 0.6785714285714286, 0.6785714285714286], ('rbf', 16): [0.7619047619047619, 0.6703296703296704, 1.0, 0.4, 0.6785714285714286, 0.6785714285714286, 0.6785714285714286, 0.4, 0.6785714285714286, 0.6785714285714286], ('rbf', 32): [0.7619047619047619, 0.6703296703296704, 1.0, 0.4, 0.6785714285714286, 0.6785714285714286, 0.6785714285714286, 0.4, 0.6785714285714286, 0.6785714285714286], ('rbf', 64): [0.7619047619047619, 0.6703296703296704, 1.0, 0.4, 0.6785714285714286, 0.6785714285714286, 0.6785714285714286, 0.4, 0.6785714285714286, 0.6785714285714286], ('rbf', 128): [0.7619047619047619, 0.6703296703296704, 1.0, 0.4, 0.6785714285714286, 0.6785714285714286, 0.6785714285714286, 0.4, 0.6785714285714286, 0.6785714285714286]})
MLP - accuracy: defaultdict(<class 'list'>, {(20,): [0.8, 0.7, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 1.0, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666], (50,): [0.8, 0.9, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778], (100,): [0.8, 0.8, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778], (200,): [0.8, 0.8, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 1.0, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666], (100, 100): [0.8, 0.8, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888, 1.0, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778]})
MLP - f1-micro: defaultdict(<class 'list'>, {(20,): [0.8000000000000002, 0.7, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 1.0, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666], (50,): [0.8000000000000002, 0.9, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778], (100,): [0.8000000000000002, 0.8000000000000002, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778], (200,): [0.8000000000000002, 0.8000000000000002, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 1.0, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666], (100, 100): [0.8000000000000002, 0.8000000000000002, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888, 1.0, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778]})
MLP - f1-macro: defaultdict(<class 'list'>, {(20,): [0.7619047619047619, 0.6703296703296704, 0.6785714285714286, 0.4, 0.6785714285714286, 1.0, 0.6785714285714286, 0.4, 0.5846153846153845, 0.4], (50,): [0.7619047619047619, 0.8901098901098901, 0.4, 0.4, 0.6785714285714286, 0.8615384615384616, 0.6785714285714286, 0.4, 0.6785714285714286, 0.6785714285714286], (100,): [0.7619047619047619, 0.7619047619047619, 0.4, 0.4, 0.6785714285714286, 0.8615384615384616, 0.6785714285714286, 0.4, 0.6785714285714286, 0.6785714285714286], (200,): [0.7619047619047619, 0.7619047619047619, 0.6785714285714286, 0.4, 0.6785714285714286, 1.0, 0.6785714285714286, 0.4, 0.6785714285714286, 0.4], (100, 100): [0.7619047619047619, 0.7916666666666667, 0.4, 0.6785714285714286, 0.8615384615384616, 1.0, 0.6785714285714286, 0.4, 0.6785714285714286, 0.6785714285714286]})
Identify the best classifier ...
** RandomForest
best hyperparameter: 50; best f1-micro score: 0.7166666666666667
** KNN
best hyperparameter: 9; best f1-micro score: 0.7166666666666667
** SVM
best hyperparameter: ('linear', 0.5); best f1-micro score: 0.7722222222222223
** MLP
best hyperparameter: (100, 100); best f1-micro score: 0.7933333333333333
The best single classifier is: MLP classifier
Voting - accuracy: [0.8, 0.7, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666]
Voting - f1-micro: [0.8000000000000002, 0.7, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666]
Voting - f1-macro: [0.7619047619047619, 0.6703296703296704, 0.4, 0.4, 0.6785714285714286, 0.8615384615384616, 0.6785714285714286, 0.4, 0.6785714285714286, 0.4]
Training size versus Performance
scale: 0.2; train size: 18 -- accuracy = 0.8333333333333334; f1-micro = 0.8333333333333334; f1-macro = 0.45454545454545453
scale: 0.4; train size: 37 -- accuracy = 0.9166666666666666; f1-micro = 0.9166666666666666; f1-macro = 0.8095238095238095
scale: 0.6; train size: 55 -- accuracy = 0.875; f1-micro = 0.875; f1-macro = 0.7491289198606272
scale: 0.8; train size: 74 -- accuracy = 0.875; f1-micro = 0.875; f1-macro = 0.7948717948717948
scale: 1.0; train size: 92 -- accuracy = 0.9166666666666666; f1-micro = 0.9166666666666666; f1-macro = 0.8500000000000001
Ablation study ...
MLP - accuracy: defaultdict(<class 'list'>, {'locations_removed': [0.8, 0.6, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778], 'cuis_removed': [0.8, 0.9, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778], 'semtypes_removed': [0.8, 0.9, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888, 0.8888888888888888, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778], 'preferredNames_removed': [0.8, 0.8, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 1.0, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778]})
MLP - f1-micro: defaultdict(<class 'list'>, {'locations_removed': [0.8000000000000002, 0.6, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778], 'cuis_removed': [0.8000000000000002, 0.9, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778], 'semtypes_removed': [0.8000000000000002, 0.9, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888, 0.8888888888888888, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778], 'preferredNames_removed': [0.8000000000000002, 0.8000000000000002, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 1.0, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778]})
MLP - f1-macro: defaultdict(<class 'list'>, {'locations_removed': [0.7619047619047619, 0.5238095238095238, 0.4, 0.4, 0.6785714285714286, 0.8615384615384616, 0.6785714285714286, 0.4, 0.4, 0.6785714285714286], 'cuis_removed': [0.7619047619047619, 0.8901098901098901, 0.4, 0.4, 0.6785714285714286, 0.6785714285714286, 0.6785714285714286, 0.4, 0.6785714285714286, 0.6785714285714286], 'semtypes_removed': [0.7619047619047619, 0.8901098901098901, 0.6785714285714286, 0.4, 0.8615384615384616, 0.8615384615384616, 0.8615384615384616, 0.4, 0.6785714285714286, 0.6785714285714286], 'preferredNames_removed': [0.7619047619047619, 0.7619047619047619, 0.4, 0.4, 0.6785714285714286, 1.0, 0.6785714285714286, 0.4, 0.6785714285714286, 0.6785714285714286]})
Preparing data ...
Evaluating ...
GNB - accuracy: [0.7, 0.7, 0.8888888888888888, 0.7777777777777778, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.8888888888888888]
GNB - f1-micro: [0.7, 0.7, 0.8888888888888888, 0.7777777777777778, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.8888888888888888]
GNB - f1-macro: [0.4117647058823529, 0.6703296703296704, 0.8615384615384616, 0.6785714285714286, 0.8615384615384616, 0.75, 0.6785714285714286, 0.6493506493506493, 0.6493506493506493, 0.8615384615384616]
Ridge - accuracy: [0.7, 0.5, 0.8888888888888888, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778]
Ridge - f1-micro: [0.7, 0.5, 0.8888888888888888, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778]
Ridge - f1-macro: [0.4117647058823529, 0.4505494505494505, 0.8615384615384616, 0.8615384615384616, 0.6785714285714286, 0.6785714285714286, 0.6785714285714286, 0.8831168831168831, 0.75, 0.6785714285714286]
RandomForest - accuracy: defaultdict(<class 'list'>, {10: [0.7, 0.6, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778], 30: [0.7, 0.6, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778], 50: [0.7, 0.6, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778], 70: [0.7, 0.6, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.8888888888888888, 0.8888888888888888, 0.7777777777777778], 100: [0.7, 0.6, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888, 0.7777777777777778], 120: [0.7, 0.6, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888, 0.7777777777777778]})
RandomForest - f1-micro: defaultdict(<class 'list'>, {10: [0.7, 0.6, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778], 30: [0.7, 0.6, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778], 50: [0.7, 0.6, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778], 70: [0.7, 0.6, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.8888888888888888, 0.8888888888888888, 0.7777777777777778], 100: [0.7, 0.6, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888, 0.7777777777777778], 120: [0.7, 0.6, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888, 0.7777777777777778]})
RandomForest - f1-macro: defaultdict(<class 'list'>, {10: [0.4117647058823529, 0.37499999999999994, 0.6785714285714286, 0.6785714285714286, 0.6785714285714286, 0.4, 0.6785714285714286, 0.6785714285714286, 0.6785714285714286, 0.6785714285714286], 30: [0.4117647058823529, 0.37499999999999994, 0.6785714285714286, 0.6785714285714286, 0.6785714285714286, 0.4, 0.4, 0.4, 0.6785714285714286, 0.6785714285714286], 50: [0.4117647058823529, 0.37499999999999994, 0.6785714285714286, 0.6785714285714286, 0.6785714285714286, 0.4, 0.6785714285714286, 0.5846153846153845, 0.6785714285714286, 0.6785714285714286], 70: [0.4117647058823529, 0.37499999999999994, 0.6785714285714286, 0.6785714285714286, 0.6785714285714286, 0.4, 0.4, 0.8615384615384616, 0.8615384615384616, 0.6785714285714286], 100: [0.4117647058823529, 0.37499999999999994, 0.6785714285714286, 0.6785714285714286, 0.6785714285714286, 0.4, 0.6785714285714286, 0.4, 0.8615384615384616, 0.6785714285714286], 120: [0.4117647058823529, 0.37499999999999994, 0.6785714285714286, 0.6785714285714286, 0.6785714285714286, 0.4, 0.4, 0.6785714285714286, 0.8615384615384616, 0.6785714285714286]})
KNN - accuracy: defaultdict(<class 'list'>, {1: [0.6, 0.3, 0.5555555555555556, 0.5555555555555556, 0.7777777777777778, 0.5555555555555556, 0.7777777777777778, 0.7777777777777778, 0.8888888888888888, 0.7777777777777778], 2: [0.7, 0.3, 0.7777777777777778, 0.5555555555555556, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888, 0.8888888888888888, 0.7777777777777778], 3: [0.7, 0.3, 0.4444444444444444, 0.3333333333333333, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.5555555555555556], 4: [0.7, 0.4, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888, 0.7777777777777778, 0.8888888888888888, 0.8888888888888888], 5: [0.7, 0.3, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.5555555555555556, 0.8888888888888888, 0.7777777777777778, 0.5555555555555556, 0.5555555555555556], 6: [0.8, 0.3, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888, 0.6666666666666666], 7: [0.9, 0.3, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.5555555555555556, 0.7777777777777778, 0.7777777777777778, 0.5555555555555556], 8: [0.8, 0.2, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.5555555555555556, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666], 9: [0.6, 0.2, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.3333333333333333, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666]})
KNN - f1-micro: defaultdict(<class 'list'>, {1: [0.6, 0.3, 0.5555555555555556, 0.5555555555555556, 0.7777777777777778, 0.5555555555555556, 0.7777777777777778, 0.7777777777777778, 0.8888888888888888, 0.7777777777777778], 2: [0.7, 0.3, 0.7777777777777778, 0.5555555555555556, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888, 0.8888888888888888, 0.7777777777777778], 3: [0.7, 0.3, 0.4444444444444444, 0.3333333333333333, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.5555555555555556], 4: [0.7, 0.4000000000000001, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888, 0.7777777777777778, 0.8888888888888888, 0.8888888888888888], 5: [0.7, 0.3, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.5555555555555556, 0.8888888888888888, 0.7777777777777778, 0.5555555555555556, 0.5555555555555556], 6: [0.8000000000000002, 0.3, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888, 0.6666666666666666], 7: [0.9, 0.3, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.5555555555555556, 0.7777777777777778, 0.7777777777777778, 0.5555555555555556], 8: [0.8000000000000002, 0.20000000000000004, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.5555555555555556, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666], 9: [0.6, 0.20000000000000004, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.3333333333333333, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666]})
KNN - f1-macro: defaultdict(<class 'list'>, {1: [0.5238095238095238, 0.29292929292929293, 0.5, 0.5, 0.6785714285714286, 0.35714285714285715, 0.75, 0.75, 0.8615384615384616, 0.6785714285714286], 2: [0.4117647058823529, 0.29292929292929293, 0.6785714285714286, 0.35714285714285715, 0.4, 0.4, 0.6785714285714286, 0.8615384615384616, 0.8615384615384616, 0.6785714285714286], 3: [0.6703296703296704, 0.23076923076923078, 0.4155844155844156, 0.325, 0.8831168831168831, 0.4, 0.75, 0.6493506493506493, 0.6493506493506493, 0.55], 4: [0.6, 0.375, 0.6785714285714286, 0.5846153846153845, 0.75, 0.4, 0.8615384615384616, 0.75, 0.8615384615384616, 0.8615384615384616], 5: [0.6703296703296704, 0.23076923076923078, 0.75, 0.5846153846153845, 0.6493506493506493, 0.35714285714285715, 0.8831168831168831, 0.75, 0.55, 0.55], 6: [0.6875, 0.23076923076923078, 0.8615384615384616, 0.6785714285714286, 0.6785714285714286, 0.4, 0.6785714285714286, 0.5846153846153845, 0.8615384615384616, 0.6493506493506493], 7: [0.8666666666666667, 0.23076923076923078, 0.6493506493506493, 0.75, 0.6493506493506493, 0.4, 0.5, 0.7749999999999999, 0.75, 0.55], 8: [0.6875, 0.16666666666666666, 0.6785714285714286, 0.6785714285714286, 0.4, 0.4, 0.5, 0.75, 0.6785714285714286, 0.6493506493506493], 9: [0.5238095238095238, 0.16666666666666666, 0.6493506493506493, 0.5846153846153845, 0.4, 0.4, 0.325, 0.6666666666666666, 0.6785714285714286, 0.6493506493506493]})
SVM - accuracy: defaultdict(<class 'list'>, {('linear', 0.5): [0.7, 0.5, 0.8888888888888888, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778, 0.8888888888888888, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778], ('linear', 1): [0.7, 0.5, 0.8888888888888888, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778, 0.8888888888888888, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778], ('linear', 2): [0.7, 0.5, 0.8888888888888888, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778, 0.8888888888888888, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778], ('linear', 4): [0.7, 0.5, 0.8888888888888888, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778, 0.8888888888888888, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778], ('linear', 8): [0.7, 0.5, 0.8888888888888888, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778, 0.8888888888888888, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778], ('linear', 16): [0.7, 0.5, 0.8888888888888888, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778, 0.8888888888888888, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778], ('linear', 32): [0.7, 0.5, 0.8888888888888888, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778, 0.8888888888888888, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778], ('linear', 64): [0.7, 0.5, 0.8888888888888888, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778, 0.8888888888888888, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778], ('linear', 128): [0.7, 0.5, 0.8888888888888888, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778, 0.8888888888888888, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778], ('rbf', 0.5): [0.7, 0.6, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666], ('rbf', 1): [0.7, 0.6, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778], ('rbf', 2): [0.7, 0.5, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888, 0.8888888888888888, 0.7777777777777778], ('rbf', 4): [0.7, 0.5, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778], ('rbf', 8): [0.7, 0.5, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778], ('rbf', 16): [0.7, 0.5, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778], ('rbf', 32): [0.7, 0.5, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778], ('rbf', 64): [0.7, 0.5, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778], ('rbf', 128): [0.7, 0.5, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778]})
SVM - f1-micro: defaultdict(<class 'list'>, {('linear', 0.5): [0.7, 0.5, 0.8888888888888888, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778, 0.8888888888888888, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778], ('linear', 1): [0.7, 0.5, 0.8888888888888888, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778, 0.8888888888888888, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778], ('linear', 2): [0.7, 0.5, 0.8888888888888888, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778, 0.8888888888888888, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778], ('linear', 4): [0.7, 0.5, 0.8888888888888888, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778, 0.8888888888888888, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778], ('linear', 8): [0.7, 0.5, 0.8888888888888888, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778, 0.8888888888888888, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778], ('linear', 16): [0.7, 0.5, 0.8888888888888888, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778, 0.8888888888888888, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778], ('linear', 32): [0.7, 0.5, 0.8888888888888888, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778, 0.8888888888888888, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778], ('linear', 64): [0.7, 0.5, 0.8888888888888888, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778, 0.8888888888888888, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778], ('linear', 128): [0.7, 0.5, 0.8888888888888888, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778, 0.8888888888888888, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778], ('rbf', 0.5): [0.7, 0.6, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666], ('rbf', 1): [0.7, 0.6, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778], ('rbf', 2): [0.7, 0.5, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888, 0.8888888888888888, 0.7777777777777778], ('rbf', 4): [0.7, 0.5, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778], ('rbf', 8): [0.7, 0.5, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778], ('rbf', 16): [0.7, 0.5, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778], ('rbf', 32): [0.7, 0.5, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778], ('rbf', 64): [0.7, 0.5, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778], ('rbf', 128): [0.7, 0.5, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778]})
SVM - f1-macro: defaultdict(<class 'list'>, {('linear', 0.5): [0.4117647058823529, 0.4505494505494505, 0.8615384615384616, 0.8615384615384616, 0.6785714285714286, 0.6785714285714286, 0.8615384615384616, 0.8831168831168831, 0.75, 0.6785714285714286], ('linear', 1): [0.4117647058823529, 0.4505494505494505, 0.8615384615384616, 0.8615384615384616, 0.6785714285714286, 0.6785714285714286, 0.8615384615384616, 0.8831168831168831, 0.75, 0.6785714285714286], ('linear', 2): [0.4117647058823529, 0.4505494505494505, 0.8615384615384616, 0.8615384615384616, 0.6785714285714286, 0.6785714285714286, 0.8615384615384616, 0.8831168831168831, 0.75, 0.6785714285714286], ('linear', 4): [0.4117647058823529, 0.4505494505494505, 0.8615384615384616, 0.8615384615384616, 0.6785714285714286, 0.6785714285714286, 0.8615384615384616, 0.8831168831168831, 0.75, 0.6785714285714286], ('linear', 8): [0.4117647058823529, 0.4505494505494505, 0.8615384615384616, 0.8615384615384616, 0.6785714285714286, 0.6785714285714286, 0.8615384615384616, 0.8831168831168831, 0.75, 0.6785714285714286], ('linear', 16): [0.4117647058823529, 0.4505494505494505, 0.8615384615384616, 0.8615384615384616, 0.6785714285714286, 0.6785714285714286, 0.8615384615384616, 0.8831168831168831, 0.75, 0.6785714285714286], ('linear', 32): [0.4117647058823529, 0.4505494505494505, 0.8615384615384616, 0.8615384615384616, 0.6785714285714286, 0.6785714285714286, 0.8615384615384616, 0.8831168831168831, 0.75, 0.6785714285714286], ('linear', 64): [0.4117647058823529, 0.4505494505494505, 0.8615384615384616, 0.8615384615384616, 0.6785714285714286, 0.6785714285714286, 0.8615384615384616, 0.8831168831168831, 0.75, 0.6785714285714286], ('linear', 128): [0.4117647058823529, 0.4505494505494505, 0.8615384615384616, 0.8615384615384616, 0.6785714285714286, 0.6785714285714286, 0.8615384615384616, 0.8831168831168831, 0.75, 0.6785714285714286], ('rbf', 0.5): [0.4117647058823529, 0.37499999999999994, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4], ('rbf', 1): [0.4117647058823529, 0.37499999999999994, 0.6785714285714286, 0.4, 0.4, 0.4, 0.6785714285714286, 0.6785714285714286, 0.6785714285714286, 0.6785714285714286], ('rbf', 2): [0.4117647058823529, 0.4505494505494505, 0.6785714285714286, 0.6785714285714286, 0.6785714285714286, 0.4, 0.6785714285714286, 0.8615384615384616, 0.8615384615384616, 0.6785714285714286], ('rbf', 4): [0.4117647058823529, 0.4505494505494505, 0.8615384615384616, 0.6785714285714286, 0.6785714285714286, 0.4, 0.6785714285714286, 0.8615384615384616, 0.75, 0.6785714285714286], ('rbf', 8): [0.4117647058823529, 0.4505494505494505, 0.8615384615384616, 0.6785714285714286, 0.6785714285714286, 0.4, 0.6785714285714286, 0.8615384615384616, 0.75, 0.6785714285714286], ('rbf', 16): [0.4117647058823529, 0.4505494505494505, 0.8615384615384616, 0.6785714285714286, 0.6785714285714286, 0.4, 0.6785714285714286, 0.8615384615384616, 0.75, 0.6785714285714286], ('rbf', 32): [0.4117647058823529, 0.4505494505494505, 0.8615384615384616, 0.6785714285714286, 0.6785714285714286, 0.4, 0.6785714285714286, 0.8615384615384616, 0.75, 0.6785714285714286], ('rbf', 64): [0.4117647058823529, 0.4505494505494505, 0.8615384615384616, 0.6785714285714286, 0.6785714285714286, 0.4, 0.6785714285714286, 0.8615384615384616, 0.75, 0.6785714285714286], ('rbf', 128): [0.4117647058823529, 0.4505494505494505, 0.8615384615384616, 0.6785714285714286, 0.6785714285714286, 0.4, 0.6785714285714286, 0.8615384615384616, 0.75, 0.6785714285714286]})
MLP - accuracy: defaultdict(<class 'list'>, {(20,): [0.7, 0.5, 1.0, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.8888888888888888, 0.7777777777777778], (50,): [0.7, 0.5, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778], (100,): [0.7, 0.5, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778], (200,): [0.7, 0.5, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.8888888888888888, 0.8888888888888888, 0.7777777777777778], (100, 100): [0.7, 0.6, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.8888888888888888, 0.7777777777777778, 0.8888888888888888]})
MLP - f1-micro: defaultdict(<class 'list'>, {(20,): [0.7, 0.5, 1.0, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.8888888888888888, 0.7777777777777778], (50,): [0.7, 0.5, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778], (100,): [0.7, 0.5, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778], (200,): [0.7, 0.5, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.8888888888888888, 0.8888888888888888, 0.7777777777777778], (100, 100): [0.7, 0.6, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.8888888888888888, 0.7777777777777778, 0.8888888888888888]})
MLP - f1-macro: defaultdict(<class 'list'>, {(20,): [0.4117647058823529, 0.33333333333333337, 1.0, 0.6785714285714286, 0.6785714285714286, 0.4, 0.6785714285714286, 0.75, 0.8615384615384616, 0.6785714285714286], (50,): [0.4117647058823529, 0.33333333333333337, 0.8615384615384616, 0.6785714285714286, 0.6785714285714286, 0.6785714285714286, 0.6785714285714286, 0.75, 0.75, 0.6785714285714286], (100,): [0.4117647058823529, 0.33333333333333337, 0.8615384615384616, 0.6785714285714286, 0.6785714285714286, 0.6785714285714286, 0.6785714285714286, 0.8615384615384616, 0.75, 0.6785714285714286], (200,): [0.4117647058823529, 0.33333333333333337, 0.6785714285714286, 0.6785714285714286, 0.6785714285714286, 0.6785714285714286, 0.6785714285714286, 0.8615384615384616, 0.8615384615384616, 0.6785714285714286], (100, 100): [0.4117647058823529, 0.5833333333333333, 0.6785714285714286, 0.6785714285714286, 0.6785714285714286, 0.6785714285714286, 0.6785714285714286, 0.8615384615384616, 0.75, 0.8615384615384616]})
Identify the best classifier ...
** RandomForest
best hyperparameter: 70; best f1-micro score: 0.7522222222222221
** KNN
best hyperparameter: 4; best f1-micro score: 0.7433333333333334
** SVM
best hyperparameter: ('linear', 0.5); best f1-micro score: 0.7866666666666666
** MLP
best hyperparameter: (100, 100); best f1-micro score: 0.7744444444444444
The best single classifier is: SVM classifier
Voting - accuracy: [0.7, 0.6, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778]
Voting - f1-micro: [0.7, 0.6, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778]
Voting - f1-macro: [0.4117647058823529, 0.5238095238095238, 0.6785714285714286, 0.6785714285714286, 0.6785714285714286, 0.4, 0.6785714285714286, 0.8615384615384616, 0.75, 0.6785714285714286]
Ablation study ...
MLP - accuracy: defaultdict(<class 'list'>, {'locations_removed': [0.7, 0.5, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778], 'cuis_removed': [0.7, 0.6, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778], 'semtypes_removed': [0.7, 0.5, 1.0, 0.7777777777777778, 0.7777777777777778, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778], 'preferredNames_removed': [0.7, 0.6, 1.0, 0.7777777777777778, 0.7777777777777778, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778, 0.8888888888888888, 0.8888888888888888]})
MLP - f1-micro: defaultdict(<class 'list'>, {'locations_removed': [0.7, 0.5, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778], 'cuis_removed': [0.7, 0.6, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778], 'semtypes_removed': [0.7, 0.5, 1.0, 0.7777777777777778, 0.7777777777777778, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778], 'preferredNames_removed': [0.7, 0.6, 1.0, 0.7777777777777778, 0.7777777777777778, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778, 0.8888888888888888, 0.8888888888888888]})
MLP - f1-macro: defaultdict(<class 'list'>, {'locations_removed': [0.4117647058823529, 0.4505494505494505, 0.8615384615384616, 0.4, 0.6785714285714286, 0.4, 0.6785714285714286, 0.75, 0.5846153846153845, 0.6785714285714286], 'cuis_removed': [0.4117647058823529, 0.5238095238095238, 0.8615384615384616, 0.6785714285714286, 0.6785714285714286, 0.8615384615384616, 0.6785714285714286, 0.75, 0.75, 0.6785714285714286], 'semtypes_removed': [0.4117647058823529, 0.33333333333333337, 1.0, 0.6785714285714286, 0.6785714285714286, 0.8615384615384616, 0.6785714285714286, 0.75, 0.75, 0.6785714285714286], 'preferredNames_removed': [0.4117647058823529, 0.5238095238095238, 1.0, 0.6785714285714286, 0.6785714285714286, 0.8615384615384616, 0.6785714285714286, 0.75, 0.8615384615384616, 0.8615384615384616]})
Training size versus Performance
scale: 0.2; train size: 18 -- accuracy = 0.7916666666666666; f1-micro = 0.7916666666666666; f1-macro = 0.44186046511627913
scale: 0.4; train size: 37 -- accuracy = 0.75; f1-micro = 0.75; f1-macro = 0.6210526315789474
scale: 0.6; train size: 55 -- accuracy = 0.7916666666666666; f1-micro = 0.7916666666666666; f1-macro = 0.44186046511627913
scale: 0.8; train size: 74 -- accuracy = 0.75; f1-micro = 0.75; f1-macro = 0.55
scale: 1.0; train size: 92 -- accuracy = 0.9166666666666666; f1-micro = 0.9166666666666666; f1-macro = 0.8095238095238095
Preparing data ...
Evaluating ...
GNB - accuracy: [0.8, 0.6, 0.4444444444444444, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.5555555555555556, 1.0, 0.8888888888888888]
GNB - f1-micro: [0.8000000000000002, 0.6, 0.4444444444444444, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.5555555555555556, 1.0, 0.8888888888888888]
GNB - f1-macro: [0.6875, 0.375, 0.30769230769230765, 0.8615384615384616, 0.4, 0.75, 0.6785714285714286, 0.55, 1.0, 0.8615384615384616]
Ridge - accuracy: [0.7, 0.7, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888, 0.4444444444444444, 0.7777777777777778, 1.0]
Ridge - f1-micro: [0.7, 0.7, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888, 0.4444444444444444, 0.7777777777777778, 1.0]
Ridge - f1-macro: [0.6, 0.4117647058823529, 0.4, 0.6785714285714286, 0.4, 0.75, 0.8615384615384616, 0.4444444444444444, 0.6785714285714286, 1.0]
RandomForest - accuracy: defaultdict(<class 'list'>, {10: [0.8, 0.7, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666], 30: [0.7, 0.7, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.8888888888888888], 50: [0.8, 0.7, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778], 70: [0.8, 0.7, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666], 100: [0.8, 0.7, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778], 120: [0.8, 0.7, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778]})
RandomForest - f1-micro: defaultdict(<class 'list'>, {10: [0.8000000000000002, 0.7, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666], 30: [0.7, 0.7, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.8888888888888888], 50: [0.8000000000000002, 0.7, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778], 70: [0.8000000000000002, 0.7, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666], 100: [0.8000000000000002, 0.7, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778], 120: [0.8000000000000002, 0.7, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778]})
RandomForest - f1-macro: defaultdict(<class 'list'>, {10: [0.6875, 0.4117647058823529, 0.4, 0.4, 0.4, 0.8615384615384616, 0.6785714285714286, 0.6785714285714286, 0.6785714285714286, 0.4], 30: [0.4117647058823529, 0.4117647058823529, 0.4, 0.6785714285714286, 0.4, 0.8615384615384616, 0.4, 0.6785714285714286, 0.6785714285714286, 0.8615384615384616], 50: [0.6875, 0.4117647058823529, 0.4, 0.6785714285714286, 0.4, 0.8615384615384616, 0.6785714285714286, 0.6785714285714286, 0.6785714285714286, 0.6785714285714286], 70: [0.6875, 0.4117647058823529, 0.4, 0.6785714285714286, 0.4, 0.8615384615384616, 0.4, 0.6785714285714286, 0.6785714285714286, 0.4], 100: [0.6875, 0.4117647058823529, 0.4, 0.6785714285714286, 0.4, 0.8615384615384616, 0.4, 0.6785714285714286, 0.6785714285714286, 0.6785714285714286], 120: [0.6875, 0.4117647058823529, 0.4, 0.6785714285714286, 0.4, 0.8615384615384616, 0.4, 0.6785714285714286, 0.6785714285714286, 0.6785714285714286]})
KNN - accuracy: defaultdict(<class 'list'>, {1: [0.7, 0.7, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888, 0.6666666666666666, 0.4444444444444444, 0.7777777777777778, 0.6666666666666666], 2: [0.8, 0.7, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.4444444444444444, 0.7777777777777778, 0.8888888888888888], 3: [0.6, 0.4, 0.5555555555555556, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.4444444444444444, 0.7777777777777778, 0.6666666666666666], 4: [0.7, 0.6, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666], 5: [0.5, 0.4, 0.5555555555555556, 0.7777777777777778, 0.5555555555555556, 0.7777777777777778, 0.6666666666666666, 0.5555555555555556, 0.6666666666666666, 0.6666666666666666], 6: [0.6, 0.4, 0.6666666666666666, 0.7777777777777778, 0.5555555555555556, 0.8888888888888888, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778], 7: [0.5, 0.2, 0.3333333333333333, 0.7777777777777778, 0.5555555555555556, 0.7777777777777778, 0.5555555555555556, 0.5555555555555556, 0.6666666666666666, 0.5555555555555556], 8: [0.7, 0.5, 0.5555555555555556, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888, 0.4444444444444444, 0.6666666666666666, 0.5555555555555556], 9: [0.6, 0.4, 0.5555555555555556, 0.6666666666666666, 0.5555555555555556, 0.8888888888888888, 0.7777777777777778, 0.5555555555555556, 0.6666666666666666, 0.6666666666666666]})
KNN - f1-micro: defaultdict(<class 'list'>, {1: [0.7, 0.7, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888, 0.6666666666666666, 0.4444444444444444, 0.7777777777777778, 0.6666666666666666], 2: [0.8000000000000002, 0.7, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.4444444444444444, 0.7777777777777778, 0.8888888888888888], 3: [0.6, 0.4000000000000001, 0.5555555555555556, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.4444444444444444, 0.7777777777777778, 0.6666666666666666], 4: [0.7, 0.6, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666], 5: [0.5, 0.4000000000000001, 0.5555555555555556, 0.7777777777777778, 0.5555555555555556, 0.7777777777777778, 0.6666666666666666, 0.5555555555555556, 0.6666666666666666, 0.6666666666666666], 6: [0.6, 0.4000000000000001, 0.6666666666666666, 0.7777777777777778, 0.5555555555555556, 0.8888888888888888, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778], 7: [0.5, 0.20000000000000004, 0.3333333333333333, 0.7777777777777778, 0.5555555555555556, 0.7777777777777778, 0.5555555555555556, 0.5555555555555556, 0.6666666666666666, 0.5555555555555556], 8: [0.7, 0.5, 0.5555555555555556, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888, 0.4444444444444444, 0.6666666666666666, 0.5555555555555556], 9: [0.6, 0.4000000000000001, 0.5555555555555556, 0.6666666666666666, 0.5555555555555556, 0.8888888888888888, 0.7777777777777778, 0.5555555555555556, 0.6666666666666666, 0.6666666666666666]})
KNN - f1-macro: defaultdict(<class 'list'>, {1: [0.6, 0.4117647058823529, 0.4, 0.75, 0.4, 0.8615384615384616, 0.5846153846153845, 0.4155844155844156, 0.6785714285714286, 0.6493506493506493], 2: [0.6875, 0.4117647058823529, 0.4, 0.4, 0.4, 0.6785714285714286, 0.6785714285714286, 0.4155844155844156, 0.6785714285714286, 0.8615384615384616], 3: [0.5238095238095238, 0.375, 0.5, 0.75, 0.6493506493506493, 0.75, 0.5846153846153845, 0.4155844155844156, 0.6785714285714286, 0.6493506493506493], 4: [0.6, 0.375, 0.5846153846153845, 0.6785714285714286, 0.5846153846153845, 0.75, 0.6785714285714286, 0.5846153846153845, 0.4, 0.5846153846153845], 5: [0.4505494505494505, 0.375, 0.5, 0.6785714285714286, 0.5, 0.75, 0.5846153846153845, 0.55, 0.4, 0.5846153846153845], 6: [0.5238095238095238, 0.375, 0.4, 0.6785714285714286, 0.35714285714285715, 0.8615384615384616, 0.6785714285714286, 0.5846153846153845, 0.4, 0.6785714285714286], 7: [0.4505494505494505, 0.2, 0.25, 0.6785714285714286, 0.5, 0.75, 0.55, 0.5, 0.4, 0.5], 8: [0.4117647058823529, 0.3333333333333333, 0.35714285714285715, 0.4, 0.4, 0.6785714285714286, 0.8615384615384616, 0.30769230769230765, 0.4, 0.35714285714285715], 9: [0.375, 0.375, 0.5, 0.4, 0.5, 0.8615384615384616, 0.75, 0.5, 0.4, 0.6493506493506493]})
SVM - accuracy: defaultdict(<class 'list'>, {('linear', 0.5): [0.7, 0.7, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888, 0.4444444444444444, 0.7777777777777778, 0.8888888888888888], ('linear', 1): [0.7, 0.7, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888, 0.4444444444444444, 0.7777777777777778, 0.8888888888888888], ('linear', 2): [0.7, 0.7, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888, 0.4444444444444444, 0.7777777777777778, 0.8888888888888888], ('linear', 4): [0.7, 0.7, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888, 0.4444444444444444, 0.7777777777777778, 0.8888888888888888], ('linear', 8): [0.7, 0.7, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888, 0.4444444444444444, 0.7777777777777778, 0.8888888888888888], ('linear', 16): [0.7, 0.7, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888, 0.4444444444444444, 0.7777777777777778, 0.8888888888888888], ('linear', 32): [0.7, 0.7, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888, 0.4444444444444444, 0.7777777777777778, 0.8888888888888888], ('linear', 64): [0.7, 0.7, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888, 0.4444444444444444, 0.7777777777777778, 0.8888888888888888], ('linear', 128): [0.7, 0.7, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888, 0.4444444444444444, 0.7777777777777778, 0.8888888888888888], ('rbf', 0.5): [0.7, 0.7, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666], ('rbf', 1): [0.8, 0.7, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666], ('rbf', 2): [0.8, 0.7, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888], ('rbf', 4): [0.8, 0.7, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888], ('rbf', 8): [0.8, 0.7, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888], ('rbf', 16): [0.8, 0.7, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888], ('rbf', 32): [0.8, 0.7, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888], ('rbf', 64): [0.8, 0.7, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888], ('rbf', 128): [0.8, 0.7, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888]})
SVM - f1-micro: defaultdict(<class 'list'>, {('linear', 0.5): [0.7, 0.7, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888, 0.4444444444444444, 0.7777777777777778, 0.8888888888888888], ('linear', 1): [0.7, 0.7, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888, 0.4444444444444444, 0.7777777777777778, 0.8888888888888888], ('linear', 2): [0.7, 0.7, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888, 0.4444444444444444, 0.7777777777777778, 0.8888888888888888], ('linear', 4): [0.7, 0.7, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888, 0.4444444444444444, 0.7777777777777778, 0.8888888888888888], ('linear', 8): [0.7, 0.7, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888, 0.4444444444444444, 0.7777777777777778, 0.8888888888888888], ('linear', 16): [0.7, 0.7, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888, 0.4444444444444444, 0.7777777777777778, 0.8888888888888888], ('linear', 32): [0.7, 0.7, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888, 0.4444444444444444, 0.7777777777777778, 0.8888888888888888], ('linear', 64): [0.7, 0.7, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888, 0.4444444444444444, 0.7777777777777778, 0.8888888888888888], ('linear', 128): [0.7, 0.7, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888, 0.4444444444444444, 0.7777777777777778, 0.8888888888888888], ('rbf', 0.5): [0.7, 0.7, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666], ('rbf', 1): [0.8000000000000002, 0.7, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666], ('rbf', 2): [0.8000000000000002, 0.7, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888], ('rbf', 4): [0.8000000000000002, 0.7, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888], ('rbf', 8): [0.8000000000000002, 0.7, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888], ('rbf', 16): [0.8000000000000002, 0.7, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888], ('rbf', 32): [0.8000000000000002, 0.7, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888], ('rbf', 64): [0.8000000000000002, 0.7, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888], ('rbf', 128): [0.8000000000000002, 0.7, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888]})
SVM - f1-macro: defaultdict(<class 'list'>, {('linear', 0.5): [0.6, 0.4117647058823529, 0.4, 0.6785714285714286, 0.4, 0.75, 0.8615384615384616, 0.4444444444444444, 0.6785714285714286, 0.8615384615384616], ('linear', 1): [0.6, 0.4117647058823529, 0.4, 0.6785714285714286, 0.4, 0.75, 0.8615384615384616, 0.4444444444444444, 0.6785714285714286, 0.8615384615384616], ('linear', 2): [0.6, 0.4117647058823529, 0.4, 0.6785714285714286, 0.4, 0.75, 0.8615384615384616, 0.4444444444444444, 0.6785714285714286, 0.8615384615384616], ('linear', 4): [0.6, 0.4117647058823529, 0.4, 0.6785714285714286, 0.4, 0.75, 0.8615384615384616, 0.4444444444444444, 0.6785714285714286, 0.8615384615384616], ('linear', 8): [0.6, 0.4117647058823529, 0.4, 0.6785714285714286, 0.4, 0.75, 0.8615384615384616, 0.4444444444444444, 0.6785714285714286, 0.8615384615384616], ('linear', 16): [0.6, 0.4117647058823529, 0.4, 0.6785714285714286, 0.4, 0.75, 0.8615384615384616, 0.4444444444444444, 0.6785714285714286, 0.8615384615384616], ('linear', 32): [0.6, 0.4117647058823529, 0.4, 0.6785714285714286, 0.4, 0.75, 0.8615384615384616, 0.4444444444444444, 0.6785714285714286, 0.8615384615384616], ('linear', 64): [0.6, 0.4117647058823529, 0.4, 0.6785714285714286, 0.4, 0.75, 0.8615384615384616, 0.4444444444444444, 0.6785714285714286, 0.8615384615384616], ('linear', 128): [0.6, 0.4117647058823529, 0.4, 0.6785714285714286, 0.4, 0.75, 0.8615384615384616, 0.4444444444444444, 0.6785714285714286, 0.8615384615384616], ('rbf', 0.5): [0.4117647058823529, 0.4117647058823529, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4], ('rbf', 1): [0.6875, 0.4117647058823529, 0.4, 0.4, 0.4, 0.6785714285714286, 0.4, 0.6785714285714286, 0.4, 0.4], ('rbf', 2): [0.6875, 0.4117647058823529, 0.4, 0.4, 0.4, 0.8615384615384616, 0.4, 0.6785714285714286, 0.4, 0.8615384615384616], ('rbf', 4): [0.6875, 0.4117647058823529, 0.4, 0.6785714285714286, 0.4, 0.75, 0.6785714285714286, 0.5846153846153845, 0.6785714285714286, 0.8615384615384616], ('rbf', 8): [0.6875, 0.4117647058823529, 0.4, 0.6785714285714286, 0.4, 0.75, 0.6785714285714286, 0.5846153846153845, 0.6785714285714286, 0.8615384615384616], ('rbf', 16): [0.6875, 0.4117647058823529, 0.4, 0.6785714285714286, 0.4, 0.75, 0.6785714285714286, 0.5846153846153845, 0.6785714285714286, 0.8615384615384616], ('rbf', 32): [0.6875, 0.4117647058823529, 0.4, 0.6785714285714286, 0.4, 0.75, 0.6785714285714286, 0.5846153846153845, 0.6785714285714286, 0.8615384615384616], ('rbf', 64): [0.6875, 0.4117647058823529, 0.4, 0.6785714285714286, 0.4, 0.75, 0.6785714285714286, 0.5846153846153845, 0.6785714285714286, 0.8615384615384616], ('rbf', 128): [0.6875, 0.4117647058823529, 0.4, 0.6785714285714286, 0.4, 0.75, 0.6785714285714286, 0.5846153846153845, 0.6785714285714286, 0.8615384615384616]})
MLP - accuracy: defaultdict(<class 'list'>, {(20,): [0.7, 0.7, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778], (50,): [0.7, 0.7, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778], (100,): [0.8, 0.7, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888, 0.8888888888888888], (200,): [0.8, 0.7, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778], (100, 100): [0.8, 0.7, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888, 0.5555555555555556, 0.8888888888888888, 0.8888888888888888]})
MLP - f1-micro: defaultdict(<class 'list'>, {(20,): [0.7, 0.7, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778], (50,): [0.7, 0.7, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778], (100,): [0.8000000000000002, 0.7, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888, 0.8888888888888888], (200,): [0.8000000000000002, 0.7, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778], (100, 100): [0.8000000000000002, 0.7, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888, 0.5555555555555556, 0.8888888888888888, 0.8888888888888888]})
MLP - f1-macro: defaultdict(<class 'list'>, {(20,): [0.6, 0.4117647058823529, 0.4, 0.6785714285714286, 0.4, 0.75, 0.6785714285714286, 0.5846153846153845, 0.6785714285714286, 0.6785714285714286], (50,): [0.6, 0.4117647058823529, 0.4, 0.6785714285714286, 0.4, 0.75, 0.6785714285714286, 0.5846153846153845, 0.6785714285714286, 0.6785714285714286], (100,): [0.6875, 0.4117647058823529, 0.4, 0.6785714285714286, 0.4, 0.75, 0.6785714285714286, 0.5846153846153845, 0.8615384615384616, 0.8615384615384616], (200,): [0.6875, 0.4117647058823529, 0.4, 0.6785714285714286, 0.4, 0.75, 0.6785714285714286, 0.5846153846153845, 0.6785714285714286, 0.6785714285714286], (100, 100): [0.6875, 0.4117647058823529, 0.4, 0.6785714285714286, 0.4, 0.75, 0.8615384615384616, 0.5, 0.8615384615384616, 0.8615384615384616]})
Identify the best classifier ...
** RandomForest
best hyperparameter: 50; best f1-micro score: 0.7611111111111111
** KNN
best hyperparameter: 2; best f1-micro score: 0.7166666666666666
** SVM
best hyperparameter: ('rbf', 4); best f1-micro score: 0.75
** MLP
best hyperparameter: (100,); best f1-micro score: 0.7611111111111113
The best single classifier is: MLP classifier
Voting - accuracy: [0.8, 0.7, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778]
Voting - f1-micro: [0.8000000000000002, 0.7, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778]
Voting - f1-macro: [0.6875, 0.4117647058823529, 0.4, 0.6785714285714286, 0.4, 0.75, 0.6785714285714286, 0.5846153846153845, 0.6785714285714286, 0.6785714285714286]
The best single classifier MLP classifier outperformed the voting ensemble classifier.
Ablation study ...
MLP - accuracy: defaultdict(<class 'list'>, {'locations_removed': [0.7, 0.7, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.5555555555555556, 0.6666666666666666, 0.8888888888888888], 'cuis_removed': [0.8, 0.7, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.5555555555555556, 0.8888888888888888, 0.7777777777777778], 'semtypes_removed': [0.8, 0.7, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.5555555555555556, 1.0, 0.7777777777777778], 'preferredNames_removed': [0.8, 0.7, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888, 1.0]})
MLP - f1-micro: defaultdict(<class 'list'>, {'locations_removed': [0.7, 0.7, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.5555555555555556, 0.6666666666666666, 0.8888888888888888], 'cuis_removed': [0.8000000000000002, 0.7, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.5555555555555556, 0.8888888888888888, 0.7777777777777778], 'semtypes_removed': [0.8000000000000002, 0.7, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.5555555555555556, 1.0, 0.7777777777777778], 'preferredNames_removed': [0.8000000000000002, 0.7, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888, 1.0]})
MLP - f1-macro: defaultdict(<class 'list'>, {'locations_removed': [0.6, 0.4117647058823529, 0.4, 0.4, 0.4, 0.75, 0.6785714285714286, 0.5, 0.4, 0.8615384615384616], 'cuis_removed': [0.6875, 0.4117647058823529, 0.4, 0.6785714285714286, 0.4, 0.75, 0.6785714285714286, 0.5, 0.8615384615384616, 0.6785714285714286], 'semtypes_removed': [0.6875, 0.4117647058823529, 0.4, 0.6785714285714286, 0.4, 0.75, 0.6785714285714286, 0.5, 1.0, 0.6785714285714286], 'preferredNames_removed': [0.6875, 0.4117647058823529, 0.4, 0.6785714285714286, 0.4, 0.75, 0.6785714285714286, 0.5846153846153845, 0.8615384615384616, 1.0]})
Training size versus Performance
scale: 0.2; train size: 18 -- accuracy = 0.7916666666666666; f1-micro = 0.7916666666666666; f1-macro = 0.4418604651162791
scale: 0.4; train size: 37 -- accuracy = 0.7916666666666666; f1-micro = 0.7916666666666666; f1-macro = 0.4418604651162791
scale: 0.6; train size: 55 -- accuracy = 0.8333333333333334; f1-micro = 0.8333333333333334; f1-macro = 0.6190476190476191
scale: 0.8; train size: 74 -- accuracy = 0.8333333333333334; f1-micro = 0.8333333333333334; f1-macro = 0.6190476190476191
scale: 1.0; train size: 92 -- accuracy = 0.8333333333333334; f1-micro = 0.8333333333333334; f1-macro = 0.6190476190476191
Preparing data ...
Evaluating ...
GNB - accuracy: [1.0, 0.7, 0.7777777777777778, 0.5555555555555556, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.8888888888888888, 0.6666666666666666]
GNB - f1-micro: [1.0, 0.7, 0.7777777777777778, 0.5555555555555556, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.8888888888888888, 0.6666666666666666]
GNB - f1-macro: [1.0, 0.6, 0.6785714285714286, 0.5, 0.6785714285714286, 0.6785714285714286, 0.4, 0.5846153846153845, 0.8615384615384616, 0.4]
Ridge - accuracy: [1.0, 0.8, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.8888888888888888, 0.3333333333333333]
Ridge - f1-micro: [1.0, 0.8000000000000002, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.8888888888888888, 0.3333333333333333]
Ridge - f1-macro: [1.0, 0.6875, 0.6785714285714286, 0.5846153846153845, 0.75, 0.4, 0.6785714285714286, 0.6785714285714286, 0.8831168831168831, 0.25]
RandomForest - accuracy: defaultdict(<class 'list'>, {10: [0.8, 0.8, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666], 30: [0.8, 0.8, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666], 50: [0.8, 0.8, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666], 70: [0.8, 0.8, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666], 100: [0.8, 0.8, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666], 120: [0.8, 0.8, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666]})
RandomForest - f1-micro: defaultdict(<class 'list'>, {10: [0.8000000000000002, 0.8000000000000002, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666], 30: [0.8000000000000002, 0.8000000000000002, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666], 50: [0.8000000000000002, 0.8000000000000002, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666], 70: [0.8000000000000002, 0.8000000000000002, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666], 100: [0.8000000000000002, 0.8000000000000002, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666], 120: [0.8000000000000002, 0.8000000000000002, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666]})
RandomForest - f1-macro: defaultdict(<class 'list'>, {10: [0.6875, 0.6875, 0.5846153846153845, 0.6785714285714286, 0.4, 0.4, 0.4, 0.6785714285714286, 0.6785714285714286, 0.4], 30: [0.6875, 0.6875, 0.4, 0.4, 0.6785714285714286, 0.4, 0.4, 0.4, 0.6785714285714286, 0.4], 50: [0.6875, 0.6875, 0.6785714285714286, 0.4, 0.6785714285714286, 0.4, 0.4, 0.4, 0.6785714285714286, 0.4], 70: [0.6875, 0.6875, 0.6785714285714286, 0.4, 0.6785714285714286, 0.4, 0.4, 0.4, 0.6785714285714286, 0.4], 100: [0.6875, 0.6875, 0.6785714285714286, 0.4, 0.6785714285714286, 0.4, 0.4, 0.4, 0.6785714285714286, 0.4], 120: [0.6875, 0.6875, 0.6785714285714286, 0.4, 0.6785714285714286, 0.4, 0.4, 0.6785714285714286, 0.6785714285714286, 0.4]})
KNN - accuracy: defaultdict(<class 'list'>, {1: [0.9, 0.7, 0.7777777777777778, 0.4444444444444444, 0.8888888888888888, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.4444444444444444], 2: [0.8, 0.8, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666], 3: [0.8, 0.8, 0.7777777777777778, 0.3333333333333333, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.5555555555555556], 4: [0.8, 0.8, 0.7777777777777778, 0.5555555555555556, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666], 5: [0.8, 0.9, 0.7777777777777778, 0.5555555555555556, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666], 6: [0.8, 0.8, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666], 7: [0.7, 0.8, 0.7777777777777778, 0.5555555555555556, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778], 8: [0.8, 0.8, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778], 9: [0.9, 0.8, 0.7777777777777778, 0.6666666666666666, 0.5555555555555556, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778]})
KNN - f1-micro: defaultdict(<class 'list'>, {1: [0.9, 0.7, 0.7777777777777778, 0.4444444444444444, 0.8888888888888888, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.4444444444444444], 2: [0.8000000000000002, 0.8000000000000002, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666], 3: [0.8000000000000002, 0.8000000000000002, 0.7777777777777778, 0.3333333333333333, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.5555555555555556], 4: [0.8000000000000002, 0.8000000000000002, 0.7777777777777778, 0.5555555555555556, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666], 5: [0.8000000000000002, 0.9, 0.7777777777777778, 0.5555555555555556, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666], 6: [0.8000000000000002, 0.8000000000000002, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666], 7: [0.7, 0.8000000000000002, 0.7777777777777778, 0.5555555555555556, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778], 8: [0.8000000000000002, 0.8000000000000002, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778], 9: [0.9, 0.8000000000000002, 0.7777777777777778, 0.6666666666666666, 0.5555555555555556, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778]})
KNN - f1-macro: defaultdict(<class 'list'>, {1: [0.8666666666666667, 0.6, 0.6785714285714286, 0.30769230769230765, 0.8615384615384616, 0.4, 0.4, 0.6785714285714286, 0.5846153846153845, 0.30769230769230765], 2: [0.6875, 0.6875, 0.6785714285714286, 0.4, 0.4, 0.4, 0.4, 0.4, 0.6785714285714286, 0.4], 3: [0.6875, 0.6875, 0.6785714285714286, 0.25, 0.4, 0.4, 0.4, 0.4, 0.6785714285714286, 0.35714285714285715], 4: [0.6875, 0.6875, 0.6785714285714286, 0.35714285714285715, 0.4, 0.4, 0.4, 0.4, 0.6785714285714286, 0.4], 5: [0.6875, 0.8666666666666667, 0.6785714285714286, 0.35714285714285715, 0.4, 0.4, 0.4, 0.6785714285714286, 0.5846153846153845, 0.4], 6: [0.6875, 0.6875, 0.6785714285714286, 0.4, 0.4, 0.4, 0.4, 0.6785714285714286, 0.6785714285714286, 0.4], 7: [0.6, 0.6875, 0.6785714285714286, 0.35714285714285715, 0.4, 0.4, 0.4, 0.6785714285714286, 0.6785714285714286, 0.6785714285714286], 8: [0.6875, 0.6875, 0.4, 0.4, 0.4, 0.4, 0.4, 0.6785714285714286, 0.6785714285714286, 0.6785714285714286], 9: [0.8666666666666667, 0.6875, 0.6785714285714286, 0.4, 0.35714285714285715, 0.4, 0.4, 0.6785714285714286, 0.6785714285714286, 0.6785714285714286]})
SVM - accuracy: defaultdict(<class 'list'>, {('linear', 0.5): [1.0, 0.8, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.8888888888888888, 0.4444444444444444], ('linear', 1): [1.0, 0.8, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.8888888888888888, 0.4444444444444444], ('linear', 2): [1.0, 0.8, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.8888888888888888, 0.4444444444444444], ('linear', 4): [1.0, 0.8, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.8888888888888888, 0.4444444444444444], ('linear', 8): [1.0, 0.8, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.8888888888888888, 0.4444444444444444], ('linear', 16): [1.0, 0.8, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.8888888888888888, 0.4444444444444444], ('linear', 32): [1.0, 0.8, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.8888888888888888, 0.4444444444444444], ('linear', 64): [1.0, 0.8, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.8888888888888888, 0.4444444444444444], ('linear', 128): [1.0, 0.8, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.8888888888888888, 0.4444444444444444], ('rbf', 0.5): [0.7, 0.7, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666], ('rbf', 1): [0.8, 0.8, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666], ('rbf', 2): [0.9, 0.8, 0.7777777777777778, 0.6666666666666666, 0.5555555555555556, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 1.0, 0.6666666666666666], ('rbf', 4): [0.9, 0.8, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 1.0, 0.6666666666666666], ('rbf', 8): [1.0, 0.8, 0.7777777777777778, 0.5555555555555556, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 1.0, 0.6666666666666666], ('rbf', 16): [0.9, 0.8, 0.7777777777777778, 0.5555555555555556, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 1.0, 0.6666666666666666], ('rbf', 32): [0.9, 0.8, 0.7777777777777778, 0.5555555555555556, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 1.0, 0.6666666666666666], ('rbf', 64): [0.9, 0.8, 0.7777777777777778, 0.5555555555555556, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 1.0, 0.6666666666666666], ('rbf', 128): [0.9, 0.8, 0.7777777777777778, 0.5555555555555556, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 1.0, 0.6666666666666666]})
SVM - f1-micro: defaultdict(<class 'list'>, {('linear', 0.5): [1.0, 0.8000000000000002, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.8888888888888888, 0.4444444444444444], ('linear', 1): [1.0, 0.8000000000000002, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.8888888888888888, 0.4444444444444444], ('linear', 2): [1.0, 0.8000000000000002, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.8888888888888888, 0.4444444444444444], ('linear', 4): [1.0, 0.8000000000000002, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.8888888888888888, 0.4444444444444444], ('linear', 8): [1.0, 0.8000000000000002, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.8888888888888888, 0.4444444444444444], ('linear', 16): [1.0, 0.8000000000000002, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.8888888888888888, 0.4444444444444444], ('linear', 32): [1.0, 0.8000000000000002, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.8888888888888888, 0.4444444444444444], ('linear', 64): [1.0, 0.8000000000000002, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.8888888888888888, 0.4444444444444444], ('linear', 128): [1.0, 0.8000000000000002, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.8888888888888888, 0.4444444444444444], ('rbf', 0.5): [0.7, 0.7, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666], ('rbf', 1): [0.8000000000000002, 0.8000000000000002, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666], ('rbf', 2): [0.9, 0.8000000000000002, 0.7777777777777778, 0.6666666666666666, 0.5555555555555556, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 1.0, 0.6666666666666666], ('rbf', 4): [0.9, 0.8000000000000002, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 1.0, 0.6666666666666666], ('rbf', 8): [1.0, 0.8000000000000002, 0.7777777777777778, 0.5555555555555556, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 1.0, 0.6666666666666666], ('rbf', 16): [0.9, 0.8000000000000002, 0.7777777777777778, 0.5555555555555556, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 1.0, 0.6666666666666666], ('rbf', 32): [0.9, 0.8000000000000002, 0.7777777777777778, 0.5555555555555556, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 1.0, 0.6666666666666666], ('rbf', 64): [0.9, 0.8000000000000002, 0.7777777777777778, 0.5555555555555556, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 1.0, 0.6666666666666666], ('rbf', 128): [0.9, 0.8000000000000002, 0.7777777777777778, 0.5555555555555556, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 1.0, 0.6666666666666666]})
SVM - f1-macro: defaultdict(<class 'list'>, {('linear', 0.5): [1.0, 0.6875, 0.6785714285714286, 0.5846153846153845, 0.75, 0.4, 0.6785714285714286, 0.6785714285714286, 0.8831168831168831, 0.30769230769230765], ('linear', 1): [1.0, 0.6875, 0.6785714285714286, 0.5846153846153845, 0.75, 0.4, 0.6785714285714286, 0.6785714285714286, 0.8831168831168831, 0.30769230769230765], ('linear', 2): [1.0, 0.6875, 0.6785714285714286, 0.5846153846153845, 0.75, 0.4, 0.6785714285714286, 0.6785714285714286, 0.8831168831168831, 0.30769230769230765], ('linear', 4): [1.0, 0.6875, 0.6785714285714286, 0.5846153846153845, 0.75, 0.4, 0.6785714285714286, 0.6785714285714286, 0.8831168831168831, 0.30769230769230765], ('linear', 8): [1.0, 0.6875, 0.6785714285714286, 0.5846153846153845, 0.75, 0.4, 0.6785714285714286, 0.6785714285714286, 0.8831168831168831, 0.30769230769230765], ('linear', 16): [1.0, 0.6875, 0.6785714285714286, 0.5846153846153845, 0.75, 0.4, 0.6785714285714286, 0.6785714285714286, 0.8831168831168831, 0.30769230769230765], ('linear', 32): [1.0, 0.6875, 0.6785714285714286, 0.5846153846153845, 0.75, 0.4, 0.6785714285714286, 0.6785714285714286, 0.8831168831168831, 0.30769230769230765], ('linear', 64): [1.0, 0.6875, 0.6785714285714286, 0.5846153846153845, 0.75, 0.4, 0.6785714285714286, 0.6785714285714286, 0.8831168831168831, 0.30769230769230765], ('linear', 128): [1.0, 0.6875, 0.6785714285714286, 0.5846153846153845, 0.75, 0.4, 0.6785714285714286, 0.6785714285714286, 0.8831168831168831, 0.30769230769230765], ('rbf', 0.5): [0.4117647058823529, 0.4117647058823529, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4], ('rbf', 1): [0.6875, 0.6875, 0.6785714285714286, 0.4, 0.4, 0.4, 0.4, 0.4, 0.6785714285714286, 0.4], ('rbf', 2): [0.8666666666666667, 0.6875, 0.6785714285714286, 0.4, 0.35714285714285715, 0.4, 0.4, 0.4, 1.0, 0.4], ('rbf', 4): [0.8666666666666667, 0.6875, 0.6785714285714286, 0.4, 0.5846153846153845, 0.4, 0.6785714285714286, 0.6785714285714286, 1.0, 0.4], ('rbf', 8): [1.0, 0.6875, 0.6785714285714286, 0.35714285714285715, 0.5846153846153845, 0.4, 0.6785714285714286, 0.6785714285714286, 1.0, 0.4], ('rbf', 16): [0.8901098901098901, 0.6875, 0.6785714285714286, 0.35714285714285715, 0.5846153846153845, 0.4, 0.6785714285714286, 0.6785714285714286, 1.0, 0.4], ('rbf', 32): [0.8901098901098901, 0.6875, 0.6785714285714286, 0.35714285714285715, 0.5846153846153845, 0.4, 0.6785714285714286, 0.6785714285714286, 1.0, 0.4], ('rbf', 64): [0.8901098901098901, 0.6875, 0.6785714285714286, 0.35714285714285715, 0.5846153846153845, 0.4, 0.6785714285714286, 0.6785714285714286, 1.0, 0.4], ('rbf', 128): [0.8901098901098901, 0.6875, 0.6785714285714286, 0.35714285714285715, 0.5846153846153845, 0.4, 0.6785714285714286, 0.6785714285714286, 1.0, 0.4]})
MLP - accuracy: defaultdict(<class 'list'>, {(20,): [1.0, 0.8, 0.7777777777777778, 0.4444444444444444, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666], (50,): [1.0, 0.8, 0.7777777777777778, 0.4444444444444444, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666], (100,): [1.0, 0.8, 0.7777777777777778, 0.4444444444444444, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666], (200,): [1.0, 0.8, 0.7777777777777778, 0.5555555555555556, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666], (100, 100): [1.0, 0.8, 0.7777777777777778, 0.4444444444444444, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.8888888888888888, 0.6666666666666666]})
MLP - f1-micro: defaultdict(<class 'list'>, {(20,): [1.0, 0.8000000000000002, 0.7777777777777778, 0.4444444444444444, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666], (50,): [1.0, 0.8000000000000002, 0.7777777777777778, 0.4444444444444444, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666], (100,): [1.0, 0.8000000000000002, 0.7777777777777778, 0.4444444444444444, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666], (200,): [1.0, 0.8000000000000002, 0.7777777777777778, 0.5555555555555556, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666], (100, 100): [1.0, 0.8000000000000002, 0.7777777777777778, 0.4444444444444444, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.8888888888888888, 0.6666666666666666]})
MLP - f1-macro: defaultdict(<class 'list'>, {(20,): [1.0, 0.6875, 0.6785714285714286, 0.30769230769230765, 0.6785714285714286, 0.4, 0.6785714285714286, 0.6785714285714286, 0.5846153846153845, 0.4], (50,): [1.0, 0.6875, 0.6785714285714286, 0.30769230769230765, 0.6785714285714286, 0.4, 0.6785714285714286, 0.6785714285714286, 0.75, 0.4], (100,): [1.0, 0.6875, 0.6785714285714286, 0.30769230769230765, 0.6785714285714286, 0.4, 0.6785714285714286, 0.6785714285714286, 0.75, 0.4], (200,): [1.0, 0.6875, 0.6785714285714286, 0.35714285714285715, 0.6785714285714286, 0.4, 0.4, 0.6785714285714286, 0.75, 0.4], (100, 100): [1.0, 0.6875, 0.6785714285714286, 0.30769230769230765, 0.5846153846153845, 0.4, 0.6785714285714286, 0.6785714285714286, 0.8615384615384616, 0.4]})
Identify the best classifier ...
** RandomForest
best hyperparameter: 120; best f1-micro score: 0.7377777777777779
** KNN
best hyperparameter: 9; best f1-micro score: 0.7366666666666667
** SVM
best hyperparameter: ('rbf', 4); best f1-micro score: 0.77
** MLP
best hyperparameter: (100, 100); best f1-micro score: 0.7466666666666668
The best single classifier is: SVM classifier
Voting - accuracy: [0.9, 0.8, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888, 0.6666666666666666]
Voting - f1-micro: [0.9, 0.8000000000000002, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888, 0.6666666666666666]
Voting - f1-macro: [0.8666666666666667, 0.6875, 0.6785714285714286, 0.4, 0.6785714285714286, 0.4, 0.4, 0.6785714285714286, 0.8615384615384616, 0.4]
The best single classifier SVM classifier outperformed the voting ensemble classifier.
Ablation study ...
MLP - accuracy: defaultdict(<class 'list'>, {'locations_removed': [0.9, 0.8, 0.7777777777777778, 0.4444444444444444, 0.5555555555555556, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 1.0, 0.6666666666666666], 'cuis_removed': [0.9, 0.8, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 1.0, 0.6666666666666666], 'semtypes_removed': [1.0, 0.8, 0.7777777777777778, 0.5555555555555556, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 1.0, 0.6666666666666666], 'preferredNames_removed': [1.0, 0.8, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 1.0, 0.6666666666666666]})
MLP - f1-micro: defaultdict(<class 'list'>, {'locations_removed': [0.9, 0.8000000000000002, 0.7777777777777778, 0.4444444444444444, 0.5555555555555556, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 1.0, 0.6666666666666666], 'cuis_removed': [0.9, 0.8000000000000002, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 1.0, 0.6666666666666666], 'semtypes_removed': [1.0, 0.8000000000000002, 0.7777777777777778, 0.5555555555555556, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 1.0, 0.6666666666666666], 'preferredNames_removed': [1.0, 0.8000000000000002, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 1.0, 0.6666666666666666]})
MLP - f1-macro: defaultdict(<class 'list'>, {'locations_removed': [0.8666666666666667, 0.6875, 0.6785714285714286, 0.30769230769230765, 0.35714285714285715, 0.4, 0.6785714285714286, 0.6785714285714286, 1.0, 0.4], 'cuis_removed': [0.8666666666666667, 0.6875, 0.6785714285714286, 0.4, 0.5846153846153845, 0.4, 0.6785714285714286, 0.6785714285714286, 1.0, 0.4], 'semtypes_removed': [1.0, 0.6875, 0.6785714285714286, 0.35714285714285715, 0.5846153846153845, 0.4, 0.4, 0.6785714285714286, 1.0, 0.4], 'preferredNames_removed': [1.0, 0.6875, 0.6785714285714286, 0.4, 0.5846153846153845, 0.4, 0.6785714285714286, 0.6785714285714286, 1.0, 0.4]})
Training size versus Performance
scale: 0.2; train size: 18 -- accuracy = 0.875; f1-micro = 0.875; f1-macro = 0.8230958230958231
scale: 0.4; train size: 37 -- accuracy = 0.8333333333333334; f1-micro = 0.8333333333333334; f1-macro = 0.7
scale: 0.6; train size: 55 -- accuracy = 0.875; f1-micro = 0.875; f1-macro = 0.8230958230958231
scale: 0.8; train size: 74 -- accuracy = 0.875; f1-micro = 0.875; f1-macro = 0.7948717948717948
scale: 1.0; train size: 92 -- accuracy = 0.875; f1-micro = 0.875; f1-macro = 0.7948717948717948
Preparing data ...
Evaluating ...
GNB - accuracy: [0.9, 0.9, 1.0, 0.4444444444444444, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.8888888888888888, 0.6666666666666666, 0.8888888888888888]
GNB - f1-micro: [0.9, 0.9, 1.0, 0.4444444444444444, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.8888888888888888, 0.6666666666666666, 0.8888888888888888]
GNB - f1-macro: [0.8666666666666667, 0.8666666666666667, 1.0, 0.30769230769230765, 0.4, 0.5846153846153845, 0.4, 0.8615384615384616, 0.5846153846153845, 0.8615384615384616]
Ridge - accuracy: [0.8, 0.7, 1.0, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.5555555555555556, 0.7777777777777778, 0.5555555555555556, 0.8888888888888888]
Ridge - f1-micro: [0.8000000000000002, 0.7, 1.0, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.5555555555555556, 0.7777777777777778, 0.5555555555555556, 0.8888888888888888]
Ridge - f1-macro: [0.7619047619047619, 0.4117647058823529, 1.0, 0.6785714285714286, 0.4, 0.4, 0.35714285714285715, 0.75, 0.35714285714285715, 0.8615384615384616]
RandomForest - accuracy: defaultdict(<class 'list'>, {10: [0.7, 0.7, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778], 30: [0.7, 0.7, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778], 50: [0.7, 0.7, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778], 70: [0.7, 0.7, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666], 100: [0.7, 0.7, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.5555555555555556, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778], 120: [0.7, 0.7, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.5555555555555556, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778]})
RandomForest - f1-micro: defaultdict(<class 'list'>, {10: [0.7, 0.7, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778], 30: [0.7, 0.7, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778], 50: [0.7, 0.7, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778], 70: [0.7, 0.7, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666], 100: [0.7, 0.7, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.5555555555555556, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778], 120: [0.7, 0.7, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.5555555555555556, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778]})
RandomForest - f1-macro: defaultdict(<class 'list'>, {10: [0.6, 0.4117647058823529, 0.43750000000000006, 0.4, 0.4, 0.4, 0.4, 0.6785714285714286, 0.4, 0.6785714285714286], 30: [0.4117647058823529, 0.4117647058823529, 0.43750000000000006, 0.4, 0.4, 0.4, 0.4, 0.6785714285714286, 0.4, 0.6785714285714286], 50: [0.4117647058823529, 0.4117647058823529, 0.43750000000000006, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.6785714285714286], 70: [0.4117647058823529, 0.4117647058823529, 0.43750000000000006, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4], 100: [0.4117647058823529, 0.4117647058823529, 0.43750000000000006, 0.4, 0.4, 0.35714285714285715, 0.4, 0.6785714285714286, 0.4, 0.6785714285714286], 120: [0.4117647058823529, 0.4117647058823529, 0.43750000000000006, 0.4, 0.4, 0.35714285714285715, 0.4, 0.6785714285714286, 0.4, 0.6785714285714286]})
KNN - accuracy: defaultdict(<class 'list'>, {1: [0.9, 0.7, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.5555555555555556, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888], 2: [0.7, 0.7, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666], 3: [0.7, 0.7, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.5555555555555556, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666], 4: [0.7, 0.7, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666], 5: [0.7, 0.7, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666], 6: [0.7, 0.7, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666], 7: [0.7, 0.7, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.5555555555555556, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666], 8: [0.7, 0.7, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666], 9: [0.7, 0.7, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.5555555555555556, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666]})
KNN - f1-micro: defaultdict(<class 'list'>, {1: [0.9, 0.7, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.5555555555555556, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888], 2: [0.7, 0.7, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666], 3: [0.7, 0.7, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.5555555555555556, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666], 4: [0.7, 0.7, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666], 5: [0.7, 0.7, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666], 6: [0.7, 0.7, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666], 7: [0.7, 0.7, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.5555555555555556, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666], 8: [0.7, 0.7, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666], 9: [0.7, 0.7, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.5555555555555556, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666]})
KNN - f1-macro: defaultdict(<class 'list'>, {1: [0.8666666666666667, 0.4117647058823529, 0.6785714285714286, 0.5846153846153845, 0.4, 0.4, 0.35714285714285715, 0.6785714285714286, 0.4, 0.8615384615384616], 2: [0.4117647058823529, 0.4117647058823529, 0.43750000000000006, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4], 3: [0.4117647058823529, 0.4117647058823529, 0.43750000000000006, 0.6493506493506493, 0.4, 0.4, 0.35714285714285715, 0.4, 0.4, 0.4], 4: [0.4117647058823529, 0.4117647058823529, 0.43750000000000006, 0.6785714285714286, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4], 5: [0.4117647058823529, 0.4117647058823529, 0.43750000000000006, 0.5846153846153845, 0.4, 0.4, 0.6785714285714286, 0.6785714285714286, 0.4, 0.4], 6: [0.4117647058823529, 0.4117647058823529, 0.43750000000000006, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4], 7: [0.4117647058823529, 0.4117647058823529, 0.43750000000000006, 0.4, 0.4, 0.4, 0.35714285714285715, 0.4, 0.4, 0.4], 8: [0.4117647058823529, 0.4117647058823529, 0.43750000000000006, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4], 9: [0.4117647058823529, 0.4117647058823529, 0.43750000000000006, 0.4, 0.4, 0.4, 0.35714285714285715, 0.4, 0.4, 0.4]})
SVM - accuracy: defaultdict(<class 'list'>, {('linear', 0.5): [0.8, 0.7, 1.0, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.5555555555555556, 0.7777777777777778, 0.5555555555555556, 0.8888888888888888], ('linear', 1): [0.8, 0.7, 1.0, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.5555555555555556, 0.7777777777777778, 0.5555555555555556, 0.8888888888888888], ('linear', 2): [0.8, 0.7, 1.0, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.5555555555555556, 0.7777777777777778, 0.5555555555555556, 0.8888888888888888], ('linear', 4): [0.8, 0.7, 1.0, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.5555555555555556, 0.7777777777777778, 0.5555555555555556, 0.8888888888888888], ('linear', 8): [0.8, 0.7, 1.0, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.5555555555555556, 0.7777777777777778, 0.5555555555555556, 0.8888888888888888], ('linear', 16): [0.8, 0.7, 1.0, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.5555555555555556, 0.7777777777777778, 0.5555555555555556, 0.8888888888888888], ('linear', 32): [0.8, 0.7, 1.0, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.5555555555555556, 0.7777777777777778, 0.5555555555555556, 0.8888888888888888], ('linear', 64): [0.8, 0.7, 1.0, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.5555555555555556, 0.7777777777777778, 0.5555555555555556, 0.8888888888888888], ('linear', 128): [0.8, 0.7, 1.0, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.5555555555555556, 0.7777777777777778, 0.5555555555555556, 0.8888888888888888], ('rbf', 0.5): [0.7, 0.7, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666], ('rbf', 1): [0.7, 0.7, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666], ('rbf', 2): [0.9, 0.7, 1.0, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666], ('rbf', 4): [0.9, 0.7, 1.0, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778], ('rbf', 8): [0.9, 0.7, 1.0, 0.5555555555555556, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888], ('rbf', 16): [0.9, 0.7, 1.0, 0.5555555555555556, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888], ('rbf', 32): [0.9, 0.7, 1.0, 0.5555555555555556, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888], ('rbf', 64): [0.9, 0.7, 1.0, 0.5555555555555556, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888], ('rbf', 128): [0.9, 0.7, 1.0, 0.5555555555555556, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888]})
SVM - f1-micro: defaultdict(<class 'list'>, {('linear', 0.5): [0.8000000000000002, 0.7, 1.0, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.5555555555555556, 0.7777777777777778, 0.5555555555555556, 0.8888888888888888], ('linear', 1): [0.8000000000000002, 0.7, 1.0, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.5555555555555556, 0.7777777777777778, 0.5555555555555556, 0.8888888888888888], ('linear', 2): [0.8000000000000002, 0.7, 1.0, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.5555555555555556, 0.7777777777777778, 0.5555555555555556, 0.8888888888888888], ('linear', 4): [0.8000000000000002, 0.7, 1.0, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.5555555555555556, 0.7777777777777778, 0.5555555555555556, 0.8888888888888888], ('linear', 8): [0.8000000000000002, 0.7, 1.0, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.5555555555555556, 0.7777777777777778, 0.5555555555555556, 0.8888888888888888], ('linear', 16): [0.8000000000000002, 0.7, 1.0, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.5555555555555556, 0.7777777777777778, 0.5555555555555556, 0.8888888888888888], ('linear', 32): [0.8000000000000002, 0.7, 1.0, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.5555555555555556, 0.7777777777777778, 0.5555555555555556, 0.8888888888888888], ('linear', 64): [0.8000000000000002, 0.7, 1.0, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.5555555555555556, 0.7777777777777778, 0.5555555555555556, 0.8888888888888888], ('linear', 128): [0.8000000000000002, 0.7, 1.0, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.5555555555555556, 0.7777777777777778, 0.5555555555555556, 0.8888888888888888], ('rbf', 0.5): [0.7, 0.7, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666], ('rbf', 1): [0.7, 0.7, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666], ('rbf', 2): [0.9, 0.7, 1.0, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666], ('rbf', 4): [0.9, 0.7, 1.0, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778], ('rbf', 8): [0.9, 0.7, 1.0, 0.5555555555555556, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888], ('rbf', 16): [0.9, 0.7, 1.0, 0.5555555555555556, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888], ('rbf', 32): [0.9, 0.7, 1.0, 0.5555555555555556, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888], ('rbf', 64): [0.9, 0.7, 1.0, 0.5555555555555556, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888], ('rbf', 128): [0.9, 0.7, 1.0, 0.5555555555555556, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888]})
SVM - f1-macro: defaultdict(<class 'list'>, {('linear', 0.5): [0.7619047619047619, 0.4117647058823529, 1.0, 0.6785714285714286, 0.4, 0.4, 0.35714285714285715, 0.75, 0.35714285714285715, 0.8615384615384616], ('linear', 1): [0.7619047619047619, 0.4117647058823529, 1.0, 0.6785714285714286, 0.4, 0.4, 0.35714285714285715, 0.75, 0.35714285714285715, 0.8615384615384616], ('linear', 2): [0.7619047619047619, 0.4117647058823529, 1.0, 0.6785714285714286, 0.4, 0.4, 0.35714285714285715, 0.75, 0.35714285714285715, 0.8615384615384616], ('linear', 4): [0.7619047619047619, 0.4117647058823529, 1.0, 0.6785714285714286, 0.4, 0.4, 0.35714285714285715, 0.75, 0.35714285714285715, 0.8615384615384616], ('linear', 8): [0.7619047619047619, 0.4117647058823529, 1.0, 0.6785714285714286, 0.4, 0.4, 0.35714285714285715, 0.75, 0.35714285714285715, 0.8615384615384616], ('linear', 16): [0.7619047619047619, 0.4117647058823529, 1.0, 0.6785714285714286, 0.4, 0.4, 0.35714285714285715, 0.75, 0.35714285714285715, 0.8615384615384616], ('linear', 32): [0.7619047619047619, 0.4117647058823529, 1.0, 0.6785714285714286, 0.4, 0.4, 0.35714285714285715, 0.75, 0.35714285714285715, 0.8615384615384616], ('linear', 64): [0.7619047619047619, 0.4117647058823529, 1.0, 0.6785714285714286, 0.4, 0.4, 0.35714285714285715, 0.75, 0.35714285714285715, 0.8615384615384616], ('linear', 128): [0.7619047619047619, 0.4117647058823529, 1.0, 0.6785714285714286, 0.4, 0.4, 0.35714285714285715, 0.75, 0.35714285714285715, 0.8615384615384616], ('rbf', 0.5): [0.4117647058823529, 0.4117647058823529, 0.43750000000000006, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4], ('rbf', 1): [0.4117647058823529, 0.4117647058823529, 0.43750000000000006, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4], ('rbf', 2): [0.8666666666666667, 0.4117647058823529, 1.0, 0.4, 0.4, 0.4, 0.4, 0.6785714285714286, 0.4, 0.4], ('rbf', 4): [0.8666666666666667, 0.4117647058823529, 1.0, 0.4, 0.4, 0.4, 0.4, 0.75, 0.4, 0.6785714285714286], ('rbf', 8): [0.8666666666666667, 0.4117647058823529, 1.0, 0.35714285714285715, 0.4, 0.4, 0.4, 0.75, 0.4, 0.8615384615384616], ('rbf', 16): [0.8666666666666667, 0.4117647058823529, 1.0, 0.35714285714285715, 0.4, 0.4, 0.4, 0.75, 0.4, 0.8615384615384616], ('rbf', 32): [0.8666666666666667, 0.4117647058823529, 1.0, 0.35714285714285715, 0.4, 0.4, 0.4, 0.75, 0.4, 0.8615384615384616], ('rbf', 64): [0.8666666666666667, 0.4117647058823529, 1.0, 0.35714285714285715, 0.4, 0.4, 0.4, 0.75, 0.4, 0.8615384615384616], ('rbf', 128): [0.8666666666666667, 0.4117647058823529, 1.0, 0.35714285714285715, 0.4, 0.4, 0.4, 0.75, 0.4, 0.8615384615384616]})
MLP - accuracy: defaultdict(<class 'list'>, {(20,): [0.9, 0.9, 1.0, 0.5555555555555556, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.8888888888888888, 0.5555555555555556, 0.8888888888888888], (50,): [0.9, 0.9, 1.0, 0.5555555555555556, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.8888888888888888, 0.6666666666666666, 0.8888888888888888], (100,): [0.9, 0.8, 1.0, 0.5555555555555556, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888], (200,): [0.8, 0.7, 0.8888888888888888, 0.5555555555555556, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.8888888888888888, 0.6666666666666666, 0.8888888888888888], (100, 100): [0.9, 0.8, 1.0, 0.5555555555555556, 0.6666666666666666, 0.5555555555555556, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 1.0]})
MLP - f1-micro: defaultdict(<class 'list'>, {(20,): [0.9, 0.9, 1.0, 0.5555555555555556, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.8888888888888888, 0.5555555555555556, 0.8888888888888888], (50,): [0.9, 0.9, 1.0, 0.5555555555555556, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.8888888888888888, 0.6666666666666666, 0.8888888888888888], (100,): [0.9, 0.8000000000000002, 1.0, 0.5555555555555556, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888], (200,): [0.8000000000000002, 0.7, 0.8888888888888888, 0.5555555555555556, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.8888888888888888, 0.6666666666666666, 0.8888888888888888], (100, 100): [0.9, 0.8000000000000002, 1.0, 0.5555555555555556, 0.6666666666666666, 0.5555555555555556, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 1.0]})
MLP - f1-macro: defaultdict(<class 'list'>, {(20,): [0.8666666666666667, 0.8666666666666667, 1.0, 0.35714285714285715, 0.4, 0.4, 0.4, 0.8615384615384616, 0.35714285714285715, 0.8615384615384616], (50,): [0.8666666666666667, 0.8666666666666667, 1.0, 0.35714285714285715, 0.4, 0.4, 0.4, 0.8615384615384616, 0.4, 0.8615384615384616], (100,): [0.8666666666666667, 0.6875, 1.0, 0.35714285714285715, 0.4, 0.4, 0.4, 0.6785714285714286, 0.4, 0.8615384615384616], (200,): [0.6875, 0.4117647058823529, 0.8, 0.35714285714285715, 0.4, 0.4, 0.4, 0.8615384615384616, 0.4, 0.8615384615384616], (100, 100): [0.8666666666666667, 0.6875, 1.0, 0.35714285714285715, 0.4, 0.35714285714285715, 0.4, 0.6785714285714286, 0.4, 1.0]})
Identify the best classifier ...
** RandomForest
best hyperparameter: 10; best f1-micro score: 0.7066666666666667
** KNN
best hyperparameter: 1; best f1-micro score: 0.7266666666666668
** SVM
best hyperparameter: ('rbf', 4); best f1-micro score: 0.7488888888888889
** MLP
best hyperparameter: (50,); best f1-micro score: 0.7799999999999999
The best single classifier is: MLP classifier
Voting - accuracy: [0.9, 0.7, 1.0, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778]
Voting - f1-micro: [0.9, 0.7, 1.0, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778]
Voting - f1-macro: [0.8666666666666667, 0.4117647058823529, 1.0, 0.4, 0.4, 0.4, 0.4, 0.8615384615384616, 0.4, 0.6785714285714286]
The best single classifier MLP classifier outperformed the voting ensemble classifier.
Ablation study ...
MLP - accuracy: defaultdict(<class 'list'>, {'locations_removed': [0.9, 0.8, 1.0, 0.5555555555555556, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.5555555555555556, 0.7777777777777778], 'cuis_removed': [0.9, 0.7, 1.0, 0.5555555555555556, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888], 'semtypes_removed': [0.9, 0.8, 1.0, 0.5555555555555556, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888], 'preferredNames_removed': [0.9, 0.7, 1.0, 0.5555555555555556, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.8888888888888888, 0.6666666666666666, 0.8888888888888888]})
MLP - f1-micro: defaultdict(<class 'list'>, {'locations_removed': [0.9, 0.8000000000000002, 1.0, 0.5555555555555556, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.5555555555555556, 0.7777777777777778], 'cuis_removed': [0.9, 0.7, 1.0, 0.5555555555555556, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888], 'semtypes_removed': [0.9, 0.8000000000000002, 1.0, 0.5555555555555556, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888], 'preferredNames_removed': [0.9, 0.7, 1.0, 0.5555555555555556, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.8888888888888888, 0.6666666666666666, 0.8888888888888888]})
MLP - f1-macro: defaultdict(<class 'list'>, {'locations_removed': [0.8666666666666667, 0.6875, 1.0, 0.35714285714285715, 0.4, 0.4, 0.4, 0.6785714285714286, 0.35714285714285715, 0.6785714285714286], 'cuis_removed': [0.8666666666666667, 0.4117647058823529, 1.0, 0.35714285714285715, 0.4, 0.4, 0.4, 0.6785714285714286, 0.4, 0.8615384615384616], 'semtypes_removed': [0.8666666666666667, 0.6875, 1.0, 0.35714285714285715, 0.4, 0.4, 0.4, 0.6785714285714286, 0.4, 0.8615384615384616], 'preferredNames_removed': [0.8666666666666667, 0.4117647058823529, 1.0, 0.35714285714285715, 0.4, 0.4, 0.4, 0.8615384615384616, 0.4, 0.8615384615384616]})
Training size versus Performance
scale: 0.2; train size: 18 -- accuracy = 0.875; f1-micro = 0.875; f1-macro = 0.7948717948717948
scale: 0.4; train size: 37 -- accuracy = 0.875; f1-micro = 0.875; f1-macro = 0.8230958230958231
scale: 0.6; train size: 55 -- accuracy = 0.9583333333333334; f1-micro = 0.9583333333333334; f1-macro = 0.941031941031941
scale: 0.8; train size: 74 -- accuracy = 1.0; f1-micro = 1.0; f1-macro = 1.0
scale: 1.0; train size: 92 -- accuracy = 0.875; f1-micro = 0.875; f1-macro = 0.8230958230958231
Preparing data ...
Evaluating ...
GNB - accuracy: [0.8, 0.8, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666]
GNB - f1-micro: [0.8000000000000002, 0.8000000000000002, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666]
GNB - f1-macro: [0.6875, 0.6875, 0.43750000000000006, 0.6785714285714286, 0.43750000000000006, 0.8, 0.4, 0.6785714285714286, 0.4, 0.4]
Ridge - accuracy: defaultdict(<class 'list'>, {0.1: [0.7, 0.7, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778], 0.5: [0.7, 0.7, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778], 1: [0.7, 0.7, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778], 10: [0.8, 0.7, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778], 50: [0.8, 0.7, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666], 100: [0.8, 0.7, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666]})
Ridge - f1-micro: defaultdict(<class 'list'>, {0.1: [0.7, 0.7, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778], 0.5: [0.7, 0.7, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778], 1: [0.7, 0.7, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778], 10: [0.8000000000000002, 0.7, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778], 50: [0.8000000000000002, 0.7, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666], 100: [0.8000000000000002, 0.7, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666]})
Ridge - f1-macro: defaultdict(<class 'list'>, {0.1: [0.6, 0.4117647058823529, 0.43750000000000006, 0.5846153846153845, 0.6785714285714286, 0.8, 0.4, 0.6785714285714286, 0.6785714285714286, 0.6785714285714286], 0.5: [0.6, 0.4117647058823529, 0.43750000000000006, 0.5846153846153845, 0.6785714285714286, 0.8, 0.4, 0.6785714285714286, 0.6785714285714286, 0.6785714285714286], 1: [0.6, 0.4117647058823529, 0.43750000000000006, 0.5846153846153845, 0.6785714285714286, 0.8, 0.4, 0.6785714285714286, 0.6785714285714286, 0.6785714285714286], 10: [0.6875, 0.4117647058823529, 0.43750000000000006, 0.5846153846153845, 0.6785714285714286, 0.8, 0.4, 0.6785714285714286, 0.6785714285714286, 0.6785714285714286], 50: [0.6875, 0.4117647058823529, 0.43750000000000006, 0.5846153846153845, 0.39999999999999997, 0.8, 0.4, 0.6785714285714286, 0.4, 0.4], 100: [0.6875, 0.4117647058823529, 0.43750000000000006, 0.6785714285714286, 0.43750000000000006, 0.8, 0.4, 0.6785714285714286, 0.4, 0.4]})
RandomForest - accuracy: defaultdict(<class 'list'>, {10: [0.7, 0.7, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666], 30: [0.8, 0.7, 0.7777777777777778, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666], 50: [0.7, 0.7, 0.7777777777777778, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666], 70: [0.7, 0.7, 0.7777777777777778, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666], 100: [0.8, 0.7, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666], 120: [0.8, 0.7, 0.7777777777777778, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666]})
RandomForest - f1-micro: defaultdict(<class 'list'>, {10: [0.7, 0.7, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666], 30: [0.8000000000000002, 0.7, 0.7777777777777778, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666], 50: [0.7, 0.7, 0.7777777777777778, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666], 70: [0.7, 0.7, 0.7777777777777778, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666], 100: [0.8000000000000002, 0.7, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666], 120: [0.8000000000000002, 0.7, 0.7777777777777778, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666]})
RandomForest - f1-macro: defaultdict(<class 'list'>, {10: [0.4117647058823529, 0.4117647058823529, 0.43750000000000006, 0.43750000000000006, 0.43750000000000006, 0.43750000000000006, 0.4, 0.6785714285714286, 0.4, 0.4], 30: [0.6875, 0.4117647058823529, 0.43750000000000006, 0.8, 0.43750000000000006, 0.43750000000000006, 0.4, 0.4, 0.4, 0.4], 50: [0.4117647058823529, 0.4117647058823529, 0.43750000000000006, 0.8, 0.43750000000000006, 0.43750000000000006, 0.4, 0.4, 0.4, 0.4], 70: [0.4117647058823529, 0.4117647058823529, 0.43750000000000006, 0.8, 0.43750000000000006, 0.43750000000000006, 0.4, 0.4, 0.4, 0.4], 100: [0.6875, 0.4117647058823529, 0.43750000000000006, 0.43750000000000006, 0.43750000000000006, 0.43750000000000006, 0.4, 0.4, 0.4, 0.4], 120: [0.6875, 0.4117647058823529, 0.43750000000000006, 0.8, 0.43750000000000006, 0.43750000000000006, 0.4, 0.4, 0.4, 0.4]})
KNN - accuracy: defaultdict(<class 'list'>, {1: [0.7, 0.7, 0.5555555555555556, 0.8888888888888888, 0.8888888888888888, 0.8888888888888888, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.5555555555555556], 2: [0.8, 0.7, 0.7777777777777778, 0.8888888888888888, 0.7777777777777778, 0.8888888888888888, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666], 3: [0.7, 0.7, 0.7777777777777778, 0.8888888888888888, 0.7777777777777778, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666], 4: [0.7, 0.7, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666], 5: [0.7, 0.7, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888, 0.6666666666666666, 0.6666666666666666], 6: [0.7, 0.7, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666], 7: [0.7, 0.7, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666], 8: [0.7, 0.7, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666], 9: [0.7, 0.7, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.8888888888888888, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666]})
KNN - f1-micro: defaultdict(<class 'list'>, {1: [0.7, 0.7, 0.5555555555555556, 0.8888888888888888, 0.8888888888888888, 0.8888888888888888, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.5555555555555556], 2: [0.8000000000000002, 0.7, 0.7777777777777778, 0.8888888888888888, 0.7777777777777778, 0.8888888888888888, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666], 3: [0.7, 0.7, 0.7777777777777778, 0.8888888888888888, 0.7777777777777778, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666], 4: [0.7, 0.7, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666], 5: [0.7, 0.7, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888, 0.6666666666666666, 0.6666666666666666], 6: [0.7, 0.7, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666], 7: [0.7, 0.7, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666], 8: [0.7, 0.7, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666], 9: [0.7, 0.7, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.8888888888888888, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666]})
KNN - f1-macro: defaultdict(<class 'list'>, {1: [0.6, 0.4117647058823529, 0.35714285714285715, 0.8, 0.8615384615384616, 0.8, 0.4, 0.5846153846153845, 0.4, 0.35714285714285715], 2: [0.6875, 0.4117647058823529, 0.43750000000000006, 0.8, 0.43750000000000006, 0.8, 0.4, 0.4, 0.4, 0.4], 3: [0.6, 0.4117647058823529, 0.43750000000000006, 0.8, 0.6785714285714286, 0.8, 0.4, 0.6785714285714286, 0.4, 0.4], 4: [0.4117647058823529, 0.4117647058823529, 0.43750000000000006, 0.43750000000000006, 0.43750000000000006, 0.43750000000000006, 0.4, 0.6785714285714286, 0.4, 0.4], 5: [0.4117647058823529, 0.4117647058823529, 0.43750000000000006, 0.43750000000000006, 0.43750000000000006, 0.43750000000000006, 0.4, 0.8615384615384616, 0.4, 0.4], 6: [0.4117647058823529, 0.4117647058823529, 0.43750000000000006, 0.43750000000000006, 0.43750000000000006, 0.43750000000000006, 0.4, 0.4, 0.4, 0.4], 7: [0.4117647058823529, 0.4117647058823529, 0.43750000000000006, 0.43750000000000006, 0.43750000000000006, 0.43750000000000006, 0.4, 0.4, 0.4, 0.4], 8: [0.4117647058823529, 0.4117647058823529, 0.43750000000000006, 0.43750000000000006, 0.43750000000000006, 0.43750000000000006, 0.4, 0.4, 0.4, 0.4], 9: [0.4117647058823529, 0.4117647058823529, 0.43750000000000006, 0.43750000000000006, 0.43750000000000006, 0.8, 0.4, 0.4, 0.4, 0.4]})
SVM - accuracy: defaultdict(<class 'list'>, {('linear', 0.5): [0.7, 0.7, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778], ('linear', 1): [0.7, 0.7, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778], ('linear', 2): [0.7, 0.7, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778], ('linear', 4): [0.7, 0.7, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778], ('linear', 8): [0.7, 0.7, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778], ('linear', 16): [0.7, 0.7, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778], ('linear', 32): [0.7, 0.7, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778], ('linear', 64): [0.7, 0.7, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778], ('linear', 128): [0.7, 0.7, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778], ('rbf', 0.5): [0.7, 0.7, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666], ('rbf', 1): [0.7, 0.7, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666], ('rbf', 2): [0.8, 0.7, 0.7777777777777778, 0.8888888888888888, 0.7777777777777778, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666], ('rbf', 4): [0.8, 0.7, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666], ('rbf', 8): [0.8, 0.7, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666], ('rbf', 16): [0.8, 0.7, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666], ('rbf', 32): [0.8, 0.7, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666], ('rbf', 64): [0.8, 0.7, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666], ('rbf', 128): [0.8, 0.7, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666]})
SVM - f1-micro: defaultdict(<class 'list'>, {('linear', 0.5): [0.7, 0.7, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778], ('linear', 1): [0.7, 0.7, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778], ('linear', 2): [0.7, 0.7, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778], ('linear', 4): [0.7, 0.7, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778], ('linear', 8): [0.7, 0.7, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778], ('linear', 16): [0.7, 0.7, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778], ('linear', 32): [0.7, 0.7, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778], ('linear', 64): [0.7, 0.7, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778], ('linear', 128): [0.7, 0.7, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778], ('rbf', 0.5): [0.7, 0.7, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666], ('rbf', 1): [0.7, 0.7, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666], ('rbf', 2): [0.8000000000000002, 0.7, 0.7777777777777778, 0.8888888888888888, 0.7777777777777778, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666], ('rbf', 4): [0.8000000000000002, 0.7, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666], ('rbf', 8): [0.8000000000000002, 0.7, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666], ('rbf', 16): [0.8000000000000002, 0.7, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666], ('rbf', 32): [0.8000000000000002, 0.7, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666], ('rbf', 64): [0.8000000000000002, 0.7, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666], ('rbf', 128): [0.8000000000000002, 0.7, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666]})
SVM - f1-macro: defaultdict(<class 'list'>, {('linear', 0.5): [0.6, 0.4117647058823529, 0.43750000000000006, 0.5846153846153845, 0.6785714285714286, 0.8, 0.4, 0.6785714285714286, 0.6785714285714286, 0.6785714285714286], ('linear', 1): [0.6, 0.4117647058823529, 0.43750000000000006, 0.5846153846153845, 0.6785714285714286, 0.8, 0.4, 0.6785714285714286, 0.6785714285714286, 0.6785714285714286], ('linear', 2): [0.6, 0.4117647058823529, 0.43750000000000006, 0.5846153846153845, 0.6785714285714286, 0.8, 0.4, 0.6785714285714286, 0.6785714285714286, 0.6785714285714286], ('linear', 4): [0.6, 0.4117647058823529, 0.43750000000000006, 0.5846153846153845, 0.6785714285714286, 0.8, 0.4, 0.6785714285714286, 0.6785714285714286, 0.6785714285714286], ('linear', 8): [0.6, 0.4117647058823529, 0.43750000000000006, 0.5846153846153845, 0.6785714285714286, 0.8, 0.4, 0.6785714285714286, 0.6785714285714286, 0.6785714285714286], ('linear', 16): [0.6, 0.4117647058823529, 0.43750000000000006, 0.5846153846153845, 0.6785714285714286, 0.8, 0.4, 0.6785714285714286, 0.6785714285714286, 0.6785714285714286], ('linear', 32): [0.6, 0.4117647058823529, 0.43750000000000006, 0.5846153846153845, 0.6785714285714286, 0.8, 0.4, 0.6785714285714286, 0.6785714285714286, 0.6785714285714286], ('linear', 64): [0.6, 0.4117647058823529, 0.43750000000000006, 0.5846153846153845, 0.6785714285714286, 0.8, 0.4, 0.6785714285714286, 0.6785714285714286, 0.6785714285714286], ('linear', 128): [0.6, 0.4117647058823529, 0.43750000000000006, 0.5846153846153845, 0.6785714285714286, 0.8, 0.4, 0.6785714285714286, 0.6785714285714286, 0.6785714285714286], ('rbf', 0.5): [0.4117647058823529, 0.4117647058823529, 0.43750000000000006, 0.43750000000000006, 0.43750000000000006, 0.43750000000000006, 0.4, 0.4, 0.4, 0.4], ('rbf', 1): [0.4117647058823529, 0.4117647058823529, 0.43750000000000006, 0.43750000000000006, 0.43750000000000006, 0.43750000000000006, 0.4, 0.4, 0.4, 0.4], ('rbf', 2): [0.6875, 0.4117647058823529, 0.43750000000000006, 0.8, 0.43750000000000006, 0.8, 0.4, 0.6785714285714286, 0.4, 0.4], ('rbf', 4): [0.6875, 0.4117647058823529, 0.43750000000000006, 0.6785714285714286, 0.39999999999999997, 0.8, 0.4, 0.6785714285714286, 0.4, 0.4], ('rbf', 8): [0.6875, 0.4117647058823529, 0.43750000000000006, 0.6785714285714286, 0.39999999999999997, 0.8, 0.4, 0.6785714285714286, 0.4, 0.4], ('rbf', 16): [0.6875, 0.4117647058823529, 0.43750000000000006, 0.6785714285714286, 0.39999999999999997, 0.8, 0.4, 0.6785714285714286, 0.4, 0.4], ('rbf', 32): [0.6875, 0.4117647058823529, 0.43750000000000006, 0.6785714285714286, 0.39999999999999997, 0.8, 0.4, 0.6785714285714286, 0.4, 0.4], ('rbf', 64): [0.6875, 0.4117647058823529, 0.43750000000000006, 0.6785714285714286, 0.39999999999999997, 0.8, 0.4, 0.6785714285714286, 0.4, 0.4], ('rbf', 128): [0.6875, 0.4117647058823529, 0.43750000000000006, 0.6785714285714286, 0.39999999999999997, 0.8, 0.4, 0.6785714285714286, 0.4, 0.4]})
MLP - accuracy: defaultdict(<class 'list'>, {(20,): [0.8, 0.7, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666], (50,): [0.8, 0.7, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666], (100,): [0.8, 0.7, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.5555555555555556, 0.6666666666666666], (200,): [0.8, 0.7, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666], (50, 50): [0.8, 0.7, 0.7777777777777778, 0.8888888888888888, 0.8888888888888888, 0.8888888888888888, 0.6666666666666666, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778], (100, 100): [0.8, 0.6, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666]})
MLP - f1-micro: defaultdict(<class 'list'>, {(20,): [0.8000000000000002, 0.7, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666], (50,): [0.8000000000000002, 0.7, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666], (100,): [0.8000000000000002, 0.7, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.5555555555555556, 0.6666666666666666], (200,): [0.8000000000000002, 0.7, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666], (50, 50): [0.8000000000000002, 0.7, 0.7777777777777778, 0.8888888888888888, 0.8888888888888888, 0.8888888888888888, 0.6666666666666666, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778], (100, 100): [0.8000000000000002, 0.6, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666]})
MLP - f1-macro: defaultdict(<class 'list'>, {(20,): [0.6875, 0.4117647058823529, 0.43750000000000006, 0.6785714285714286, 0.43750000000000006, 0.8, 0.4, 0.6785714285714286, 0.4, 0.4], (50,): [0.6875, 0.4117647058823529, 0.43750000000000006, 0.6785714285714286, 0.43750000000000006, 0.8, 0.4, 0.6785714285714286, 0.4, 0.4], (100,): [0.6875, 0.4117647058823529, 0.43750000000000006, 0.6785714285714286, 0.43750000000000006, 0.8, 0.4, 0.6785714285714286, 0.35714285714285715, 0.4], (200,): [0.6875, 0.4117647058823529, 0.43750000000000006, 0.6785714285714286, 0.43750000000000006, 0.8, 0.4, 0.6785714285714286, 0.4, 0.4], (50, 50): [0.6875, 0.4117647058823529, 0.43750000000000006, 0.8, 0.8, 0.8, 0.4, 0.8615384615384616, 0.4, 0.6785714285714286], (100, 100): [0.6875, 0.375, 0.43750000000000006, 0.6785714285714286, 0.43750000000000006, 0.8, 0.4, 0.6785714285714286, 0.4, 0.4]})
Identify the best classifier ...
best hyperparameter: 10; best f1-micro score: 0.7611111111111111
** RandomForest
best hyperparameter: 30; best f1-micro score: 0.7388888888888889
** KNN
best hyperparameter: 3; best f1-micro score: 0.7511111111111111
** SVM
best hyperparameter: ('rbf', 2); best f1-micro score: 0.7611111111111111
** MLP
best hyperparameter: (50, 50); best f1-micro score: 0.7944444444444445
The best single classifier is: MLP classifier
Voting - accuracy: [0.8, 0.7, 0.7777777777777778, 0.8888888888888888, 0.7777777777777778, 0.8888888888888888, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666]
Voting - f1-micro: [0.8000000000000002, 0.7, 0.7777777777777778, 0.8888888888888888, 0.7777777777777778, 0.8888888888888888, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666]
Voting - f1-macro: [0.6875, 0.4117647058823529, 0.43750000000000006, 0.8, 0.43750000000000006, 0.8, 0.4, 0.4, 0.4, 0.4]
The best single classifier MLP classifier outperformed the voting ensemble classifier.
Ablation study ...
MLP - accuracy: defaultdict(<class 'list'>, {'locations_removed': [0.8, 0.7, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666], 'cuis_removed': [0.8, 0.7, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666], 'semtypes_removed': [0.8, 0.7, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666], 'preferredNames_removed': [0.8, 0.7, 0.7777777777777778, 0.8888888888888888, 0.7777777777777778, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666]})
MLP - f1-micro: defaultdict(<class 'list'>, {'locations_removed': [0.8000000000000002, 0.7, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666], 'cuis_removed': [0.8000000000000002, 0.7, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666], 'semtypes_removed': [0.8000000000000002, 0.7, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666], 'preferredNames_removed': [0.8000000000000002, 0.7, 0.7777777777777778, 0.8888888888888888, 0.7777777777777778, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666]})
MLP - f1-macro: defaultdict(<class 'list'>, {'locations_removed': [0.6875, 0.4117647058823529, 0.43750000000000006, 0.6785714285714286, 0.43750000000000006, 0.8, 0.4, 0.6785714285714286, 0.4, 0.4], 'cuis_removed': [0.6875, 0.4117647058823529, 0.43750000000000006, 0.5846153846153845, 0.43750000000000006, 0.8, 0.4, 0.6785714285714286, 0.4, 0.4], 'semtypes_removed': [0.6875, 0.4117647058823529, 0.43750000000000006, 0.6785714285714286, 0.43750000000000006, 0.6785714285714286, 0.4, 0.6785714285714286, 0.6785714285714286, 0.4], 'preferredNames_removed': [0.6875, 0.4117647058823529, 0.43750000000000006, 0.8, 0.43750000000000006, 0.8, 0.6785714285714286, 0.75, 0.4, 0.4]})
Training size versus Performance
scale: 0.2; train size: 18 -- accuracy = 0.75; f1-micro = 0.75; f1-macro = 0.6666666666666666
scale: 0.4; train size: 37 -- accuracy = 0.8333333333333334; f1-micro = 0.8333333333333334; f1-macro = 0.7983193277310925
scale: 0.6; train size: 55 -- accuracy = 0.8333333333333334; f1-micro = 0.8333333333333334; f1-macro = 0.7983193277310925
scale: 0.8; train size: 74 -- accuracy = 0.8333333333333334; f1-micro = 0.8333333333333334; f1-macro = 0.7983193277310925
scale: 1.0; train size: 92 -- accuracy = 0.875; f1-micro = 0.875; f1-macro = 0.8545454545454545
Preparing data ...
Evaluating ...
GNB - accuracy: [0.8, 0.6, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888]
GNB - f1-micro: [0.8000000000000002, 0.6, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888]
GNB - f1-macro: [0.7916666666666665, 0.37499999999999994, 0.5846153846153845, 0.6785714285714286, 0.4, 0.8615384615384616, 0.6785714285714286, 0.4, 0.6785714285714286, 0.8615384615384616]
Ridge - accuracy: defaultdict(<class 'list'>, {0.1: [0.7, 0.8, 0.5555555555555556, 0.8888888888888888, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.8888888888888888, 0.8888888888888888], 0.5: [0.7, 0.8, 0.5555555555555556, 0.8888888888888888, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.8888888888888888, 0.8888888888888888], 1: [0.7, 0.8, 0.5555555555555556, 0.8888888888888888, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.8888888888888888, 0.8888888888888888], 10: [0.7, 0.8, 0.5555555555555556, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.8888888888888888, 0.8888888888888888], 50: [0.7, 0.8, 0.6666666666666666, 0.8888888888888888, 0.6666666666666666, 0.6666666666666666, 0.5555555555555556, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888]})
Ridge - f1-micro: defaultdict(<class 'list'>, {0.1: [0.7, 0.8000000000000002, 0.5555555555555556, 0.8888888888888888, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.8888888888888888, 0.8888888888888888], 0.5: [0.7, 0.8000000000000002, 0.5555555555555556, 0.8888888888888888, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.8888888888888888, 0.8888888888888888], 1: [0.7, 0.8000000000000002, 0.5555555555555556, 0.8888888888888888, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.8888888888888888, 0.8888888888888888], 10: [0.7, 0.8000000000000002, 0.5555555555555556, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.8888888888888888, 0.8888888888888888], 50: [0.7, 0.8000000000000002, 0.6666666666666666, 0.8888888888888888, 0.6666666666666666, 0.6666666666666666, 0.5555555555555556, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888]})
Ridge - f1-macro: defaultdict(<class 'list'>, {0.1: [0.6, 0.7619047619047619, 0.35714285714285715, 0.8615384615384616, 0.5846153846153845, 0.5846153846153845, 0.5846153846153845, 0.4, 0.8615384615384616, 0.8615384615384616], 0.5: [0.6, 0.7619047619047619, 0.35714285714285715, 0.8615384615384616, 0.5846153846153845, 0.5846153846153845, 0.5846153846153845, 0.4, 0.8615384615384616, 0.8615384615384616], 1: [0.6, 0.7619047619047619, 0.35714285714285715, 0.8615384615384616, 0.5846153846153845, 0.5846153846153845, 0.5846153846153845, 0.4, 0.8615384615384616, 0.8615384615384616], 10: [0.6, 0.7619047619047619, 0.35714285714285715, 0.8615384615384616, 0.6785714285714286, 0.6785714285714286, 0.5846153846153845, 0.4, 0.8615384615384616, 0.8615384615384616], 50: [0.6, 0.7619047619047619, 0.4, 0.8615384615384616, 0.4, 0.4, 0.5, 0.4, 0.6785714285714286, 0.8615384615384616]})
RandomForest - accuracy: defaultdict(<class 'list'>, {10: [0.7, 0.6, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.5555555555555556, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666], 30: [0.6, 0.6, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666], 50: [0.7, 0.6, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.8888888888888888], 70: [0.7, 0.6, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888], 100: [0.7, 0.6, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888], 120: [0.7, 0.6, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888]})
RandomForest - f1-micro: defaultdict(<class 'list'>, {10: [0.7, 0.6, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.5555555555555556, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666], 30: [0.6, 0.6, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666], 50: [0.7, 0.6, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.8888888888888888], 70: [0.7, 0.6, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888], 100: [0.7, 0.6, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888], 120: [0.7, 0.6, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888]})
RandomForest - f1-macro: defaultdict(<class 'list'>, {10: [0.4117647058823529, 0.37499999999999994, 0.4, 0.6785714285714286, 0.4, 0.35714285714285715, 0.6785714285714286, 0.4, 0.6785714285714286, 0.4], 30: [0.375, 0.37499999999999994, 0.4, 0.6785714285714286, 0.4, 0.4, 0.6785714285714286, 0.4, 0.4, 0.4], 50: [0.4117647058823529, 0.37499999999999994, 0.4, 0.6785714285714286, 0.4, 0.4, 0.6785714285714286, 0.4, 0.4, 0.8615384615384616], 70: [0.4117647058823529, 0.37499999999999994, 0.4, 0.6785714285714286, 0.4, 0.4, 0.6785714285714286, 0.4, 0.6785714285714286, 0.8615384615384616], 100: [0.4117647058823529, 0.37499999999999994, 0.4, 0.6785714285714286, 0.4, 0.4, 0.6785714285714286, 0.4, 0.6785714285714286, 0.8615384615384616], 120: [0.4117647058823529, 0.37499999999999994, 0.4, 0.6785714285714286, 0.4, 0.4, 0.6785714285714286, 0.4, 0.6785714285714286, 0.8615384615384616]})
KNN - accuracy: defaultdict(<class 'list'>, {1: [0.8, 0.6, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778], 2: [0.7, 0.6, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888], 3: [0.7, 0.6, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888], 4: [0.7, 0.6, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666], 5: [0.7, 0.7, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.5555555555555556, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666], 6: [0.7, 0.6, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666], 7: [0.7, 0.6, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666], 8: [0.7, 0.6, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666], 9: [0.7, 0.6, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666]})
KNN - f1-micro: defaultdict(<class 'list'>, {1: [0.8000000000000002, 0.6, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778], 2: [0.7, 0.6, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888], 3: [0.7, 0.6, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888], 4: [0.7, 0.6, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666], 5: [0.7, 0.7, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.5555555555555556, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666], 6: [0.7, 0.6, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666], 7: [0.7, 0.6, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666], 8: [0.7, 0.6, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666], 9: [0.7, 0.6, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666]})
KNN - f1-macro: defaultdict(<class 'list'>, {1: [0.6875, 0.37499999999999994, 0.6785714285714286, 0.5846153846153845, 0.5846153846153845, 0.4, 0.6785714285714286, 0.4, 0.6785714285714286, 0.75], 2: [0.4117647058823529, 0.37499999999999994, 0.4, 0.6785714285714286, 0.4, 0.4, 0.6785714285714286, 0.4, 0.6785714285714286, 0.8615384615384616], 3: [0.4117647058823529, 0.37499999999999994, 0.4, 0.6785714285714286, 0.4, 0.8615384615384616, 0.6785714285714286, 0.4, 0.6785714285714286, 0.8615384615384616], 4: [0.4117647058823529, 0.37499999999999994, 0.4, 0.6785714285714286, 0.4, 0.4, 0.6785714285714286, 0.4, 0.6785714285714286, 0.4], 5: [0.4117647058823529, 0.6000000000000001, 0.4, 0.6785714285714286, 0.4, 0.35714285714285715, 0.5846153846153845, 0.4, 0.6785714285714286, 0.4], 6: [0.4117647058823529, 0.37499999999999994, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4], 7: [0.4117647058823529, 0.37499999999999994, 0.4, 0.4, 0.4, 0.6785714285714286, 0.5846153846153845, 0.6785714285714286, 0.4, 0.4], 8: [0.4117647058823529, 0.37499999999999994, 0.4, 0.4, 0.4, 0.4, 0.5846153846153845, 0.4, 0.4, 0.4], 9: [0.4117647058823529, 0.37499999999999994, 0.6785714285714286, 0.4, 0.4, 0.4, 0.5846153846153845, 0.4, 0.4, 0.4]})
SVM - accuracy: defaultdict(<class 'list'>, {('linear', 0.5): [0.7, 0.8, 0.5555555555555556, 0.8888888888888888, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.8888888888888888, 0.8888888888888888], ('linear', 1): [0.7, 0.8, 0.5555555555555556, 0.8888888888888888, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.8888888888888888, 0.8888888888888888], ('linear', 2): [0.7, 0.8, 0.5555555555555556, 0.8888888888888888, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.8888888888888888, 0.8888888888888888], ('linear', 4): [0.7, 0.8, 0.5555555555555556, 0.8888888888888888, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.8888888888888888, 0.8888888888888888], ('linear', 8): [0.7, 0.8, 0.5555555555555556, 0.8888888888888888, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.8888888888888888, 0.8888888888888888], ('linear', 16): [0.7, 0.8, 0.5555555555555556, 0.8888888888888888, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.8888888888888888, 0.8888888888888888], ('linear', 32): [0.7, 0.8, 0.5555555555555556, 0.8888888888888888, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.8888888888888888, 0.8888888888888888], ('linear', 64): [0.7, 0.8, 0.5555555555555556, 0.8888888888888888, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.8888888888888888, 0.8888888888888888], ('linear', 128): [0.7, 0.8, 0.5555555555555556, 0.8888888888888888, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.8888888888888888, 0.8888888888888888], ('rbf', 0.5): [0.7, 0.6, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666], ('rbf', 1): [0.7, 0.6, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778], ('rbf', 2): [0.7, 0.7, 0.6666666666666666, 0.8888888888888888, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888], ('rbf', 4): [0.6, 0.8, 0.6666666666666666, 0.8888888888888888, 0.6666666666666666, 0.5555555555555556, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888], ('rbf', 8): [0.6, 0.8, 0.6666666666666666, 0.8888888888888888, 0.7777777777777778, 0.5555555555555556, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888], ('rbf', 16): [0.6, 0.8, 0.6666666666666666, 0.8888888888888888, 0.7777777777777778, 0.5555555555555556, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888], ('rbf', 32): [0.6, 0.8, 0.6666666666666666, 0.8888888888888888, 0.7777777777777778, 0.5555555555555556, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888], ('rbf', 64): [0.6, 0.8, 0.6666666666666666, 0.8888888888888888, 0.7777777777777778, 0.5555555555555556, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888], ('rbf', 128): [0.6, 0.8, 0.6666666666666666, 0.8888888888888888, 0.7777777777777778, 0.5555555555555556, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888]})
SVM - f1-micro: defaultdict(<class 'list'>, {('linear', 0.5): [0.7, 0.8000000000000002, 0.5555555555555556, 0.8888888888888888, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.8888888888888888, 0.8888888888888888], ('linear', 1): [0.7, 0.8000000000000002, 0.5555555555555556, 0.8888888888888888, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.8888888888888888, 0.8888888888888888], ('linear', 2): [0.7, 0.8000000000000002, 0.5555555555555556, 0.8888888888888888, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.8888888888888888, 0.8888888888888888], ('linear', 4): [0.7, 0.8000000000000002, 0.5555555555555556, 0.8888888888888888, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.8888888888888888, 0.8888888888888888], ('linear', 8): [0.7, 0.8000000000000002, 0.5555555555555556, 0.8888888888888888, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.8888888888888888, 0.8888888888888888], ('linear', 16): [0.7, 0.8000000000000002, 0.5555555555555556, 0.8888888888888888, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.8888888888888888, 0.8888888888888888], ('linear', 32): [0.7, 0.8000000000000002, 0.5555555555555556, 0.8888888888888888, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.8888888888888888, 0.8888888888888888], ('linear', 64): [0.7, 0.8000000000000002, 0.5555555555555556, 0.8888888888888888, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.8888888888888888, 0.8888888888888888], ('linear', 128): [0.7, 0.8000000000000002, 0.5555555555555556, 0.8888888888888888, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.8888888888888888, 0.8888888888888888], ('rbf', 0.5): [0.7, 0.6, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666], ('rbf', 1): [0.7, 0.6, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778], ('rbf', 2): [0.7, 0.7, 0.6666666666666666, 0.8888888888888888, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888], ('rbf', 4): [0.6, 0.8000000000000002, 0.6666666666666666, 0.8888888888888888, 0.6666666666666666, 0.5555555555555556, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888], ('rbf', 8): [0.6, 0.8000000000000002, 0.6666666666666666, 0.8888888888888888, 0.7777777777777778, 0.5555555555555556, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888], ('rbf', 16): [0.6, 0.8000000000000002, 0.6666666666666666, 0.8888888888888888, 0.7777777777777778, 0.5555555555555556, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888], ('rbf', 32): [0.6, 0.8000000000000002, 0.6666666666666666, 0.8888888888888888, 0.7777777777777778, 0.5555555555555556, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888], ('rbf', 64): [0.6, 0.8000000000000002, 0.6666666666666666, 0.8888888888888888, 0.7777777777777778, 0.5555555555555556, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888], ('rbf', 128): [0.6, 0.8000000000000002, 0.6666666666666666, 0.8888888888888888, 0.7777777777777778, 0.5555555555555556, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888]})
SVM - f1-macro: defaultdict(<class 'list'>, {('linear', 0.5): [0.6, 0.7619047619047619, 0.35714285714285715, 0.8615384615384616, 0.5846153846153845, 0.5846153846153845, 0.5846153846153845, 0.4, 0.8615384615384616, 0.8615384615384616], ('linear', 1): [0.6, 0.7619047619047619, 0.35714285714285715, 0.8615384615384616, 0.5846153846153845, 0.5846153846153845, 0.5846153846153845, 0.4, 0.8615384615384616, 0.8615384615384616], ('linear', 2): [0.6, 0.7619047619047619, 0.35714285714285715, 0.8615384615384616, 0.5846153846153845, 0.5846153846153845, 0.5846153846153845, 0.4, 0.8615384615384616, 0.8615384615384616], ('linear', 4): [0.6, 0.7619047619047619, 0.35714285714285715, 0.8615384615384616, 0.5846153846153845, 0.5846153846153845, 0.5846153846153845, 0.4, 0.8615384615384616, 0.8615384615384616], ('linear', 8): [0.6, 0.7619047619047619, 0.35714285714285715, 0.8615384615384616, 0.5846153846153845, 0.5846153846153845, 0.5846153846153845, 0.4, 0.8615384615384616, 0.8615384615384616], ('linear', 16): [0.6, 0.7619047619047619, 0.35714285714285715, 0.8615384615384616, 0.5846153846153845, 0.5846153846153845, 0.5846153846153845, 0.4, 0.8615384615384616, 0.8615384615384616], ('linear', 32): [0.6, 0.7619047619047619, 0.35714285714285715, 0.8615384615384616, 0.5846153846153845, 0.5846153846153845, 0.5846153846153845, 0.4, 0.8615384615384616, 0.8615384615384616], ('linear', 64): [0.6, 0.7619047619047619, 0.35714285714285715, 0.8615384615384616, 0.5846153846153845, 0.5846153846153845, 0.5846153846153845, 0.4, 0.8615384615384616, 0.8615384615384616], ('linear', 128): [0.6, 0.7619047619047619, 0.35714285714285715, 0.8615384615384616, 0.5846153846153845, 0.5846153846153845, 0.5846153846153845, 0.4, 0.8615384615384616, 0.8615384615384616], ('rbf', 0.5): [0.4117647058823529, 0.37499999999999994, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4], ('rbf', 1): [0.4117647058823529, 0.37499999999999994, 0.4, 0.4, 0.4, 0.4, 0.6785714285714286, 0.4, 0.6785714285714286, 0.6785714285714286], ('rbf', 2): [0.4117647058823529, 0.6000000000000001, 0.4, 0.8615384615384616, 0.4, 0.4, 0.6785714285714286, 0.4, 0.6785714285714286, 0.8615384615384616], ('rbf', 4): [0.375, 0.7619047619047619, 0.4, 0.8615384615384616, 0.4, 0.35714285714285715, 0.6785714285714286, 0.4, 0.6785714285714286, 0.8615384615384616], ('rbf', 8): [0.375, 0.7619047619047619, 0.4, 0.8615384615384616, 0.6785714285714286, 0.35714285714285715, 0.6785714285714286, 0.4, 0.6785714285714286, 0.8615384615384616], ('rbf', 16): [0.375, 0.7619047619047619, 0.4, 0.8615384615384616, 0.6785714285714286, 0.35714285714285715, 0.6785714285714286, 0.4, 0.6785714285714286, 0.8615384615384616], ('rbf', 32): [0.375, 0.7619047619047619, 0.4, 0.8615384615384616, 0.6785714285714286, 0.35714285714285715, 0.6785714285714286, 0.4, 0.6785714285714286, 0.8615384615384616], ('rbf', 64): [0.375, 0.7619047619047619, 0.4, 0.8615384615384616, 0.6785714285714286, 0.35714285714285715, 0.6785714285714286, 0.4, 0.6785714285714286, 0.8615384615384616], ('rbf', 128): [0.375, 0.7619047619047619, 0.4, 0.8615384615384616, 0.6785714285714286, 0.35714285714285715, 0.6785714285714286, 0.4, 0.6785714285714286, 0.8615384615384616]})
MLP - accuracy: defaultdict(<class 'list'>, {(20,): [0.7, 0.7, 0.6666666666666666, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.8888888888888888, 0.8888888888888888], (50,): [0.8, 0.7, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888], (100,): [0.7, 0.7, 0.7777777777777778, 0.8888888888888888, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888], (50, 50): [0.7, 0.7, 0.8888888888888888, 0.8888888888888888, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888, 0.8888888888888888], (100, 100): [0.6, 0.8, 0.8888888888888888, 0.7777777777777778, 0.8888888888888888, 0.8888888888888888, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888]})
MLP - f1-micro: defaultdict(<class 'list'>, {(20,): [0.7, 0.7, 0.6666666666666666, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.8888888888888888, 0.8888888888888888], (50,): [0.8000000000000002, 0.7, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888], (100,): [0.7, 0.7, 0.7777777777777778, 0.8888888888888888, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888], (50, 50): [0.7, 0.7, 0.8888888888888888, 0.8888888888888888, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888, 0.8888888888888888], (100, 100): [0.6, 0.8000000000000002, 0.8888888888888888, 0.7777777777777778, 0.8888888888888888, 0.8888888888888888, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888]})
MLP - f1-macro: defaultdict(<class 'list'>, {(20,): [0.6, 0.6000000000000001, 0.4, 0.8615384615384616, 0.4, 0.6785714285714286, 0.5846153846153845, 0.4, 0.8615384615384616, 0.8615384615384616], (50,): [0.7619047619047619, 0.6000000000000001, 0.6785714285714286, 0.6785714285714286, 0.4, 0.4, 0.6785714285714286, 0.4, 0.6785714285714286, 0.8615384615384616], (100,): [0.6, 0.6000000000000001, 0.6785714285714286, 0.8615384615384616, 0.4, 0.4, 0.6785714285714286, 0.4, 0.6785714285714286, 0.8615384615384616], (50, 50): [0.6, 0.6000000000000001, 0.8615384615384616, 0.8615384615384616, 0.4, 0.4, 0.6785714285714286, 0.4, 0.8615384615384616, 0.8615384615384616], (100, 100): [0.375, 0.7619047619047619, 0.8615384615384616, 0.6785714285714286, 0.8615384615384616, 0.8615384615384616, 0.6785714285714286, 0.4, 0.6785714285714286, 0.8615384615384616]})
Identify the best classifier ...
best hyperparameter: 10; best f1-micro score: 0.7611111111111113
** RandomForest
best hyperparameter: 70; best f1-micro score: 0.7188888888888888
** KNN
best hyperparameter: 3; best f1-micro score: 0.7411111111111112
** SVM
best hyperparameter: ('rbf', 8); best f1-micro score: 0.74
** MLP
best hyperparameter: (100, 100); best f1-micro score: 0.7955555555555556
The best single classifier is: MLP classifier
Voting - accuracy: [0.6, 0.6, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888]
Voting - f1-micro: [0.6, 0.6, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888]
Voting - f1-macro: [0.375, 0.37499999999999994, 0.4, 0.6785714285714286, 0.4, 0.4, 0.6785714285714286, 0.4, 0.6785714285714286, 0.8615384615384616]
The best single classifier MLP classifier outperformed the voting ensemble classifier.
Ablation study ...
MLP - accuracy: defaultdict(<class 'list'>, {'locations_removed': [0.7, 0.7, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888], 'cuis_removed': [0.8, 0.7, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 1.0, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888, 0.8888888888888888], 'semtypes_removed': [0.8, 0.7, 0.8888888888888888, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888, 0.8888888888888888], 'preferredNames_removed': [0.7, 0.8, 0.7777777777777778, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888]})
MLP - f1-micro: defaultdict(<class 'list'>, {'locations_removed': [0.7, 0.7, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888], 'cuis_removed': [0.8000000000000002, 0.7, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 1.0, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888, 0.8888888888888888], 'semtypes_removed': [0.8000000000000002, 0.7, 0.8888888888888888, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888, 0.8888888888888888], 'preferredNames_removed': [0.7, 0.8000000000000002, 0.7777777777777778, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.8888888888888888]})
MLP - f1-macro: defaultdict(<class 'list'>, {'locations_removed': [0.6, 0.6000000000000001, 0.6785714285714286, 0.6785714285714286, 0.6785714285714286, 0.4, 0.5846153846153845, 0.4, 0.6785714285714286, 0.8615384615384616], 'cuis_removed': [0.7619047619047619, 0.6000000000000001, 0.6785714285714286, 0.6785714285714286, 0.4, 1.0, 0.6785714285714286, 0.4, 0.8615384615384616, 0.8615384615384616], 'semtypes_removed': [0.7619047619047619, 0.6000000000000001, 0.8615384615384616, 0.8615384615384616, 0.4, 0.6785714285714286, 0.6785714285714286, 0.4, 0.8615384615384616, 0.8615384615384616], 'preferredNames_removed': [0.6, 0.7619047619047619, 0.6785714285714286, 0.8615384615384616, 0.4, 0.6785714285714286, 0.6785714285714286, 0.4, 0.6785714285714286, 0.8615384615384616]})
Training size versus Performance
scale: 0.2; train size: 18 -- accuracy = 0.8333333333333334; f1-micro = 0.8333333333333334; f1-macro = 0.6190476190476191
scale: 0.4; train size: 37 -- accuracy = 0.5416666666666666; f1-micro = 0.5416666666666666; f1-macro = 0.4666666666666667
scale: 0.6; train size: 55 -- accuracy = 0.9166666666666666; f1-micro = 0.9166666666666666; f1-macro = 0.8736842105263158
scale: 0.8; train size: 74 -- accuracy = 0.9166666666666666; f1-micro = 0.9166666666666666; f1-macro = 0.8500000000000001
scale: 1.0; train size: 92 -- accuracy = 0.9583333333333334; f1-micro = 0.9583333333333334; f1-macro = 0.9163763066202091
Preparing data ...
Evaluating ...
GNB - accuracy: [0.8, 0.7, 0.8888888888888888, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778, 0.5555555555555556, 0.8888888888888888, 0.7777777777777778, 0.6666666666666666]
GNB - f1-micro: [0.8000000000000002, 0.7, 0.8888888888888888, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778, 0.5555555555555556, 0.8888888888888888, 0.7777777777777778, 0.6666666666666666]
GNB - f1-macro: [0.6875, 0.4117647058823529, 0.8, 0.8615384615384616, 0.43750000000000006, 0.6785714285714286, 0.35714285714285715, 0.8615384615384616, 0.6785714285714286, 0.5846153846153845]
Ridge - accuracy: defaultdict(<class 'list'>, {0.1: [0.8, 0.8, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778], 0.5: [0.8, 0.8, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778], 1: [0.8, 0.8, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778], 10: [0.8, 0.7, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778], 50: [0.8, 0.7, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888, 0.7777777777777778, 0.6666666666666666]})
Ridge - f1-micro: defaultdict(<class 'list'>, {0.1: [0.8000000000000002, 0.8000000000000002, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778], 0.5: [0.8000000000000002, 0.8000000000000002, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778], 1: [0.8000000000000002, 0.8000000000000002, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778], 10: [0.8000000000000002, 0.7, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778], 50: [0.8000000000000002, 0.7, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888, 0.7777777777777778, 0.6666666666666666]})
Ridge - f1-macro: defaultdict(<class 'list'>, {0.1: [0.6875, 0.6875, 0.43750000000000006, 0.6493506493506493, 0.39999999999999997, 0.6785714285714286, 0.4, 0.75, 0.6785714285714286, 0.6785714285714286], 0.5: [0.6875, 0.6875, 0.43750000000000006, 0.6493506493506493, 0.39999999999999997, 0.6785714285714286, 0.4, 0.75, 0.6785714285714286, 0.6785714285714286], 1: [0.6875, 0.6875, 0.43750000000000006, 0.6493506493506493, 0.39999999999999997, 0.6785714285714286, 0.4, 0.75, 0.6785714285714286, 0.6785714285714286], 10: [0.6875, 0.4117647058823529, 0.43750000000000006, 0.6493506493506493, 0.39999999999999997, 0.6785714285714286, 0.4, 0.8615384615384616, 0.6785714285714286, 0.6785714285714286], 50: [0.6875, 0.4117647058823529, 0.43750000000000006, 0.6785714285714286, 0.39999999999999997, 0.6785714285714286, 0.4, 0.8615384615384616, 0.6785714285714286, 0.4]})
RandomForest - accuracy: defaultdict(<class 'list'>, {10: [0.7, 0.7, 0.7777777777777778, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778], 30: [0.7, 0.7, 0.7777777777777778, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888, 0.7777777777777778, 0.6666666666666666], 50: [0.8, 0.7, 0.7777777777777778, 0.8888888888888888, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.8888888888888888, 0.7777777777777778, 0.6666666666666666], 70: [0.7, 0.7, 0.7777777777777778, 1.0, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888, 0.7777777777777778, 0.6666666666666666], 100: [0.8, 0.7, 0.7777777777777778, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888, 0.7777777777777778, 0.6666666666666666], 120: [0.8, 0.7, 0.7777777777777778, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888, 0.7777777777777778, 0.6666666666666666]})
RandomForest - f1-micro: defaultdict(<class 'list'>, {10: [0.7, 0.7, 0.7777777777777778, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778], 30: [0.7, 0.7, 0.7777777777777778, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888, 0.7777777777777778, 0.6666666666666666], 50: [0.8000000000000002, 0.7, 0.7777777777777778, 0.8888888888888888, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.8888888888888888, 0.7777777777777778, 0.6666666666666666], 70: [0.7, 0.7, 0.7777777777777778, 1.0, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888, 0.7777777777777778, 0.6666666666666666], 100: [0.8000000000000002, 0.7, 0.7777777777777778, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888, 0.7777777777777778, 0.6666666666666666], 120: [0.8000000000000002, 0.7, 0.7777777777777778, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888, 0.7777777777777778, 0.6666666666666666]})
RandomForest - f1-macro: defaultdict(<class 'list'>, {10: [0.4117647058823529, 0.4117647058823529, 0.43750000000000006, 0.8, 0.43750000000000006, 0.6785714285714286, 0.4, 0.6785714285714286, 0.4, 0.6785714285714286], 30: [0.4117647058823529, 0.4117647058823529, 0.43750000000000006, 0.8, 0.43750000000000006, 0.6785714285714286, 0.4, 0.8615384615384616, 0.6785714285714286, 0.4], 50: [0.6875, 0.4117647058823529, 0.43750000000000006, 0.8, 0.43750000000000006, 0.4, 0.4, 0.8615384615384616, 0.6785714285714286, 0.4], 70: [0.4117647058823529, 0.4117647058823529, 0.43750000000000006, 1.0, 0.43750000000000006, 0.6785714285714286, 0.4, 0.8615384615384616, 0.6785714285714286, 0.4], 100: [0.6875, 0.4117647058823529, 0.43750000000000006, 0.8, 0.43750000000000006, 0.6785714285714286, 0.4, 0.8615384615384616, 0.6785714285714286, 0.4], 120: [0.6875, 0.4117647058823529, 0.43750000000000006, 0.8, 0.43750000000000006, 0.6785714285714286, 0.4, 0.8615384615384616, 0.6785714285714286, 0.4]})
KNN - accuracy: defaultdict(<class 'list'>, {1: [0.9, 0.6, 0.7777777777777778, 0.5555555555555556, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778], 2: [0.8, 0.7, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666], 3: [0.8, 0.7, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666], 4: [0.8, 0.7, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666], 5: [0.8, 0.7, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888, 0.5555555555555556, 0.8888888888888888], 6: [0.8, 0.7, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778], 7: [0.8, 0.7, 0.8888888888888888, 0.7777777777777778, 0.8888888888888888, 0.6666666666666666, 0.5555555555555556, 0.7777777777777778, 0.5555555555555556, 0.8888888888888888], 8: [0.7, 0.7, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.8888888888888888], 9: [0.7, 0.7, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778]})
KNN - f1-micro: defaultdict(<class 'list'>, {1: [0.9, 0.6, 0.7777777777777778, 0.5555555555555556, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778], 2: [0.8000000000000002, 0.7, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666], 3: [0.8000000000000002, 0.7, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666], 4: [0.8000000000000002, 0.7, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666], 5: [0.8000000000000002, 0.7, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888, 0.5555555555555556, 0.8888888888888888], 6: [0.8000000000000002, 0.7, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778], 7: [0.8000000000000002, 0.7, 0.8888888888888888, 0.7777777777777778, 0.8888888888888888, 0.6666666666666666, 0.5555555555555556, 0.7777777777777778, 0.5555555555555556, 0.8888888888888888], 8: [0.7, 0.7, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.8888888888888888], 9: [0.7, 0.7, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778]})
KNN - f1-macro: defaultdict(<class 'list'>, {1: [0.8666666666666667, 0.375, 0.43750000000000006, 0.55, 0.43750000000000006, 0.6785714285714286, 0.4, 0.8615384615384616, 0.5846153846153845, 0.6785714285714286], 2: [0.6875, 0.4117647058823529, 0.43750000000000006, 0.43750000000000006, 0.43750000000000006, 0.6785714285714286, 0.4, 0.6785714285714286, 0.6785714285714286, 0.4], 3: [0.6875, 0.4117647058823529, 0.39999999999999997, 0.6493506493506493, 0.43750000000000006, 0.6785714285714286, 0.5846153846153845, 0.6785714285714286, 0.6785714285714286, 0.4], 4: [0.6875, 0.4117647058823529, 0.43750000000000006, 0.43750000000000006, 0.43750000000000006, 0.6785714285714286, 0.6785714285714286, 0.6785714285714286, 0.6785714285714286, 0.4], 5: [0.6875, 0.4117647058823529, 0.6785714285714286, 0.43750000000000006, 0.43750000000000006, 0.6785714285714286, 0.5846153846153845, 0.8615384615384616, 0.5, 0.8615384615384616], 6: [0.6875, 0.4117647058823529, 0.43750000000000006, 0.43750000000000006, 0.43750000000000006, 0.6785714285714286, 0.4, 0.6785714285714286, 0.5846153846153845, 0.6785714285714286], 7: [0.6875, 0.4117647058823529, 0.8, 0.43750000000000006, 0.8, 0.5846153846153845, 0.35714285714285715, 0.6785714285714286, 0.5, 0.8615384615384616], 8: [0.4117647058823529, 0.4117647058823529, 0.43750000000000006, 0.43750000000000006, 0.43750000000000006, 0.6785714285714286, 0.4, 0.6785714285714286, 0.6785714285714286, 0.8615384615384616], 9: [0.4117647058823529, 0.4117647058823529, 0.43750000000000006, 0.43750000000000006, 0.39999999999999997, 0.6785714285714286, 0.4, 0.6785714285714286, 0.6785714285714286, 0.75]})
SVM - accuracy: defaultdict(<class 'list'>, {('linear', 0.5): [0.8, 0.8, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778], ('linear', 1): [0.8, 0.8, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778], ('linear', 2): [0.8, 0.8, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778], ('linear', 4): [0.8, 0.8, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778], ('linear', 8): [0.8, 0.8, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778], ('linear', 16): [0.8, 0.8, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778], ('linear', 32): [0.8, 0.8, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778], ('linear', 64): [0.8, 0.8, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778], ('linear', 128): [0.8, 0.8, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778], ('rbf', 0.5): [0.7, 0.7, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666], ('rbf', 1): [0.8, 0.7, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666], ('rbf', 2): [0.8, 0.7, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666], ('rbf', 4): [0.8, 0.7, 0.7777777777777778, 1.0, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888, 0.7777777777777778, 0.6666666666666666], ('rbf', 8): [0.8, 0.7, 0.7777777777777778, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666], ('rbf', 16): [0.8, 0.7, 0.7777777777777778, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666], ('rbf', 32): [0.8, 0.7, 0.7777777777777778, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666], ('rbf', 64): [0.8, 0.7, 0.7777777777777778, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666], ('rbf', 128): [0.8, 0.7, 0.7777777777777778, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666]})
SVM - f1-micro: defaultdict(<class 'list'>, {('linear', 0.5): [0.8000000000000002, 0.8000000000000002, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778], ('linear', 1): [0.8000000000000002, 0.8000000000000002, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778], ('linear', 2): [0.8000000000000002, 0.8000000000000002, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778], ('linear', 4): [0.8000000000000002, 0.8000000000000002, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778], ('linear', 8): [0.8000000000000002, 0.8000000000000002, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778], ('linear', 16): [0.8000000000000002, 0.8000000000000002, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778], ('linear', 32): [0.8000000000000002, 0.8000000000000002, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778], ('linear', 64): [0.8000000000000002, 0.8000000000000002, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778], ('linear', 128): [0.8000000000000002, 0.8000000000000002, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778], ('rbf', 0.5): [0.7, 0.7, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666], ('rbf', 1): [0.8000000000000002, 0.7, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666], ('rbf', 2): [0.8000000000000002, 0.7, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666], ('rbf', 4): [0.8000000000000002, 0.7, 0.7777777777777778, 1.0, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888, 0.7777777777777778, 0.6666666666666666], ('rbf', 8): [0.8000000000000002, 0.7, 0.7777777777777778, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666], ('rbf', 16): [0.8000000000000002, 0.7, 0.7777777777777778, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666], ('rbf', 32): [0.8000000000000002, 0.7, 0.7777777777777778, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666], ('rbf', 64): [0.8000000000000002, 0.7, 0.7777777777777778, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666], ('rbf', 128): [0.8000000000000002, 0.7, 0.7777777777777778, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666]})
SVM - f1-macro: defaultdict(<class 'list'>, {('linear', 0.5): [0.6875, 0.6875, 0.43750000000000006, 0.6493506493506493, 0.39999999999999997, 0.6785714285714286, 0.4, 0.75, 0.6785714285714286, 0.6785714285714286], ('linear', 1): [0.6875, 0.6875, 0.43750000000000006, 0.6493506493506493, 0.39999999999999997, 0.6785714285714286, 0.4, 0.75, 0.6785714285714286, 0.6785714285714286], ('linear', 2): [0.6875, 0.6875, 0.43750000000000006, 0.6493506493506493, 0.39999999999999997, 0.6785714285714286, 0.4, 0.75, 0.6785714285714286, 0.6785714285714286], ('linear', 4): [0.6875, 0.6875, 0.43750000000000006, 0.6493506493506493, 0.39999999999999997, 0.6785714285714286, 0.4, 0.75, 0.6785714285714286, 0.6785714285714286], ('linear', 8): [0.6875, 0.6875, 0.43750000000000006, 0.6493506493506493, 0.39999999999999997, 0.6785714285714286, 0.4, 0.75, 0.6785714285714286, 0.6785714285714286], ('linear', 16): [0.6875, 0.6875, 0.43750000000000006, 0.6493506493506493, 0.39999999999999997, 0.6785714285714286, 0.4, 0.75, 0.6785714285714286, 0.6785714285714286], ('linear', 32): [0.6875, 0.6875, 0.43750000000000006, 0.6493506493506493, 0.39999999999999997, 0.6785714285714286, 0.4, 0.75, 0.6785714285714286, 0.6785714285714286], ('linear', 64): [0.6875, 0.6875, 0.43750000000000006, 0.6493506493506493, 0.39999999999999997, 0.6785714285714286, 0.4, 0.75, 0.6785714285714286, 0.6785714285714286], ('linear', 128): [0.6875, 0.6875, 0.43750000000000006, 0.6493506493506493, 0.39999999999999997, 0.6785714285714286, 0.4, 0.75, 0.6785714285714286, 0.6785714285714286], ('rbf', 0.5): [0.4117647058823529, 0.4117647058823529, 0.43750000000000006, 0.43750000000000006, 0.43750000000000006, 0.4, 0.4, 0.4, 0.4, 0.4], ('rbf', 1): [0.6875, 0.4117647058823529, 0.43750000000000006, 0.43750000000000006, 0.43750000000000006, 0.6785714285714286, 0.4, 0.6785714285714286, 0.6785714285714286, 0.4], ('rbf', 2): [0.6875, 0.4117647058823529, 0.43750000000000006, 0.43750000000000006, 0.43750000000000006, 0.6785714285714286, 0.4, 0.6785714285714286, 0.6785714285714286, 0.4], ('rbf', 4): [0.6875, 0.4117647058823529, 0.43750000000000006, 1.0, 0.39999999999999997, 0.6785714285714286, 0.4, 0.8615384615384616, 0.6785714285714286, 0.4], ('rbf', 8): [0.6875, 0.4117647058823529, 0.43750000000000006, 0.8615384615384616, 0.39999999999999997, 0.6785714285714286, 0.4, 0.75, 0.6785714285714286, 0.4], ('rbf', 16): [0.6875, 0.4117647058823529, 0.43750000000000006, 0.8615384615384616, 0.39999999999999997, 0.6785714285714286, 0.4, 0.75, 0.6785714285714286, 0.4], ('rbf', 32): [0.6875, 0.4117647058823529, 0.43750000000000006, 0.8615384615384616, 0.39999999999999997, 0.6785714285714286, 0.4, 0.75, 0.6785714285714286, 0.4], ('rbf', 64): [0.6875, 0.4117647058823529, 0.43750000000000006, 0.8615384615384616, 0.39999999999999997, 0.6785714285714286, 0.4, 0.75, 0.6785714285714286, 0.4], ('rbf', 128): [0.6875, 0.4117647058823529, 0.43750000000000006, 0.8615384615384616, 0.39999999999999997, 0.6785714285714286, 0.4, 0.75, 0.6785714285714286, 0.4]})
MLP - accuracy: defaultdict(<class 'list'>, {(20,): [0.8, 0.7, 0.8888888888888888, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778], (50,): [0.8, 0.7, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778], (100,): [0.8, 0.7, 0.7777777777777778, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778], (50, 50): [0.8, 0.7, 0.7777777777777778, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778], (100, 100): [0.8, 0.7, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.8888888888888888, 0.7777777777777778, 0.8888888888888888]})
MLP - f1-micro: defaultdict(<class 'list'>, {(20,): [0.8000000000000002, 0.7, 0.8888888888888888, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778], (50,): [0.8000000000000002, 0.7, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778], (100,): [0.8000000000000002, 0.7, 0.7777777777777778, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778], (50, 50): [0.8000000000000002, 0.7, 0.7777777777777778, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778], (100, 100): [0.8000000000000002, 0.7, 0.7777777777777778, 0.6666666666666666, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.8888888888888888, 0.7777777777777778, 0.8888888888888888]})
MLP - f1-macro: defaultdict(<class 'list'>, {(20,): [0.6875, 0.4117647058823529, 0.8, 0.8615384615384616, 0.43750000000000006, 0.6785714285714286, 0.4, 0.8615384615384616, 0.6785714285714286, 0.6785714285714286], (50,): [0.6875, 0.4117647058823529, 0.43750000000000006, 0.75, 0.43750000000000006, 0.6785714285714286, 0.4, 0.8615384615384616, 0.6785714285714286, 0.6785714285714286], (100,): [0.6875, 0.4117647058823529, 0.43750000000000006, 0.8615384615384616, 0.43750000000000006, 0.6785714285714286, 0.4, 0.8615384615384616, 0.6785714285714286, 0.6785714285714286], (50, 50): [0.6875, 0.4117647058823529, 0.43750000000000006, 0.8615384615384616, 0.39999999999999997, 0.6785714285714286, 0.6785714285714286, 0.8615384615384616, 0.6785714285714286, 0.6785714285714286], (100, 100): [0.6875, 0.4117647058823529, 0.43750000000000006, 0.6493506493506493, 0.39999999999999997, 0.6785714285714286, 0.6785714285714286, 0.8615384615384616, 0.6785714285714286, 0.8615384615384616]})
Identify the best classifier ...
best hyperparameter: 10; best f1-micro score: 0.75
** RandomForest
best hyperparameter: 70; best f1-micro score: 0.7733333333333332
** KNN
best hyperparameter: 8; best f1-micro score: 0.7622222222222221
** SVM
best hyperparameter: ('rbf', 4); best f1-micro score: 0.7722222222222223
** MLP
best hyperparameter: (20,); best f1-micro score: 0.7944444444444444
The best single classifier is: MLP classifier
Voting - accuracy: [0.8, 0.7, 0.7777777777777778, 1.0, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888, 0.7777777777777778, 0.6666666666666666]
Voting - f1-micro: [0.8000000000000002, 0.7, 0.7777777777777778, 1.0, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888, 0.7777777777777778, 0.6666666666666666]
Voting - f1-macro: [0.6875, 0.4117647058823529, 0.43750000000000006, 1.0, 0.43750000000000006, 0.6785714285714286, 0.4, 0.8615384615384616, 0.6785714285714286, 0.4]
The best single classifier MLP classifier outperformed the voting ensemble classifier.
Ablation study ...
MLP - accuracy: defaultdict(<class 'list'>, {'locations_removed': [0.8, 0.7, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778], 'cuis_removed': [0.8, 0.7, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778], 'semtypes_removed': [0.8, 0.7, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778], 'preferredNames_removed': [0.8, 0.7, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778]})
MLP - f1-micro: defaultdict(<class 'list'>, {'locations_removed': [0.8000000000000002, 0.7, 0.8888888888888888, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778], 'cuis_removed': [0.8000000000000002, 0.7, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778], 'semtypes_removed': [0.8000000000000002, 0.7, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.6666666666666666, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778], 'preferredNames_removed': [0.8000000000000002, 0.7, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.7777777777777778, 0.8888888888888888, 0.7777777777777778, 0.7777777777777778]})
MLP - f1-macro: defaultdict(<class 'list'>, {'locations_removed': [0.6875, 0.4117647058823529, 0.8, 0.5846153846153845, 0.43750000000000006, 0.6785714285714286, 0.6785714285714286, 0.5846153846153845, 0.6785714285714286, 0.6785714285714286], 'cuis_removed': [0.6875, 0.4117647058823529, 0.8, 0.75, 0.43750000000000006, 0.6785714285714286, 0.4, 0.75, 0.6785714285714286, 0.6785714285714286], 'semtypes_removed': [0.6875, 0.4117647058823529, 0.43750000000000006, 0.75, 0.43750000000000006, 0.6785714285714286, 0.4, 0.8615384615384616, 0.6785714285714286, 0.6785714285714286], 'preferredNames_removed': [0.6875, 0.4117647058823529, 0.8, 0.75, 0.43750000000000006, 0.6785714285714286, 0.6785714285714286, 0.8615384615384616, 0.6785714285714286, 0.6785714285714286]})
Training size versus Performance
scale: 0.2; train size: 18 -- accuracy = 0.8333333333333334; f1-micro = 0.8333333333333334; f1-macro = 0.8125
scale: 0.4; train size: 37 -- accuracy = 0.7083333333333334; f1-micro = 0.7083333333333334; f1-macro = 0.5872235872235873
scale: 0.6; train size: 55 -- accuracy = 0.6666666666666666; f1-micro = 0.6666666666666666; f1-macro = 0.49473684210526314
scale: 0.8; train size: 74 -- accuracy = 0.7083333333333334; f1-micro = 0.7083333333333334; f1-macro = 0.5872235872235873
scale: 1.0; train size: 92 -- accuracy = 0.75; f1-micro = 0.75; f1-macro = 0.6210526315789474