Feat/koto xml import #707

saku-koodari · 2025-01-21T13:17:59Z

Tehtäväpankkien tuonti

Oon tehnyt sille koto-alustan alle oman domainin, jotta ei sekottuis muiden koto asioiden kanssa
JsonMapperiin ja WebClienttiin piti nostaa rajoitus 128MB, jotta ei tule BufferLimitException - tyyppisiä virheitä
Jotta saan metatietoja tiedoston nimeen, teen serialisoinnin stringiin. Tästä tulee pientä performanssi hittiä. Voiskohan sitä optimoida?
Pihvi on tehtavapankki/TehtavapankkiService.kt/importTehtavapankki
- haetaan Mono:na (kotlin coroutineilla), jotta saadaan niin iso response sisään.
- serialisoidaan se TehtavapankkiResponseen
- iteroidaan jokainen tehtäväpankin objekti läpi, generoidaan niillä {KURSSIN_ID}-{KURSSIN_NIMI}/{ISO_DATETIME_NOW}-{INDEX}.xml - niminen tiedosto.
- Yritetään tallentaa se S3:een.

~~Kesken:~~

~~Tällä hetkellä tiedoston nimi saattaa olla liian pitkä. Mulla tuli jotain virheitä kehityksen aikana, ja veikkaan et ne johtu siitä.~~
~~Tunnarit ei oo kunnossa. Tällä hetkellä tulee: The AWS Access Key Id you provided does not exist in our records. (Service: S3, Status Code: 403,~~

server/src/main/kotlin/fi/oph/kitu/kotoutumiskoulutus/KoealustaService.kt

.../src/main/kotlin/fi/oph/kitu/kotoutumiskoulutus/tehtavapankki/TehtavapankkiScheduledTasks.kt

server/src/main/kotlin/fi/oph/kitu/kotoutumiskoulutus/tehtavapankki/TehtavapankkiService.kt

wolverian · 2025-02-19T14:57:41Z

server/src/main/kotlin/fi/oph/kitu/kotoutumiskoulutus/tehtavapankki/TehtavapankkiResponse.kt

+    @JsonProperty("questionbanks")
+    val questionbanks: List<Questionbank>,
+) {
+    data class Questionbank(


Suggested change

data class Questionbank(

data class QuestionBank(

Kirjoittaisin tuon englanniksi tekstissä kahtena sanana "question bank", joten pitäisi koodissakin. Toisaalta pitäisikö tämä olla suomeksi vaan koodissakin, eli Kysymyspankki?

Mä ajattelin pitää siinä muodossa kuin missä se lähdejärjestelmässä on, välittämättä oikeasta muodosta.

wolverian · 2025-02-19T15:06:48Z

.../src/main/kotlin/fi/oph/kitu/kotoutumiskoulutus/tehtavapankki/TehtavapankkiScheduledTasks.kt

+    lateinit var tehtavapankkiImportSchedule: String
+
+    @Bean
+    fun dailyImportKotoTehtavapankki(tehtavapankkiService: TehtavapankkiService): Task<Void> =


Voisiko tämän laittaa KoealustaScheduledTasks-luokkaan? Eli jos yhdessä luokassa voi olla useampi Task-tyyppinen metodi, niin ei tarvisi erillistä luokkaa tälle.

Tää on nyt tehty 3D - formaatissa ja niin, että tehtäväpankki olisi yksi kotoutumiskoulutus:sen alidomain. Jos ei haluta tällaista, niin mun mielestä on sit turha pitää koko alidomainia, ja se voidaan purkaa, flatata kotoutumiskoulutus:kseen.

Alidomain on fine, tämä on hyvä selitys!

voiks DDD:n lyhentää 3D?

voiks DDD:n lyhentää 3D?

Korjattu

server/src/main/kotlin/fi/oph/kitu/logging/EventLogger.kt

wolverian · 2025-02-19T15:12:08Z

server/src/test/kotlin/fi/oph/kitu/logging/LoggerExtensionsTests.kt

@@ -1,71 +0,0 @@
-package fi.oph.kitu.logging


Onko OK tämän poisto, vai pitäisikö testi muuttaa uutta tapaa testaavaksi?

Noi testit näyttää testaavan vain withEvent:ia. Nythän me ollaan siirretty tuon vastuu OTEL:lle, niin se testaaminen kuulunee OTEL:lle

in order to distinct from tehtavapankki url

The `withEvent` seems to be unused now. All of its usages have been replaced with `withEventAndPerformanceCheck`, so using that should be preferred instead.

How often the import should run etc. is still bit of a open question, so just disable the import to remove blockers for merging this.

Allow the bucket property to be undefined (default to null) and treat a missing bucket name as a dry-run. This reduces chances of an accidental S3 upload from local env, while cicumventing the need to configure a bucket name for the local env, too.