Moc obliczeniowa
Trening Apertusa zajął ponad 10 milionów godzin GPU na Alps, superkomputerze Szwajcarskiego Narodowego Centrum Superkomputerowego (CSCS). Godzina GPU to jeden procesor graficzny pracujący przez godzinę.
Skala jest nowa, ale problem stary: w latach 50. ETH Zurich zbudowała ERMETH, bo potrzebowała więcej mocy obliczeniowej, niż mogła zdobyć inaczej.
Dane
Apertus uczył się na 15 bilionach tokenów, czyli drobnych fragmentów słów, na których pracują modele językowe, w ponad 1000 językach. Ponieważ dane treningowe opublikowano, badacze mogą sprawdzić, co trafiło do modelu, a to ważne dla pytań o jakość, stronniczość i prawa autorskie.
Źródła
- ETH Zurich, Apertus: a fully open, transparent, multilingual language model (press release)
- ETH Zurich, Department of Computer Science: Development of the department
Źródła sprawdzone: 1 listopada 2026