Huawei подпомага Националната библиотека на Норвегия в превръщането на културното наследство в AI готови данни

Националната библиотека на Норвегия използва високопроизводителната storage инфраструктура на Huawei, за да превърне своето огромно дигитално културно наследство в ресурс за разработване на AI технологии. В основата на решението е Huawei OceanStor Dorado All Flash Storage, внедрено в локалната AI среда на библиотеката.

Националната библиотека на Норвегия има законов ангажимент да събира и съхранява публикациите, създадени в страната. Колекцията обхваща редки книги от XVI век, исторически вестници, радио и телевизионни записи, както и съвременни дигитални публикации и аудиовизуално съдържание.

През последните повече от 20 години библиотеката провежда мащабна програма за дигитализация. Процесът включва не само сканиране и архивиране, но и OCR обработка, корекция на изображения, нормализиране на файлови формати, контрол на качеството и създаване на метаданни.

До момента са събрани около 20 PB уникални цифрови обекти, а с всички защитни копия общият обем на съхраняваните данни достига приблизително 60 PB. За дългосрочното им съхранение библиотеката използва стратегия 3+2+1, при която данните се пазят в три копия върху две различни технологии за съхранение и едно копие се поддържа извън основната локация.

С развитието на изкуствения интелект тези исторически данни придобиват ново значение. Норвегия има около пет милиона носители на езика, две официални писмени форми и множество диалекти, което поставя специфични изисквания към обучението на AI модели.

Затова Министерството на културата и равенството на Норвегия възлага на Националната библиотека разработването на собствени големи езикови модели. Инициативата е подкрепена с годишно финансиране от 70 милиона норвежки крони, а библиотеката разполага и с дългогодишни споразумения с издатели, които позволяват използването на защитено с авторски права съдържание за обучение на моделите.

Тук ключова роля играе Huawei OceanStor Dorado All Flash Storage. Решението предоставя над 2 PB капацитет за извличане на данни от архивите и извършване на интензивни операции по почистване, дедупликация, форматиране и валидиране.

Високата пропускателна способност и ниската латентност на платформата позволяват големи количества исторически данни да бъдат обработвани значително по-бързо. Това намалява риска от изчакване на storage инфраструктурата и позволява по-добро използване на изчислителните ресурси при подготовката на AI datasets.

След обработката от CPU клъстери готовите набори от данни се предават към Sigma2 – националната e-инфраструктура на Норвегия, където се използват за обучение на AI модели.

Проектът показва как модерната storage инфраструктура може да свърже два привидно различни свята – дългосрочното съхранение на културно наследство и високопроизводителната обработка на данни за AI. Докато архивната среда е оптимизирана за надеждност и дългосрочно съхранение, all flash системата на Huawei осигурява необходимата производителност за активно обработване на данните.

За Националната библиотека този подход превръща десетилетията работа по дигитализация в основа за ново поколение приложения с изкуствен интелект, които могат да бъдат по-добре адаптирани към норвежкия език, култура и история.

ASAP и Huawei – партньорство за модерна инфраструктура

Huawei е партньор на ASAP, като двете компании работят в областта на съвременната IT инфраструктура, storage решенията, мрежите и технологиите за AI. Чрез партньорството си с Huawei ASAP предоставя достъп до високопроизводителни решения за съхранение и обработка на данни, предназначени за организации с високи изисквания към надеждността, производителността и мащабируемостта на инфраструктурата.

Внедряването на Huawei OceanStor Dorado в Националната библиотека на Норвегия е пример за това как модерните storage технологии могат да подпомогнат трансформацията на големи архиви в AI ready инфраструктура и да създадат практическа връзка между дигиталното наследство и бъдещите AI приложения.