Lenovo udostępnia narzędzia przyspieszające rozwój i wdrożenia technologii AI w środowiskach korporacyjnych i HPC.

Lenovo udostępnia narzędzia przyspieszające rozwój i wdrożenia technologii AI w środowiskach korporacyjnych i HPC. Inicjatywy związane ze sztuczną inteligencją (AI) odgrywają kluczową rolę w wielu przedsiębiorstwach i instytucjach naukowych, a ja mam zaszczyt uczestniczyć we współpracy w tym zakresie z klientami z całego świata. Klienci odnoszą pierwsze sukcesy związane z prototypowymi wdrożeniami, ale realizacja projektów AI, które pomagałyby w osiąganiu celów biznesowych, wiąże się z oczywistymi trudnościami.

Oto kilka przykładów takich trudności we wdrażaniu AI, o których opowiedzieli mi klienci:

• Renomowana firma finansowa z siedzibą w Nowym Jorku ma problemy z zaspokojeniem potrzeb różnych zespołów deweloperskich, które domagają się odmiennych platform i wersji oprogramowania.
• Ceniona instytucja z sektora służby zdrowia w USA ma trudności związane z zarządzaniem różnymi projektami AI we współdzielonym środowisku zasobów klastrowych.
• Japońskiemu producentowi trudno jest skrócić czas wymagany do wytrenowania modeli głębokiego uczenia.
• Typowym problemem dla wielu klientów z różnych branż jest brak doświadczonych specjalistów w dziedzinie danych i inżynierów AI. Niedobory takiego personelu sprawiają, że specjaliści z tej dziedziny są bardzo cenni (i drodzy). Co więcej, potrzeba też specjalnych narzędzi, by mogli pracować efektywniej.

Klienci coraz częściej napotykają na takie same wyzwania. Skoro więc wyzwania te występują powszechnie w różnych branżach, jak można im podołać, by z powodzeniem wdrażać projekty AI? 

Aplikacje AI w przeciwieństwie do wielu innych aplikacji korporacyjnych są oparte głównie na oprogramowaniu open source. W związku z tym nie ma prawie żadnych gotowych pakietów AI, które dział IT mógłby znać i skutecznie nimi zarządzać oraz je skalować odpowiednio do potrzeb. Pomóc w tym może firma Lenovo, która ma doświadczenie i zajmuje pozycję lidera w dziedzinie wysokowydajnych systemów obliczeniowych (High Performance Computing, HPC), dlatego potrafi tworzyć odpowiednie rozwiązania AI dla klientów z segmentu korporacyjnego i HPC.

LiCO: środowisko deweloperskie do AI

Przedstawiamy Lenovo intelligent Computing Orchestration (LiCO) — rozwiązanie, które pomoże w przezwyciężeniu tych problemów klientom nie tylko z firm wdrażających AI, ale też z innych środowisk obejmujących wielu użytkowników, na przykład na uczelniach i w instytucjach naukowych, które używają klastrów do zadań HPC i rozwoju AI.

• LiCO upraszcza zarządzanie zasobami i ułatwia uruchamianie zadań trenowania AI w klastrach. LiCO obsługuje różne platformy AI, w tym TensorFlow, Caffe, Intel Caffe i MXNet. Ponadto można w nim zarządzać różnymi wersjami tych platform AI przy użyciu kontenerów Singularity. Zapewnia to menedżerom IT elastyczność w obsłudze prac deweloperskich dla wielu użytkowników i aplikacji jednocześnie.
• Wraz z intensyfikacją działań w dziedzinie AI, które przechodzą pod zarządzanie działów IT, wiele podmiotów rozważa wdrożenia skalowane w poziomie, które zapewniają elastyczność i najkorzystniejszy łączny koszt posiadania. W tym celu potrzebują one dodatkowych narzędzi do zarządzania wdrożeniami AI w środowiskach skalowanych w poziomie. W takiej sytuacji LiCO sprawdza się najlepiej, umożliwiając działanie na procesorach Intel Xeon Scalable lub GPU NVIDIA, w tym na najnowszym Tesla V100, na preferowanej platformie sprzętowej klienta i z wybranymi przez niego obciążeniami. W ten sposób klienci mogą zmniejszyć łączny koszt posiadania nawet o 35% w porównaniu z dedykowanymi systemami skalowanymi w pionie.
• Dzięki możliwościom rozproszonego zarządzania trenowaniem modeli można łatwiej uruchomić zadanie zrównoleglonego trenowania w LiCO na większej liczbie serwerów. Zaleta ta skraca czas potrzebny do trenowania i umożliwia szybsze eksperymentowanie dzięki efektywnemu skalowaniu zasobów komputerowych w klastrach.
• LiCO umożliwia uczenie transferowe przy użyciu wstępnie wytrenowanych modeli, co zmniejsza zapotrzebowanie na zasoby obliczeniowe w porównaniu z trenowaniem modeli od podstaw.

Podstawa rozwoju AI

Specjaliści w dziedzinie danych i inżynierowie AI wymagają narzędzi upraszczających procesy związane z powtarzalnymi zadaniami, takimi jak dostrajanie hiperparametrów czy konfiguracja modeli na podstawie dobrze znanych topologii sieci. Co więcej, monitorowanie zadań trenowania w terminalu wiersza polecenia może być czasochłonne i podatne na błędy. LiCO zaspokaja tego typu potrzeby, oferując procesy oparte na intuicyjnym w obsłudze graficznym interfejsie użytkownika oraz narzędzia do monitorowania, dzięki czemu można skrócić czas konfiguracji modeli nawet o 25–50%.

Naukowcy z Uniwersytetu Stanowego Karoliny Północnej (NCSU) używają LiCO do opracowywania modeli AI w celu analizy dużych ilości danych obrazów geoprzestrzennych na potrzeby mapowania różnych obiektów. Główny badacz w tym projekcie, dr Raju Vatsavai, wyjaśnia, jak LiCO pomaga się uporać z wyzwaniami związanymi z głębokim uczeniem:

„Jeżeli chodzi o zaawansowane rozwiązania AI, takie jak głębokie uczenie, naukowcy borykają się z dwoma problemami: po pierwsze — jakiej użyć platformy, a po drugie — jak skonfigurować środowisko trenowania (strojenie parametrów i infrastrukturę obliczeniową). Oferowana przez Lenovo platforma LiCO skutecznie redukuje te przeszkody utrudniające wdrożenia na szerszą skalę. W związku z tym naukowcy zajmujący się aplikacjami z różnych dziedzin mogą teraz skoncentrować się na szybkim pozyskiwaniu cennej wiedzy z zasobów big data, zamiast tracić czas na łączenie zawikłanych rozwiązań open source w celu rozwiązywania problemów albo — co jeszcze gorsze — w ogóle nie używać najlepszego rozwiązania” – mówi dr Bhushan Desam – Global AI Business Leader w Lenovo Data Center Group.

Jeszcze większe korzyści dzięki współpracy z partnerami

Współpracujemy z partnerami nad inicjatywami AI, które zapewnią klientom praktyczne rozwiązania. Łącząc wszechstronne doświadczenie w dziedzinie nauki o danych z dogłębną znajomością różnych sektorów, takich jak służba zdrowia, nauki przyrodnicze, energetyka i produkcja przemysłowa, możemy oferować rozwiązania dostosowane do różnych potrzeb klientów. Współpraca z partnerami takimi jak Intel, NVIDIA, Mark III Systems czy byteLAKE znacznie poszerza zasoby i wiedzę specjalistyczną, które możemy zaoferować klientom.

Korzystając z szerokiej bazy zasobów i doświadczenia partnerów oraz własnych zespołów badawczo-technologicznych, firma Lenovo zbudowała modele koncepcyjne AI, które wykrywają guzy w ludzkiej wątrobie, aby pomóc lekarzom i producentom sprzętu w doskonaleniu jakości modeli rozpoznawania obrazów.

Od czego mogą zacząć klienci?

Firma Lenovo zintensyfikowała wszechstronne podejście do AI, budując między innymi centra innowacyjności w USA, Niemczech i Chinach, aby wspierać klientów na wszystkich etapach: od prototypu po wdrożenie. Globalne centra innowacyjności stanowią środowisko, w którym klienci mogą poznać LiCO oraz ocenić, w jakim stopniu to środowisko może im pomóc w pokonywaniu trudności.