Új felhőinfrastruktúrát kap a NovelAI
A CoreWeave általánosan elérhetővé tette az NVIDIA HGX H100 GPU-kra épülő felhőpéldányait. Az új konstrukciót az Anlatan, a NovelAI fejlesztője az elsők között kezdi használni, elsősorban a mesterséges intelligencia modelljeinek fejlesztéséhez és a szolgáltatás működtetéséhez. A vállalat így nagyobb számítási kapacitással dolgozhat a betanítási folyamatokon, miközben a kész modelleket a felhasználók számára is kiszolgálhatja.
A bejelentésről az AI Hírek összefoglalója a NovelAI és a CoreWeave együttműködéséről is beszámolt. A CoreWeave március 21-én közölte, hogy az NVIDIA HGX H100 GPU-példányok mostantól általánosan elérhetők. A szolgáltató januárban indította el az NVIDIA H100 PCIe GPU-példányait, ezért az új megoldás a vállalat második H100-ajánlata.
A CoreWeave második H100-ajánlata
A CoreWeave februárban már kiválasztott ügyfeleknek kínálta az új példányokat. Az Anlatan ezek között az első ügyfelek között szerepel, így a NovelAI korán hozzáférhet a nagy teljesítményű hardverhez. Michael Intrator, a CoreWeave vezérigazgatója szerint fontos mérföldkő, hogy vállalatuk elsőként tette általánosan elérhetővé az NVIDIA HGX H100 platformokat. A vezető ezt a cég infrastruktúratervezési és üzembe helyezési képességével magyarázta.
A fejlesztés hátterében a generatív mesterséges intelligencia gyors terjedése áll. A CoreWeave szerint ez a technológia többek között nagy nyelvi modellek betanítására, szövegek előállítására, művészeti alkotások megtervezésére és irodalmi művek létrehozására használható. Az ilyen feladatok komoly számítási teljesítményt igényelnek, ezért a megfelelő GPU-infrastruktúra a fejlesztési idő és a szolgáltatás stabil működése szempontjából is fontos.
Gyorsabb modellfejlesztés és rugalmasabb működés
A 2021 júniusában elindított NovelAI havi előfizetéses szolgáltatás. Mesterséges intelligenciával támogatott szerzést, történetalkotást, szöveges kalandjátékokat és virtuális társaságot kínál. A platform alkotók és fejlesztők számára GPT-alapú homokozóként is működik. Az Anlatan leírása szerint a NovelAI algoritmusait valódi irodalmi műveken tanították, a rendszer pedig igyekszik alkalmazkodni a felhasználó írási stílusához, nézőpontjához és hangjához.
Az új NVIDIA HGX H100 AI-szuperszámítógépes platformok az Anlatan termékfejlesztési és üzemeltetési folyamataiban kapnak szerepet. A CoreWeave szerint a fürt használatával a fejlesztők rugalmasabban alakíthatják a modelleket, gyorsabban ismételhetik meg a betanítási lépéseket, és a NovelAI révén havonta több millió felhasználónak szolgálhatják ki modelljeiket. Eren Doğan, az Anlatan vezérigazgatója úgy véli, hogy az NVIDIA H100 GPU-k a modellbetanítástól a következtetésig előnyt jelenthetnek a gépi tanulásban. A Kubernetes-központú, felhőnatív környezet szerinte az infrastruktúrával járó terheket és az ehhez szükséges időt is csökkenti.
A szolgáltatás teljes titkosítást is használ, amelyet a vállalat a felhasználói adatvédelem részeként emel ki. Az új infrastruktúra önmagában nem változtatja meg a NovelAI előfizetési modelljét, de támogatja azt a technikai hátteret, amelyen a rendszer fejlesztése és működtetése alapul.
Akár 16 384 GPU egyetlen klaszterben
A CoreWeave az NVIDIA HGX H100 fürtöknél különleges, modellbetanításra optimalizált felépítést alkalmaz. A Kubernetes-alapú klaszterek sínoptimalizált kialakítást kaptak, hálózatként pedig az NVIDIA Quantum-2 InfiniBand platformját használják. A vállalat adatai szerint a rendszer csomópontonként 3,2 Tbps sávszélességet biztosít, ami a nagy mennyiségű modelladat mozgatásában játszik szerepet.
Az NVIDIA HGX H100 infrastruktúra egyetlen InfiniBand Fat-Tree Non-Blocking hálózati szöveten belül akár 16 384 H100 SXM5 GPU-ra is skálázható. A CoreWeave Cloud NVIDIA BlueField adatfeldolgozó egységeket is használ, hogy a H100-példányok kiosztása biztonságos és rugalmas legyen. Ian Buck, az NVIDIA hiperskálázási és nagy teljesítményű számítástechnikai területért felelős alelnöke szerint a CoreWeave-hez hasonló fejlesztőkkel kialakított együttműködések segíthetik a nagy nyelvi modelleken és más mesterségesintelligencia-terheléseken dolgozó csapatokat.
Az Anlatan számára mindez elsősorban gyorsabb fejlesztési ciklusokat és rugalmasabb kiszolgálást jelenthet. A CoreWeave pedig a bejelentéssel tovább erősíti a nagy nyelvi modellekhez és más mesterségesintelligencia-feladatokhoz kialakított GPU-felhőinfrastruktúráját.
