Szerverek nélkül szabhatók testre az AI-modellek
A Snowflake nyilvános előzetesként elindította a Cortex Training nevű szolgáltatását, amely nyílt súlyú nagy nyelvi modellek finomhangolását és telepítését teszi lehetővé. A bejelentés november 3-án történt. A megoldás azoknak a vállalati AI-csapatoknak szól, amelyek saját adataikkal javítanák egy modell teljesítményét, de nem szeretnének külön GPU-infrastruktúrát kialakítani és üzemeltetni.
A az AI Hírek összefoglalója a Snowflake szerver nélküli modellfinomhangolásáról szerint a platform leveszi a fejlesztők válláról a GPU-k kezelését, az ütemezést, az ellenőrzőpontok felügyeletét és az elosztott futtatás megszervezését. A Snowflake kezeli a modellállapotot, a GPU-kat és a tanítás végrehajtását, így a fejlesztők inkább a modell logikájára és a kísérletekre összpontosíthatnak.
A vállalat saját összehasonlító mérései alapján a Cortex Training akár 61 százalékkal olcsóbb lehet más szerver nélküli szolgáltatásoknál. Ez az adat a Snowflake közléséből származik, ezért a tényleges költség a feladattól, a választott modelltől és a tanítás időtartamától is függhet.
Felügyelt és megerősítéses tanítás is elérhető
A szolgáltatás két fontos tanítási módszert támogat. A felügyelt finomhangolás, vagyis az SFT során a modell jó minőségű példákból tanul. Egy ügyfélszolgálati rendszer esetében ilyen adatok segítségével elsajátíthatja a hibák felismerését, az ügyfelekkel folytatott kommunikációt, az eszkalációs szabályokat, valamint az eszközök és munkafolyamatok használatát.
A megerősítéses tanulás, az RL más módon alakítja a modell viselkedését. Itt mérhető eredményekből származó visszajelzések vezetik a tanítást. Egy ügyfélszolgálati ügynök például megtanulhatja, mikor használjon jegykezelő rendszert, mikor hívjon számlázási API-t, és mely esetekben továbbítsa a kérést egy embernek. A cél a minőség, a gyorsaság és a költségek jobb egyensúlya.
Az SFT és az RL egyaránt használható teljes paraméteres tanítással vagy LoRA-val. A fejlesztők többek között a Qwen, a GLM, a Nemotron, a Gemma és a DeepSeek nyílt súlyú modellcsaládjaival dolgozhatnak.
Saját tanítási ciklusok és széles körű integráció
A Cortex Training együttműködik több ismert keretrendszerrel, köztük a Hugging Face TRL, a PrimeRL, a veRL és a SkyRL megoldásaival. Az alacsonyabb szintű API-k emellett lehetőséget adnak egyedi veszteségfüggvények, modellarchitektúrák és tanítási ciklusok kialakítására. Ez azoknak a csapatoknak lehet fontos, amelyek nem kész beállításokkal szeretnének dolgozni.
A Snowflake a szolgáltatást a modell teljes életciklusának részeként képzeli el. A vállalatok először saját munkaterhelésükön mérhetik össze a modelleket minőség, késleltetés és költség alapján. Ezután kiválaszthatják a testreszabásra legalkalmasabb alapmodellt, majd előkészíthetik a tanításhoz szükséges adatokat.
A Snowflake adatplatformján strukturált és strukturálatlan információk tisztíthatók, szűrhetők, gazdagíthatók és címkézhetők. A Cortex AI Functions, az SQL és a Snowpark segítségével ezekből tanításra alkalmas adathalmazok készülhetnek. A Cortex AI Gateway közben az ügynökök nyomait, naplóit és modellinterakcióit is összegyűjtheti.
Vállalati használat és ellenőrzött telepítés
A termelési alkalmazásokból származó eredmények és az emberi visszajelzések új tanítási adatok alapját képezhetik. A Snowflake ezt folyamatos fejlesztési ciklusként írja le, amelyben a modell a vállalat konkrét feladataihoz igazodhat. A készített modellek ellenőrzőpontjai összehasonlíthatók, majd OpenAI-kompatibilis következtetési végpontokon telepíthetők.
A szolgáltatás a hozzáférések kezelésére is kínál vállalati megoldást. A Snowflake szerint a szerepköralapú hozzáférés-szabályozás kiterjed a tanítási adatokra, a modell tanítására, a telepítésre és a következtetésre. Az adatok, a modell súlyai és az optimalizáló állapota a Snowflake kezelt környezetében marad.
A vállalat beszámolója szerint a ResolveAI több száz, esetenként több mint ezer GPU-t igénylő, hosszú feladatok tanítására használja a szerver nélküli API-kat. Az OpenHands kutatói pedig arról számoltak be, hogy a Cortex Training mellett a kísérletekre és a tanításra összpontosíthattak, miközben megtarthatták korábbi keretrendszereiket.




