NVIDIA הפתיעה השבוע עם נמוטרון 3 אולטרה (Nemotron 3 Ultra), מודל שפה ענק בגודל 550 מיליארד פרמטרים שרק כ-55 מיליארד מהם פעילים בכל רגע נתון, בזכות ארכ...
NVIDIA הפתיעה השבוע עם נמוטרון 3 אולטרה (Nemotron 3 Ultra), מודל שפה ענק בגודל 550 מיליארד פרמטרים שרק כ-55 מיליארד מהם פעילים בכל רגע נתון, בזכות ארכ...
NVIDIA הפתיעה השבוע עם נמוטרון 3 אולטרה (Nemotron 3 Ultra), מודל שפה ענק בגודל 550 מיליארד פרמטרים שרק כ-55 מיליארד מהם פעילים בכל רגע נתון, בזכות ארכיטקטורת Mixture-of-Experts היברידית המשלבת Transformer ו-Mamba. התוצאה: קפיצה של פי חמישה במהירות ההיסק וחיסכון של כשליש בעלויות תפעול, לעומת המודלים הפתוחים המובילים שהיו קיימים עד כה.
מה שהופך את המהלך לחריג במיוחד הוא רמת הפתיחות. NVIDIA לא הסתפקה בשחרור המשקלים בלבד, אלא חשפה גם את נתוני האימון המלאים ואת מתכוני הפיתוח, תחת רישיון פתוח חדש. זו בשורה משמעותית לחוקרים ולמפתחים שרגילים לקבל ממעבדות כמו OpenAI וגוגל גישה מוגבלת בלבד למודלים סגורים - כאן אפשר לפרק את המודל לגורמים, להבין איך הוא אומן, ואפילו להתאים אותו מחדש לצרכים ספציפיים.
מבחינה טכנית, המודל תומך בחלון הקשר של עד מיליון טוקנים, מה שהופך אותו למתאים במיוחד לסוכני AI שפועלים לאורך זמן ממושך - תכנון משימות מורכבות, מחקר מעמיק, וכתיבת קוד בפרויקטים גדולים. ערוץ Two Minute Papers, שמתמחה בסיקור מאמרי מחקר פורצי דרך בתחום הבינה המלאכותית והגרפיקה הממוחשבת, הציג את המודל ככלי שמצמצם משמעותית את הפער בין מודלים פתוחים לקנייניים - התפתחות שצפויה להאיץ תחרות בשוק ה-AI הארגוני.