Kimi K3 שובר את הכלכלה של AI: מודל ענק במחיר זעיר

הסרטון בוחן איך מודל השפה החדש Kimi K3 מציע יכולות ברמת המודלים המובילים במחיר הפעלה נמוך בהרבה, ומה זה אומר על מרוץ החימוש הכלכלי בתעשיית ה-AI. כולל התייחסות למאמר המחקר שמאחורי המודל וכלים לניסיון עצמי.

מדובר במודל ענק במיוחד: לפי Moonshot AI, ל-Kimi K3 יש כ-2.8 טריליון פרמטרים, מה שהופך אותו לאחד ממודלי השפה בעלי המשקולות הפתוחות (open-weight) הגדולים שפורסמו אי פעם. הטריק הוא שהמודל בנוי בארכיטקטורת Mixture-of-Experts (MoE), כך שרק חלק קטן מהפרמטרים מופעל בכל שאילתה נתונה — מה שמאפשר לו לרוץ ביעילות של פי 2-3 לעומת מודלים סגורים מתחרים בגודל דומה, על אף המספר האדיר של הפרמטרים הכולל.

הפער במחיר בולט גם מול המתחרות הגדולות: לפי נתוני התמחור שפרסמה החברה, שימוש ב-Kimi K3 עולה כ-3 דולר למיליון טוקנים בקלט ו-15 דולר למיליון טוקנים בפלט, כאשר טוקנים שמגיעים מזיכרון מטמון (cache) זולים ב-90% נוספים. לשם השוואה, מודלים מובילים של OpenAI ו-Anthropic נעים באזור 5 דולר בקלט ו-25-30 דולר בפלט — כלומר פער של פי כמה בעלות הפעלה בפועל, לא רק בתיאוריה.

מוענשוט מדווחת גם על קפיצה של כפי 2.5 ביעילות ה'המרה' של כוח חישוב לביצועים בפועל, לעומת הדור הקודם של המשפחה, Kimi K2 — מודל שכבר עורר הדים כשדווח כי עלות האימון שלו עמדה על סביבות 4.6 מיליון דולר בלבד, שבר גדול מהתקציבים המוערכים של מעבדות אמריקאיות מובילות. הפרסום של K3 ממשיך מגמה שבה חברות סיניות מפצות על מגבלות ייצוא של שבבי חישוב מתקדמים באמצעות יעילות אלגוריתמית ואדריכלית, במקום הישענות על כוח מחשוב גולמי בלבד.

בבדיקות השוואתיות כמו Frontend Code Arena, Kimi K3 כבר מציג ביצועים שמתחרים או אף עוקפים מודלים סגורים מהשורה הראשונה במשימות קידוד ובנייה של ממשקים. העובדה שהמודל משוחרר כמשקולות פתוחות, ולא רק כשירות API סגור, מאפשרת לחברות ולמפתחים להריץ אותו על תשתית משלהם ולהתאים אותו לצרכיהם — צעד שמאיץ עוד יותר את התחרות על מחיר מול מודלים קנייניים כמו GPT ו-Claude.