בייטדאנס, החברה הסינית שמאחורי TikTok, נמצאת בשלבי אימון מוקדמים של מודל שפה ענק בהיקף של עד 10 טריליון פרמטרים, כך דיווח ה-Financial Times בהסתמך על שלושה אנשים המקורבים לפרויקט. לפי הדיווח, המודל מיועד להתחרות ב-Mythos, המערכת המתקדמת של אנתרופיק, בשלב שבו מפתחים סינים עדיין מתקשים לצמצם את הפער מול המודלים המובילים בעולם.
בהיקף הזה, המודל של בייטדאנס גדול פי שלושה בערך מ-Kimi K3 של Moonshot, שנחשב כרגע למודל הסיני הגדול ביותר שפורסם בפועל (כ-2.8 טריליון פרמטרים). תהליך האימון המוקדם נמשך בדרך כלל בין שלושה לשישה חודשים, וההיקף הסופי של המודל ייקבע רק בהמשך, לפני שלב הכוונון העדין וההחלטה אם וכיצד לשחרר אותו.
מנכ"ל בייטדאנס, ג'אנג יימינג, הנחה את הצוותים להימנע מהסתמכות על טכניקות distillation – כלומר "זיקוק" יכולות ממודלים קיימים של מתחרים – לטובת רווחים מהירים, ולהתמקד בפיתוח מקורי. זהו איתות לכך שהחברה שואפת להתחרות בחזית הטכנולוגית ולא רק להציע חלופה זולה יותר. יחד עם זאת, גודל המודל בפני עצמו אינו מבטיח ביצועים גבוהים – איכות נתוני האימון, יעילות התהליך והטכניקות המדויקות משפיעות באותה מידה על התוצאה הסופית.
מקורות: TheNextWeb Cybernews
₿ אהבת את הפוסט?
אפשר לשלוח לי ביטקוין ישירות לכתובת שלי. סרקו את הקוד, או העתיקו את הכתובת:
bc1qsn043qmlv4ejxydeknkfm9u6e93e6tegmq9x85
שימו לב: העברה on-chain כרוכה בעמלת רשת שאינה תלויה בסכום, ולכן סכומים קטנים מאוד אינם כדאיים.
