קטגוריה: מחשבים

חברת NVidia החלה למכור לאחרונה בצורה ישירה ודרך יצרני מחשבים נוספים כמו Dell, HPE, Lenovo, Asus (שמוכרים מחשב שהוא זהה פנימית, אך באריזה שונה) – את ה-Spark, מחשב מיני קטן שמיועד למפתחי AI/ML ואימוני Dataset.

מבחינה חיצונית ובהשוואה למחשבי מיני PC אחרים שקיימים בשוק, ה-Spark שונה כמעט בכל דבר: אין לו חיבורי HDMI או חיבורי USB Type A, אין לו חיבור חשמל קנייני, אין בו מעבד X86 או GPU יעודי, ואין בו זכרון רגיל שמופרד ל-CPU ו-GPU. המחשב כולל את הטכנולוגיות החדשות – רק חיבורי USB-C, זכרון אחוד שמשותף ל-CPU/GPU0, מעבד ARM שכולל CPU/GPU, וחיבורי רשת שלא קיימים באף מחשב אחר: חיבור 10 ג׳יגהביט ב-RJ45 ו-2 חיבורים במהירות 100 ג׳יגהביט (חיבור QSFP56) המאפשרים לשרשר ישירות עוד מחשבי Spark במהירות גבוהה. לאלו שרוצים, יש גם Wifi..

הבדל נוסף ומאוד מהותי קשור בכל מה שיש מבחינת תוכנה: אין Windows (ולא נראה שיש כוונה להציע עליו את מערכת ההפעלה הזו) אלא אובונטו בגירסה של Nvidia (שנקרא DGX_OS), והשינוי הכי גדול שיכול מאוד לסייע למפתחים – הוא מאגר תוכנות ופלטפורמות AI/LM שזמינות להורדה והתקנה עם Playbooks מיד כשמפעילים לראשונה את המחשב, ואם מישהו לא מכיר מה לעשות ואיך, המערכת כולל מודל פנימי המאפשר למפתח ״לשוחח״ ישירות עם המודל ולקבל את הפרטים איך לעשות ומה. בקיצור, NVidia עשו הכל כדי לתת למפתחים חיים יותר קלים מבלי לשבור את הראש על תאימות מערכת הפעלה, דרייברים, התקנת פלטפורמות וכו׳

מה בעצם נותן SPARK שפתרונות אחרים לא נותנים? בכדי לענות על כך, צריך לזכור שכיום, כאשר מפתח רוצה לאמן Dataset כלשהו על מודל, הוא צריך להעלות את המודל על ה-VRAM של ה-GPU ובנוסף להעלות גם את ה-Dataset (כולו או חלקו) אל ה-VRAM, כך שלשם ביצוע הדברים הללו, יש צורך בכרטיס GPU יקר (או 2), או להשתמש במודלים שהוגדרו מראש ל-Floating Point נמוך כמו 8 או 4 ביט (FP4) שאינם תופסים זכרון VRAM יקר.

ה-Spark מאפשר לעשות זאת ביתר קלות: המחשב מכיל כ-128 ג׳יגהבייט זכרון אחוד, כך שיש מספיק מקום בזכרון להשתמש הן במודל והן ב-Dataset (או חלקו), אולם חשוב לזכור: ה-Spark מצטיין ב-FP4 ונצטרך להשתמש במודל עם Quantization כזה על מנת לבצע אימון (אפשר לעשות על FP8 ואחרים, אך הביצועים יהיו איטיים מאוד). הביצועים בכל מקרה לא יהיו כמו מערכת של שרת DGX או כרטיס גרפי RTX, אך הם יספיקו למפתח לנסות ולכוונן Dataset חלקי, לראות שהכל עובד – ואז להעביר את האימון המלא לשרתים.

יתרון נוסף לפתרון כמו של Spark הוא אפשרות הגדילה: צריכים 256 ג׳יגהבייט זכרון אחוד? קונים עוד מערכת, ומחברים דרך כבל DAC בחיבור ה-100 ג׳יגה ביניהם, ואם רוצים לבנות אשכול שלם, משתמשים במתג 100 ג׳יגהביט. למתחרים, אגב – אין פתרון כזה.

ואם דיברנו על מתחרים: הפתרונות המתחרים שיש כיום הם פתרונות מבוססים Ryzen AI Max של AMD שיש להם יתרונות וחסרונות: מצד אחד, גם הם כוללים פתרון זכרון אחוד, אפשרות להפעיל Windows ותאימות X86 עם ביצועים שאינם כה רחוקים מה-Spark, אולם החסרון הוא שאין רשמית CUDA (יש משהו שנקרא ZLUDA אבל זה פתרון שעדיין בפיתוח) ולכן יש צורך בשימוש ROCm או Vulkan. יתרון גדול הוא המחיר – כמחצית ממה ש-Nvidia מבקשים.

לסיכום: Spark הוא פתרון מעולה שמתאים למפתחים בחברות, ארגונים וכל מקום שיכול להרשות לעצמו להשקיע 4000$ במכונה ושהם צריכים זאת. מצד שני, למשתמש הביתי, ה-Home Lab, או זה שיודע לינוקס טוב ויודע לקמפל ולהגדיר דברים גם כשאין CUDA – אפשר להשתמש בפתרון המבוסס AMD או PC עם כרטיס RTX יקר.