در رقابت برای سرعت بخشیدن به هوش مصنوعی ، شرکت Cerebras در سیلیکون ولی یک استراتژی غیر معمول را در پیش گرفته است: بزرگ عمل کنید.
در حالی که یک تراشه رایانه معمولی به اندازه یک ناخن انگشت است ، Cerebras'؛ اندازه تراشه به اندازه یک بشقاب غذاخوری است.
یادگیری عمیق ، یک فناوری هوش مصنوعی که به دستیاران صوتی ، اتومبیل های خودران و قهرمانان Go کمک می کند ، بر پیچیده" ؛ شبکه عصبی" تکیه می کند. نرم افزار مرتب شده در لایه ها سیستم های یادگیری عمیق می توانند بر روی یک کامپیوتر واحد اجرا شوند ، اما بزرگترین سیستم ها در هزاران دستگاه متصل به یکدیگر ، گاهی اوقات در مراکز داده بزرگ ، مانند آنهایی که توسط Google اداره می شوند ، پخش می شوند. در یک خوشه بزرگ ، حداکثر 48 سرور به اندازه جعبه پیتزا به قفسه های یک نفره می روند. قفسه ها در ردیف صف بندی شده اند و ساختمان را به اندازه یک انبار پر می کنند. شبکه های عصبی در این سیستم ها می توانند مشکلات دلهره آور را حل کنند ، اما همچنین با چالش های آشکاری روبرو هستند. شبکه ای که در یک خوشه تکثیر می شود مانند مغزی است که در یک اتاق پراکنده شده و به هم متصل شده است. الکترونها به سرعت حرکت می کنند ، اما با این وجود ، ارتباط بین تراشه ها کند است و انرژی زیادی را مصرف می کند.
اریک ویشریا ، شریک عمومی در شرکت سرمایه گذاری خطرپذیر سانفرانسیسکو بنچمارک ، اولین بار با شنیدن صحبت Cerebras Systems ، یک شرکت جدید تولید تراشه های رایانه ای ، در بهار سال 2016 متوجه این مشکل شد. Uber و ebay - یعنی در نرم افزار و نه سخت افزار. این شرکت سالانه به حدود 200 شرکت نوپا نگاه می کند و در یکی از آنها سرمایه گذاری می کند."؛ ما این بازی بوسیدن هزار قورباغه را بازی می کردیم ،"؛ ویشریا به من گفت. در ابتدای صحبت خود ، او تصمیم گرفت قورباغه را به عقب پرتاب کند."؛ فکر کردم ، چرا با این موضوع موافقت کردم؟"؛ ما' ؛ قصد نداریم روی سخت افزار سرمایه گذاری کنیم ،&نقل قول کرد ، او تفکر را به یاد آورد."؛ این' احمقانه است."؛
اندرو فلدمن ، بنیانگذار Cerebras ، با پوشش اسلاید روی اسلاید تیمش شروع کرد و توجه ویشریا' را به خود جلب کرد: استعداد او چشمگیر بود. فلدمن سپس دو نوع تراشه رایانه را مقایسه کرد. ابتدا ، واحدهای پردازش گرافیکی یا Gpus - تراشه هایی را دید که مخصوص ایجاد تصاویر سه بعدی طراحی شده بودند. امروزه سیستم های یادگیری ماشین [39]&به دلایل مختلف به این تراشه های گرافیکی متکی هستند. در مرحله بعد ، او واحدهای پردازشی مرکزی یا cpus را بررسی کرد ، تراشه های چند منظوره که بیشتر کارها را در یک رایانه معمولی انجام می دهند."؛ اسلاید سوم درباره' ؛ Gpus ،' ؛ که در واقع برای یادگیری عمیق مضر است - آنها صد بار بهتر از cpus هستند."؛ Cerebras نوع جدیدی از تراشه ها را ارائه کرده است که نه برای گرافیک بلکه به طور خاص برای هوش مصنوعی طراحی شده است.
Vishria برای شنیدن صدای شرکت هایی که قصد دارند از یادگیری عمیق در امنیت سایبری ، تصویربرداری پزشکی ، چت بات ها و سایر برنامه ها استفاده کنند استفاده می شود. پس از صحبت های سربراس&در شماره 39 ، او با مهندسان شرکت هایی که توسط Benchmark تأمین مالی شده اند ، از جمله Zillow ، Uber و Stitch Fix صحبت کرد. آنها به او گفتند که با هوش مصنوعی مشکل دارند زیرا"؛ train"؛ شبکه عصبی گوگل استفاده از واحدهای پردازش تانسور فوق سریع&را آغاز کرده است ،"؛ یا Tpus ، تراشه های مخصوص طراحی شده برای هوش مصنوعی. ویشریا می دانست که یک عجله طلا در جریان است و کسی مجبور است چادرها و بیل ها را بسازد.
در آن سال ، Benchmark و Foundation Capital ، یکی دیگر از شرکت های سرمایه گذاری خطرپذیر ، 27 میلیون دلار بودجه برای Cerebras هدایت کردند که نزدیک به 500 میلیون دلار را جمع آوری کرده است. شرکت های دیگر نیز به اصطلاح شتاب دهنده های هوش مصنوعی می سازند. Cerebras'؛ رقبای groq ، Graphcore و Sambanova بیش از 2 میلیارد دلار سرمایه بین آنها جمع آوری کردند. اما Cerebras'؛ رویکرد منحصر به فرد است به جای چاپ ده ها ویفر روی یک قطعه بزرگ سیلیکون ، قطع و اتصال آنها به یکدیگر ، این شرکت یک غول"؛ سطح ویفر"؛ تراشه در حالی که یک تراشه رایانه ای معمولی به اندازه یک ناخن انگشت است ، Cerebras به اندازه یک بشقاب غذاخوری است و بزرگترین تراشه رایانه ای در جهان است.
حتی رقبا این موفقیت را چشمگیر دانستند."؛ این علم جدید است ،"؛ نایجل تون ، مدیر اجرایی و بنیانگذار Graphcore' ، به من گفت."؛ این' ؛ یک قطعه مهندسی باور نکردنی است. این' ؛ یک شاهکار است."؛ در همین حال ، مهندس دیگری که با او صحبت کردم ، آن را به عنوان یک پروژه علمی توصیف کرد - بزرگ به خاطر' بزرگ. در گذشته ، این شرکت تلاش کرده و موفق به تولید تراشه های غول پیکر نشده است. Cerebras'؛ این طرح شرط بندی می کند که غلبه بر چالش های مهندسی امکان پذیر است و ارزش آن را دارد."؛ صادقانه بگویم ، برای من نادانی یک مزیت است ،"؛ ویشریا گفت."؛ من' ؛ نمی دانم اگر می دانستم انجام کاری که آنها انجام می دهند چقدر سخت است ، جرات سرمایه گذاری را دارم."؛
به راحتی می توان این امر را بدیهی تصور کرد که رایانه ها سریعتر و سریعتر کار می کنند. این موضوع اغلب توسط قانون مور [39] GG توضیح داده می شود: الگویی که در سال 1965 توسط پیشگام نیمه هادی گوردون مور ایجاد شد و بر اساس آن تعداد ترانزیستورها روی تراشه هر سال یا هر دو سال دو برابر می شود. البته ، قانون مور [39] GG در واقع یک قانون نیست و مهندسان خستگی ناپذیر برای کوچک کردن ترانزیستورها کار می کنند و در عین حال معماری"؛ هر تراشه برای ایجاد طرح های کارآمدتر و قدرتمندتر.
معماران تراشه مدتهاست می پرسند که آیا یک تراشه رایانه ای در مقیاس بزرگ می تواند کارآمدتر از یک سری تراشه های کوچکتر باشد ، همانطور که شهری با منابع متمرکز و بلوک های متراکم کارآمدتر از حومه شهر است. این ایده برای اولین بار در دهه 1960 آزمایش شد ، زمانی که Texas Instruments تولید چیپس به عرض چند اینچ را محدود کرد. اما مهندسان شرکت' با مشکلات عملکردی مواجه شدند. در هر ویفر سیلیکونی ، نقص های تولید ناگزیر تعدادی از مدارها را به خطر می اندازد. اگر ویفر حاوی 50 چیپس باشد ، شرکت می تواند چیپس های بد را دور بیندازد و چیپس های خوب را بفروشد. اما اگر هر تراشه موفق به مدار کار یک ویفر بستگی داشت ، بسیاری از ویفرهای گران قیمت دور ریخته می شد. Texas Instruments یک راه حل پیدا کرد ، اما فناوری و نیاز هنوز' وجود نداشت.
در دهه 1980 ، مهندسی به نام Gene Amdahl مجدداً سعی کرد مشکل را با شرکتی که تاسیس کرده بود به نام Trilogy Systems حل کند. این شرکت با حدود 250 میلیون دلار بودجه به بزرگترین استارتاپ تاریخ سیلیکون ولی [39] تبدیل شد. برای حل مشکل عملکرد ، Trilogy اجزای اضافی را روی تراشه چاپ کرد. این روش تولید را افزایش می دهد اما سرعت تراشه را کاهش می دهد. در همین حال ، سه گانه به طرق دیگر در حال مبارزه است. آمدال با رولز رویس خود یک موتورسوار را زیر گرفت و باعث مشکلات قانونی شد. رئیس آن بر اثر تومور مغزی درگذشت. بارش شدید باران باعث تاخیر در ساخت کارخانه ها ، زنگ زدگی سیستم های تهویه مطبوع و جمع آوری گرد و غبار روی تراشه ها شده است. در سال 1984 ، سه گانه تسلیم شد."؛ من' ؛ نفهمیدم چقدر سخت خواهد بود ،"؛ پسر آمدال' به تایمز گفت.
اگر فناوری Trilogy' موفق باشد ، اکنون می توان از آن برای یادگیری عمیق استفاده کرد. در عوض ، Gpus (تراشه های مورد استفاده در بازی های ویدئویی) مشکلات علمی را در آزمایشگاه های ملی حل می کند. استفاده مجدد از gpus برای هوش مصنوعی بستگی به این دارد که شبکه های عصبی در عین پیچیدگی زیاد ، به ضرب و افزودن زیادی متکی هستند. وقتی"؛ نورونها"؛ در شبکه که یکدیگر را آتش می زنند ، سیگنال های یکدیگر را تقویت یا کاهش می دهند ، و آنها را در ضرایبی به نام وزن اتصال ضرب می کنند. پردازنده AI کارآمد بسیاری از فعالسازی ها را به طور موازی محاسبه می کند. این آنها را در مجموعه ای از اعداد به نام بردار یا شبکه ای از اعداد به نام ماتریس یا بلوک هایی با ابعاد بالاتر به نام تنسور ترکیب می کند. در حالت ایده آل ، می خواهید یک ماتریس یا تنسور را در یک زمان ضرب کنید. Gpus برای انجام کاری مشابه طراحی شده است:
& quot؛ سایه سه گانه بسیار بزرگ است ،"؛ فلدمن اخیراً به من گفت ،&که مردم دیگر فکر نمی کنند و می گویند ،' ؛ این' غیر ممکن است.' ؛"؛ شرکت های GPU ، از جمله Nvidia ، از فرصت برای سفارشی کردن تراشه های خود برای یادگیری عمیق استفاده کردند. در سال 2015 ، فلدمن و گروهی از معماران رایانه پس از بنیان گذاری سازنده سرور رایانه ای ، Seamicro ، در مورد ایده تراشه های بزرگتر بحث کردند و آنها را به قیمت 334 میلیون دلار به سازنده تراشه AMD فروختند. آنها به مدت چهار ماه در دفتری که از یک شرکت سرمایه گذاری وام گرفته شده بود روی این موضوع کار کردند. هنگامی که آنها یک طرح کلی از یک راه حل مناسب داشتند ، با هشت شرکت صحبت کردند. از Benchmark ، Foundation Capital و Eclipse کمک مالی دریافت کرده و شروع به استخدام کرد.
Cerebras'؛ اولین کار حل مشکلات تولیدی است که تراشه های بزرگ را دچار مشکل کرده است. این تراشه در اصل شمش استوانه ای از سیلیکون کریستالی به قطر یک فوت بود و شمش فولادی به ویفرهایی با ضخامت کمتر از یک میلی متر بریده شد. سپس مدار" ؛ چاپ" ؛ بر روی ویفر از طریق فرآیندی به نام لیتوگرافی. مواد شیمیایی حساس به اشعه ماوراء بنفش با دقت روی سطح رسوب می کنند و سپس یک پرتو از اشعه ماوراء بنفش از طریق یک الگوی دقیق به نام ماسک پرتاب می شود. این مواد شیمیایی به شکل مدار واکنش نشان می دهند.
به طور معمول ، ناحیه ای که از طریق ماسک تحت تابش نور قرار می گیرد تبدیل به یک تراشه می شود. سپس تراشه حرکت می کند و نور دوباره پرتاب می شود. پس از چاپ ده ها یا صدها تراشه ، از ویفر با لیزر بریده می شود."؛ ساده ترین راه برای این کار این است که مادر شما یک خمیر بیسکویت گرد بیرون بیاورد ،"؛ فلدمن گفت."؛ او یک قالب کوکی دارد و کوکی ها را با دقت برش می دهد."؛ قوانین فیزیک و اپتیک ساخت یک دستگاه برش کوکی بزرگتر را غیرممکن می کند. در نتیجه ،&؛ ما فناوری را توسعه دادیم تا بتوانید از طریق خمیر کمی بین دو کوکی ارتباط برقرار کنید."؛
در سیستم چاپ Cerebras با همکاری TSMC ، شرکتی که تراشه را تولید می کند ، لبه های کوکی ها همپوشانی دارند و سیم های آنها به هم متصل می شوند. نتیجه یک" ؛ اندازه ویفر" است ؛ ویفر ، مربع رنگ مسی و 21 سانتی متر در هر طرف. (قطر بزرگترین Gpus کمی کمتر از 3 سانتی متر است.) Cerebras اولین تراشه خود را با نام Wafer-scale Engine 1 در سال 2019 تولید کرد. Wse-2 که امسال معرفی شد از یک مدار متراکم تر استفاده می کند و 2.6 تریلیون ترانزیستور در 850.000 واحد پردازشی بسته بندی شده است. ، یا"؛ هسته" ؛. (Top Gpus تنها چند هزار هسته دارد ، در حالی که اکثر پردازنده های cpus کمتر از 10 هسته دارند.)
& quot؛ 2.6 تریلیون ترانزیستور حیرت انگیز است ،"؛ آرت د گیوس ، رئیس و مدیرعامل شرکت سینوپسیس گفت: Synopsys نرم افزاری را ارائه می دهد که Cerebras و سایر تولیدکنندگان تراشه برای ساخت و اعتبار طرح تراشه های خود استفاده می کنند. De Geus می گوید هنگام طراحی تراشه ها ، مهندسان ابتدا باید دو س coreال اصلی را در نظر بگیرند:"؛ داده ها از کجا می آیند؟"؛ کجا رسیدگی می شود؟"؛ وقتی چیپس ساده تر بود ، طراحان می توانستند با مداد روی میز طراحی به این سوالات پاسخ دهند. هنگام کار با تراشه های پیچیده تر امروز [39] ، کدی را وارد کنید که معماری مورد نظر آنها را توصیف می کند ، سپس به ابزارهای تجسم و کدگذاری بروید."؛ در مورد ظاهر خانه از پشت بام فکر کنید ،"؛ د گیوس گفت"؛ آیا گاراژ نزدیک آشپزخانه است؟ یا نزدیک اتاق خواب است؟ شما آن را نزدیک آشپزخانه می خواهید - در غیر این صورت ، شما' ؛ باید مواد غذایی را در هر گوشه خانه حمل کنید."؛ او توضیح داد که پس از طراحی پلان ،&می توانید از معادلات برای توصیف آنچه در اتاق اتفاق می افتد استفاده کنید."؛
پیچیدگی طراحی تراشه ها حیرت انگیز است."؛ در اینجا لایه های زیادی وجود دارد ،"؛ دی گئوس گفت ، با مدارهای متقاطع و لایه بندی شده روی هم ، مانند یک پل هوایی بزرگراه. برای مهندسان سربراس که در مقیاس ویفر کار می کنند ، پیچیدگی افزایش می یابد. Synopsys'؛ نرم افزار به شکل هوش مصنوعی کمک می کند: الگوریتم های تطبیق الگو مشکلات رایج را شناسایی کرده و راه حل هایی را پیشنهاد می کند. برنامه بهینه ساز اتاق را به آرایش سریعتر و کارآمدتر منتقل می کند. اگر تعداد زیادی از خطوط سعی کنند وارد ساختمان دو بلوکی شوند ، این نرم افزار به مهندسان اجازه می دهد تا نقش رابرت موسی را بازی کرده و بلوک را حرکت دهند.
در پایان ، فلدمن می گوید ، مزایای متعددی برای طراحی تراشه های بزرگ وجود دارد. هنگامی که هسته ها روی یک تراشه قرار دارند ، سریعتر ارتباط برقرار می کنند: مغز کامپیوتر' اکنون در جمجمه ای متمرکز شده است ، نه اینکه در یک اتاق پراکنده شود. تراشه های بزرگتر نیز حافظه را بهتر اداره می کنند. به طور معمول ، یک تراشه کوچک آماده برای پردازش یک فایل ابتدا باید فایل را از یک تراشه حافظه مشترک که در جاهای دیگر روی برد مدار قرار دارد ، بدست آورد. فقط بیشترین داده های مورد استفاده در حافظه پنهان نزدیک به خانه ذخیره می شود. در توصیف کارایی چیپس های سطح ویفر ، فلدمن یک قیاس ارائه داد: او از من خواست گروهی از هم اتاقی ها (اصلی) را که در خوابگاه (تراشه) زندگی می کنند تصور کنم که می خواستند یک بازی فوتبال را تماشا کنند (کارهای محاسباتی انجام دهند). فلدمن می گوید ، برای تماشای بازی ، هم اتاقی ها باید آبجو را در یخچال نگهداری کنند (اطلاعات در حافظه ذخیره می شود). سربراس در هر اتاق یخچال نگهداری می کند ، بنابراین هم اتاقی ها مجبور نیستند با رفتن به آشپزخانه عمومی یا Safeway در خوابگاه' ریسک کنند. این مزیت اضافی دارد که به هر هسته اجازه می دهد داده های مختلف را سریعتر پردازش کند."؛ بنابراین من می توانم Bud را در اتاق خواب خود داشته باشم ،"؛ فلدمن گفت."؛ در خوابگاه خود ، می توانید Schlitz داشته باشید."؛
سرانجام ، Cerebras باید بر مشکلات عملکرد غلبه کند. مهندسان شرکت' از ترفند Trilogy' استفاده می کنند: افزونگی. اما در اینجا آنها نسبت به نسخه های قبلی خود برتری دارند. Trilogy سعی می کند تراشه های عمومی با اجزای مختلف بسازد ، بنابراین سیم کشی در اطراف یک جزء خراب ممکن است نیاز به اتصال به یک جایگزین دور داشته باشد. در Cerebras' ؛ تراشه ، همه هسته ها یکسان هستند اگر یک بیسکویت اشتباه باشد ، اطراف آن نیز به همان اندازه خوب است.








