ASUS Ascent GX10: огляд AI-станції для локальних LLM і бізнесу
Для запуску AI-моделей часто використовують хмарні сервіси або сервери. Але що робити, якщо компанія хоче працювати на власному обладнанні й обробляти внутрішні дані локально?
ASUS Ascent GX10 — компактна AI-станція для розробки та запуску моделей штучного інтелекту, яка поміщається на робочому столі.
На ній можна створювати асистентів для роботи з документами, прогнозувати попит або аналізувати зображення. Це спосіб виконувати частину AI-завдань у власному офісі та менше залежати від хмари.
Коротко, що таке ASUS Ascent GX10?
GX10 — спеціалізована настільна AI-станція для розробників, дослідників і команд, що працюють із даними. Вона поєднує обчислювальну платформу NVIDIA Grace Blackwell із програмною екосистемою для AI.
Звичайний ПК обирають для широкого набору повсякденних завдань. Професійну робочу станцію комплектують під певне навантаження, наприклад графіку чи інженерні розрахунки. Серверна інфраструктура потрібна для централізованих сервісів і масштабування. GX10 займає власну нішу: дає команді локальний обчислювальний ресурс, спеціально орієнтований на AI.
Пристрій можна використовувати з монітором, клавіатурою та мишею або налаштувати як обчислювальний вузол із віддаленим доступом. Наприклад, розробник працює зі свого ноутбука, а моделі запускає на GX10 у локальній мережі.
Grace Blackwell і 128 ГБ пам’яті: що це дає моделям
В основі GX10 — NVIDIA GB10 Grace Blackwell Superchip. Він поєднує 20-ядерний центральний ARM-процесор і графічний процесор Blackwell. Перший готує дані та керує завданнями, другий виконує AI-обчислення. Для їх прискорення передбачені Tensor Cores п’ятого покоління — спеціальні обчислювальні блоки.
Заявлена AI-продуктивність — до 1 петафлопс у форматі FP4. Ця цифра стосується певного формату обчислень, тому сама по собі не показує, наскільки швидко відповідатиме ваш AI-асистент. Реальна швидкість залежить від моделі та її налаштувань.
128 ГБ спільної пам’яті: чому це важливо для AI
GX10 має 128 ГБ пам’яті, яку разом використовують центральний і графічний процесори. Це називається unified memory. Процесори працюють зі спільними даними, а зв’язок між ними забезпечує NVIDIA NVLink-C2C.
У звичайному ПК з окремою відеокартою оперативна пам’ять і відеопам’ять розділені. Тому встановлення 128 ГБ оперативної пам’яті не дає відеокарті стільки ж пам’яті для AI-моделей.
У GX10 графічний процесор має доступ до спільного ресурсу пам’яті. Це корисно для запуску великих мовних моделей або роботи з кількома моделями. Водночас частина цих 128 ГБ потрібна для роботи самої системи.
Модифікація ASUS Ascent GX10 GX10-GG0003BN також має SSD на 1 ТБ для зберігання моделей, даних і файлів проєктів. Це окреме сховище: його місткість визначає, скільки файлів можна зберегти, але не збільшує оперативну пам’ять для обчислень.
Локальна LLM: власний асистент для роботи з документами
На GX10 можна створити корпоративного чат-асистента на основі LLM — великої мовної моделі. Він працюватиме на обладнанні компанії. Саме це означає локальний AI.
Наприклад, працівник запитує, як оформити відпустку. Система знаходить потрібні фрагменти у внутрішніх інструкціях, а модель на їх основі формує відповідь. Такий підхід називається RAG: асистент використовує документи компанії, щоб відповідати на запитання. Якість його відповідей потрібно перевіряти під час тестування.
Для запуску локальних моделей можна використовувати Ollama, а для спілкування з ними через браузер — OpenWebUI.
Інтернет може знадобитися для завантаження моделей і необхідних компонентів. Після налаштування роботу з документами можна організувати без передавання їх зовнішньому AI-сервісу. Водночас захист даних залежить від налаштувань доступу та підключень: сама локальна станція не гарантує повної конфіденційності.
AI для аналізу даних: від історії продажів до прогнозу попиту
GX10 можна використовувати для аналізу даних і роботи з AI-моделями на власному обладнанні. Наприклад, щоб прогнозувати попит на товари або оцінювати ризики.
Торговельна компанія може використати історію продажів, щоб спрогнозувати, які товари та в якій кількості знадобляться надалі. Для цього команда готує дані, навчає нову модель або адаптує готову, а GX10 виконує обчислення.
Коли навчена модель обробляє нові дані й видає прогноз, це називається inference. Точність її роботи перевіряють на даних, які не використовували під час навчання.
Computer Vision: розпізнавання об’єктів і робота з відео
Computer Vision, або комп’ютерний зір, допомагає AI аналізувати зображення та відео. GX10 можна використовувати для систем, які розпізнають об’єкти в кадрі та відстежують їхній рух.
Наприклад, команда може розробляти систему розпізнавання об’єктів на виробництві або навчати модель виявляти пожежі на аерознімках. Точність таких рішень потрібно перевіряти на реальних даних.
GX10 також підтримує роботу з VLM — моделями, які розуміють зображення та мову. Завдяки цьому можна створювати асистентів, які відповідають на запитання про вміст відео.
Залежно від рішення обробка може відбуватися на самому GX10 або частково на віддалених серверах. Коли AI обробляє дані поблизу їхнього джерела, наприклад камер, такий підхід називають edge AI.
Генеративний AI: текст, зображення та персоналізовані асистенти
На GX10 можна запускати AI-моделі для створення текстів і зображень. Наприклад, розробляти власного асистента, який допомагатиме команді готувати текстові чернетки.
Для роботи із зображеннями можна донавчати моделі FLUX на матеріалах компанії, а потім використовувати їх для генерації у ComfyUI. Донавчання, або fine-tuning, допомагає адаптувати готову модель до конкретних завдань.
GX10 виконує необхідні обчислення, а команда налаштовує моделі, розробляє сам сервіс і перевіряє якість результатів.
Розробка AI: навчання, донавчання та запуск моделей
GX10 можна використовувати на різних етапах роботи з AI:
- Training — навчання моделі на даних, зокрема з нуля.
- Fine-tuning — донавчання готової моделі для конкретних завдань.
- Inference — використання навченої моделі для отримання відповідей, прогнозів чи інших результатів.
Наприклад, команда може донавчити модель на власних зображеннях, перевірити її точність і створити тестову версію сервісу. Водночас навчання найбільших LLM з нуля потребує значно більших обчислювальних ресурсів.
Система розрахована на NVIDIA DGX OS на базі Ubuntu Linux та NVIDIA AI Software Stack — набір інструментів для розробки й запуску AI-моделей. Серед них — PyTorch, TensorFlow, Jupyter і TensorRT.
Модифікація GX10-GG0003BN постачається без встановленої ОС, тому операційну систему й потрібні інструменти необхідно встановити та налаштувати перед роботою.
Через NVIDIA Sync можна підключатися до GX10 у локальній мережі зі свого комп’ютера. Так станція може стати спільним інструментом для команди.
Чим GX10 відрізняється від потужного ПК
Потужний ПК також може запускати AI-моделі. GX10 спеціально створений для таких завдань: його центральний і графічний процесори використовують спільну пам’ять, а для роботи з моделями передбачені AI-інструменти NVIDIA.
Усе це розміщено в корпусі 150 × 150 × 51 мм. Тепло відводять два вентилятори та теплові трубки. Вентилятори мають сім рівнів швидкості для різного навантаження.
Для передавання даних у сумісній локальній мережі є Ethernet 10 Гбіт/с. Через ConnectX-7 можна об’єднати два GX10 для спільної роботи над AI-завданнями.
Обирати таку станцію варто під конкретний AI-проєкт. Для браузера, Office, ігор чи звичайної домашньої роботи її спеціалізація сама по собі не дає переваг.
Чим настільна AI-станція відрізняється від AI-сервера
GX10 можна поставити в офісі чи лабораторії та використовувати для роботи з AI. Окрема серверна кімната не потрібна, а команда отримує власне обладнання для розробки й експериментів.
Сервери залишаються потрібними, коли розмір моделей, кількість завдань або масштаб навчання перевищують можливості GX10. Тому станція може працювати самостійно або доповнювати серверні та хмарні ресурси.
Наприклад, команда створює на GX10 тестову версію AI-сервісу й перевіряє роботу моделі, а для масштабнішого навчання використовує сервер із потрібною потужністю.
Два GX10 разом: більше пам’яті для AI-моделей
Два ASUS Ascent GX10 можна з’єднати через NVIDIA ConnectX-7. Разом вони матимуть 256 ГБ пам’яті для роботи з більшими моделями. Щоб використовувати обидві станції для одного завдання, потрібно відповідно налаштувати програмне забезпечення.
ConnectX-7 забезпечує зв’язок між станціями, а NVLink-C2C — між центральним і графічним процесорами всередині кожної з них.
Таке об’єднання дає більше пам’яті, але не гарантує подвоєння швидкості обчислень. Для підключення потрібен QSFP-кабель, який продається окремо.
Кому ця AI-станція потрібна найбільше
ASUS Ascent GX10 варто розглядати тим, хто регулярно працює з AI на власному обладнанні:
- Розробникам AI та аналітикам даних — для запуску й тестування моделей.
- Університетським і корпоративним AI-лабораторіям — для дослідження, тестування та донавчання моделей штучного інтелекту.
- Компаніям різного розміру — для створення внутрішніх асистентів, аналізу даних та розробки AI-сервісів.
- Командам, які працюють із чутливими даними — для організації їх обробки всередині компанії.
- Розробникам систем аналізу відео — для локальної обробки відео з камер: розпізнавання об’єктів і відстеження їхнього руху, зокрема на виробництві.
Якщо ви лише час від часу користуєтеся готовим онлайн-асистентом, окрема AI-станція може бути зайвою. Перед купівлею варто визначити, які саме моделі та завдання ви хочете запускати локально.
Висновок: AI на власному обладнанні
ASUS Ascent GX10 дає команді власну станцію для роботи з AI. На ній можна створювати асистентів, аналізувати дані, донавчати моделі та тестувати нові сервіси.
Така система має сенс, коли є конкретні завдання, які потрібно регулярно виконувати локально. Її головна користь — можливість перенести частину AI-роботи на власне обладнання й менше залежати від хмарних сервісів або віддалених серверів.