AI Playbooks for MSI XpertStation WS300

ตั้ง LLM server แบบ OpenAI-compatible API ที่ throughput สูง (PagedAttention + Continuous batching) — พื้นฐานของแทบทุก use case: Chatbot, RAG, Agent

1. ตั้งค่าตัวแปร
   bash · บน WS300Copy

   export HF_TOKEN="hf_xxx"
   export MODEL_HANDLE="nvidia/Qwen3-235B-A22B-NVFP4"   # หรือรุ่นอื่นจากตาราง
   export MAX_MODEL_LEN=8192

2. ดึง container (NGC)
   bashCopy

   docker pull nvcr.io/nvidia/vllm:26.01-py3

3. Start server (Base configuration)
   bashCopy

   docker run -d --name vllm-server \
     --gpus all --ipc host \
     --ulimit memlock=-1 --ulimit stack=67108864 \
     -p 8000:8000 \
     -e HF_TOKEN="$HF_TOKEN" \
     -v "$HOME/.cache/huggingface/hub:/root/.cache/huggingface/hub" \
     nvcr.io/nvidia/vllm:26.01-py3 \
     vllm serve "$MODEL_HANDLE" \
       --max-model-len $MAX_MODEL_LEN \
       --gpu-memory-utilization 0.9
   
   docker logs -f vllm-server     # รอ "Application startup complete."

4. ทดสอบ API
   bashCopy

   curl http://localhost:8000/v1/chat/completions \
     -H "Content-Type: application/json" \
     -d '{"model":"'"$MODEL_HANDLE"'","messages":[{"role":"user","content":"สวัสดี แนะนำตัวหน่อย"}],"max_tokens":256}'

Cleanup: docker stop vllm-server && docker rm vllm-server

ทางเลือกของ vLLM ที่เด่นเรื่อง RadixAttention (reuse KV cache ของ prefix ที่ซ้ำ เช่น multi-turn chat, RAG, agent) และ Structured JSON output

1. ตั้งค่า
   bashCopy

   export SGLANG_IMAGE="lmsysorg/sglang:latest-cu130"
   export MODEL_HANDLE="Qwen/Qwen3-8B"
   export HF_TOKEN=""
   docker pull "$SGLANG_IMAGE"

2. Start server (ค่าที่จำเป็นบน GB300)
   bashCopy

   docker run -d --name sglang-server \
     --gpus all --ipc host --cap-add SYS_NICE \
     --ulimit memlock=-1 --ulimit stack=67108864 \
     -p 30000:30000 -e HF_TOKEN="$HF_TOKEN" \
     -v "$HOME/.cache/huggingface/hub:/root/.cache/huggingface/hub" \
     "$SGLANG_IMAGE" \
     sglang serve --model-path "$MODEL_HANDLE" \
       --host 0.0.0.0 --port 30000 \
       --context-length 8192 --mem-fraction-static 0.85 \
       --attention-backend flashinfer --enable-cache-report
   
   docker logs -f sglang-server

3. ทดสอบ
   bashCopy

   curl http://localhost:30000/v1/chat/completions \
     -H "Content-Type: application/json" \
     -d '{"model":"'"$MODEL_HANDLE"'","messages":[{"role":"user","content":"Explain RAG in 3 bullets"}],"max_tokens":256}'
   
   docker logs sglang-server 2>&1 | grep "cached-token" | tail

Cleanup: docker stop sglang-server && docker rm sglang-server

แปลงโมเดลเป็น NVFP4 (4-bit floating point ของ Blackwell) ลดหน่วยความจำ ~3.5× เทียบ FP16 โดยความแม่นยำใกล้ FP8 (<1% loss โดยทั่วไป)

1. เตรียม
   bashCopy

   mkdir -p ./output_models && chmod 755 ./output_models
   export HF_TOKEN="hf_xxx"
   export GPU_ID=0     # WS300 มี GB300 ตัวเดียว = 0 (ตรวจด้วย nvidia-smi)

2. Quantize (Model Optimizer 0.41.0)
   bashCopy

   docker run --rm -it --gpus "device=$GPU_ID" --ipc=host \
     --ulimit memlock=-1 --ulimit stack=67108864 \
     -v "./output_models:/workspace/output_models" \
     -v "$HOME/.cache/huggingface:/root/.cache/huggingface" \
     -e HF_TOKEN=$HF_TOKEN \
     nvcr.io/nvidia/vllm:25.12.post1-py3 \
     bash -c "
       git clone -b 0.41.0 --single-branch https://github.com/NVIDIA/Model-Optimizer.git /app/Model-Optimizer && \
       cd /app/Model-Optimizer && pip install -e '.[dev]' && \
       export ROOT_SAVE_PATH='/workspace/output_models' && \
       /app/Model-Optimizer/examples/llm_ptq/scripts/huggingface_example.sh \
         --model deepseek-ai/DeepSeek-R1-Distill-Llama-8B --quant nvfp4 --tasks quant"

3. Serve & test
   bashCopy

   export MODEL_PATH="./output_models/saved_models_DeepSeek-R1-Distill-Llama-8B_nvfp4/"
   docker run --rm -it --gpus "device=$GPU_ID" --ipc=host --network host \
     -v "$MODEL_PATH:/workspace/model" \
     nvcr.io/nvidia/vllm:25.12.post1-py3 \
     vllm serve /workspace/model --served-model-name DeepSeek-R1-Distill-Llama-8B-NVFP4 \
       --max-num-seqs 4 --max-model-len 8192 --port 8000

Cleanup: sudo rm -rf ./output_models

ใช้ Claude Code (CLI coding agent) เชื่อมกับโมเดล Qwen3.6 27B ที่รันบน WS300 ผ่าน Ollama — เขียนโค้ดได้โดยข้อมูลไม่ออกนอกเครื่อง

1. ติดตั้ง Ollama และโมเดล
   bashCopy

   curl -fsSL https://ollama.com/install.sh | sh
   ollama --version
   ollama pull qwen3.6:27b
   ollama run qwen3.6:27b      # ทดสอบ แล้วพิมพ์ /bye

2. ติดตั้ง Claude Code
   bashCopy

   curl -fsSL https://claude.ai/install.sh | bash
   claude --version

3. (Optional) เพิ่ม context length
   bashCopy

   sudo systemctl stop ollama
   OLLAMA_CONTEXT_LENGTH=64000 ollama serve     # เปิดค้างไว้ แล้วใช้ terminal ใหม่

4. เริ่มใช้งาน
   bashCopy

   mkdir -p ~/cli-agent-demo && cd ~/cli-agent-demo
   ollama launch claude --model qwen3.6:27b
   # พิมพ์: Please implement add() in math_utils.py and make sure the test passes.

Cleanup: ollama rm qwen3.6:27b && sudo systemctl stop ollama

ติดตั้ง AI Assistant แบบ always-on (OpenClaw) ใน OpenShell sandbox ใช้ inference จาก vLLM บนเครื่อง เข้าใช้ผ่าน Web UI, Terminal หรือ Telegram

1. ตรวจระบบ
   bashCopy

   head -n 2 /etc/os-release
   nvidia-smi
   docker info --format '{{.ServerVersion}}'

2. ติดตั้ง (Express)
   bashCopy

   curl -fsSL https://www.nvidia.com/nemoclaw.sh | bash
   # หรือใช้ DeepSeek-V4-Flash:
   # curl -fsSL https://www.nvidia.com/nemoclaw.sh | bash -s -- --station-deepseek

3. เปิด Web UI จากโน้ตบุ๊ก
   bashCopy

   nemoclaw my-assistant dashboard-url --quiet     # บน WS300
   ssh -L <port>:127.0.0.1:<port> <user>@<ws300-ip>  # บนโน้ตบุ๊ก แล้วเปิด URL

4. Telegram (optional)
   bashCopy

   nemoclaw <sandbox-name> channels add telegram
   nemoclaw <sandbox-name> policy-add telegram

Cleanup: nemoclaw uninstall --yes --delete-models

ห่อ OpenClaw agent ด้วย sandbox ระดับ kernel (filesystem / network / process) ควบคุมด้วย YAML policy และบังคับ inference ไปที่โมเดล local

1. ติดตั้ง OpenShell
   bashCopy

   sudo nvidia-ctk runtime configure --runtime=docker && sudo systemctl restart docker
   curl -LsSf https://raw.githubusercontent.com/NVIDIA/OpenShell/main/install.sh | sh
   source ~/.bashrc
   openshell status          # ต้องเป็น Connected
   sudo loginctl enable-linger $USER

2. สร้าง Provider + Routing
   bashCopy

   export HARDWARE_IP="$(hostname -I | awk '{print $1}')"
   openshell provider create --name local-vllm --type openai \
     --credential OPENAI_API_KEY=not-needed \
     --config OPENAI_BASE_URL="http://${HARDWARE_IP}:8000/v1"
   openshell inference set --provider local-vllm --model <MODEL_HANDLE>

3. สร้าง Sandbox
   bashCopy

   export SANDBOX_NAME=openshell-demo
   openshell sandbox create --keep --tty --forward 18789 \
     --name "$SANDBOX_NAME" --from openclaw -- openclaw-start
   # Wizard: Custom Provider → https://inference.local/v1 → OpenAI-compatible

4. ตรวจ isolation
   bashCopy

   openshell term     # ดู allow / deny ของทุก connection

Cleanup: openshell sandbox delete "$SANDBOX_NAME" && openshell provider delete local-vllm

ระบบ 6 agents (Coordinator + 5 Specialists) วิเคราะห์ข้อมูลผู้ป่วย FHIR หา care gap และทำนายโครงสร้างโปรตีน 3D ด้วย OpenFold3 — ทั้งหมดรันในเครื่องภายใต้ OpenShell sandbox

1. เตรียม assets
   bashCopy

   git clone https://github.com/NVIDIA/dgx-spark-playbooks ~/dgx-spark-playbooks
   cp -r ~/dgx-spark-playbooks/nvidia/station-healthcare-agent/assets ~/clinical-intelligence
   cd ~/clinical-intelligence && cp .env.example .env    # ใส่ NGC_API_KEY
   make ngc-login

2. Start โมเดล
   bashCopy

   sudo systemctl stop ollama 2>/dev/null || true   # ปล่อยพอร์ต 11434
   docker compose up -d ollama openfold3
   docker compose up model-pull
   make status

3. Gateway + Deploy agents
   bashCopy

   nohup openshell-gateway --disable-tls --drivers docker \
     --bind-address 127.0.0.1 --port 17670 > /tmp/openshell-gateway.log 2>&1 &
   openshell gateway add http://127.0.0.1:17670 --name openshell
   make setup && make check && make test

4. เปิด Dashboard
   bashCopy

   ssh -f -N -L 18789:localhost:18789 <user>@<ws300-ip>   # แล้วเปิด http://localhost:18789

Cleanup: openshell sandbox delete clinical-sandbox && make down

ติดตั้ง Agent Skills 4 ชุด + CLI dgx-assist ให้ Claude Code / Codex / Gemini / Cursor ตรวจเครื่องจริงก่อนแนะนำ, ค้นคู่มือ NVIDIA แบบอ้างอิงได้ และขออนุมัติก่อนทุกการเปลี่ยนแปลง

1. ติดตั้ง
   bashCopy

   git clone https://github.com/NVIDIA/dgx-spark-playbooks
   cd dgx-spark-playbooks/nvidia/station-ai-skills
   assets/install.sh install --harness claude --target /path/to/project --dry-run
   assets/install.sh install --harness claude --target /path/to/project

2. ตรวจเครื่อง
   bashCopy

   cd /path/to/project
   .dgx-station/bin/dgx-assist system inspect
   .dgx-station/bin/dgx-assist playbook search "CPU weight offload HBM"

3. สั่งงานผ่าน Agent
   textCopy

   Inspect this DGX Station and explain its compatibility profile and restrictions.

Cleanup: assets/install.sh uninstall --target /path/to/project

ดึงความสัมพันธ์ (subject–predicate–object) จากเอกสารด้วย LLM local เก็บใน Graph DB และสำรวจแบบ 3D บนเว็บ พร้อมถามตอบแบบ Graph-RAG

1. Clone & Start (แนะนำ Neo4j บน WS300)
   bashCopy

   git clone https://github.com/NVIDIA/dgx-spark-playbooks
   cd dgx-spark-playbooks/nvidia/playbook-txt2kg/assets
   ./start.sh --neo4j          # Neo4j + Ollama
   # ./start.sh --vllm         # Neo4j + vLLM (โหลดโมเดล 30+ นาที)

2. โหลดโมเดล
   bashCopy

   docker exec ollama-compose ollama pull llama3.1:8b

3. ใช้งาน
   textCopy

   Web UI       http://<ws300-ip>:3001
   Neo4j        http://<ws300-ip>:7474

Cleanup: ./stop.sh --neo4j

ประมวลผลรีวิวสินค้า Amazon 40 ล้านรายการด้วย BERTopic ที่เร่งด้วย GPU (cuDF + cuML) — โค้ดเดิมไม่ต้องแก้ เพียงโหลด cuml.accel

1. สร้าง environment
   bashCopy

   conda create -n rapids-25.10 -c rapidsai -c conda-forge \
     cudf=25.10 cuml=25.10 python=3.11 'cuda-version=13.0'
   conda activate rapids-25.10
   python -m pip install transformers datasets sentence-transformers \
     umap-learn hdbscan==0.8.40 bertopic matplotlib scikit-learn==1.4.2 datamapplot streamlit
   python -m pip install "dask==2025.9.1" "distributed==2025.9.1"
   python -m pip install torch==2.9.0 torchvision torchaudio --index-url https://download.pytorch.org/whl/cu130

2. ข้อมูลและ notebook
   bashCopy

   git clone https://github.com/NVIDIA/dgx-spark-playbooks
   cd dgx-spark-playbooks/nvidia/station-topic-modeling/assets
   wget https://mcauleylab.ucsd.edu/public_datasets/data/amazon_2023/raw/review_categories/Electronics.jsonl.gz
   conda install -c conda-forge git-lfs && git lfs install && git lfs pull
   jupyter lab                 # เลือก kernel rapids-25.10 แล้ว Run All

Cleanup: conda env remove -n rapids-25.10

Pretrain Llama 3.1 8B ด้วย mixed precision NVFP4 บน GB300 เทียบกับ BF16 — NVIDIA วัดได้เร็วขึ้น 1.68× (5.39 s vs 9.05 s ต่อ step)

1. เข้า container
   bashCopy

   git clone https://github.com/NVIDIA/dgx-spark-playbooks
   cd dgx-spark-playbooks/nvidia/station-nvfp4-pretraining/assets
   export HF_TOKEN=hf_xxx TAG=26.04
   GB300_DEVICE=$(nvidia-smi --query-gpu=index,name --format=csv,noheader | awk -F', ' '/GB300/ {print $1; exit}')
   docker run --rm -it --gpus device=${GB300_DEVICE} --ipc host \
     --ulimit memlock=-1 --ulimit stack=67108864 -e HF_TOKEN="$HF_TOKEN" \
     -v "$HOME/.cache/huggingface:/root/.cache/huggingface" \
     -v "$(pwd):/workdir" -w /workdir --entrypoint bash nvcr.io/nvidia/nemo:${TAG}

2. Train & compare (ใน container)
   bashCopy

   torchrun --nproc_per_node=1 pretrain_llama.py > nvfp4.log 2>&1
   rm -rf nemo_experiments
   torchrun --nproc_per_node=1 pretrain_llama.py --disable-fp4 > bf16.log 2>&1
   grep -E "elapsed time per iteration|MODEL_TFLOP" nvfp4.log bf16.log

Cleanup: rm -rf nemo_experiments/ nvfp4.log bf16.log

Fine-tune โมเดล Vision-Language-Action 3B ของ NVIDIA สำหรับหุ่นยนต์บน benchmark LIBERO Spatial ด้วย batch size 128 บน GPU เดียว

1. Clone & ติดตั้ง
   bashCopy

   git clone --recurse-submodules https://github.com/NVIDIA/Isaac-GR00T
   cd Isaac-GR00T && git checkout n1.6-release && git submodule update --init --recursive
   I_CONFIRM_THIS_IS_NOT_A_LICENSE_VIOLATION=1 bash scripts/deployment/dgpu/install_deps.sh
   source .venv/bin/activate

2. ข้อมูล + โมเดล
   bashCopy

   huggingface-cli download --repo-type dataset IPEC-COMMUNITY/libero_spatial_no_noops_1.0.0_lerobot \
     --local-dir examples/LIBERO/libero_spatial_no_noops_1.0.0_lerobot/
   cp examples/LIBERO/modality.json examples/LIBERO/libero_spatial_no_noops_1.0.0_lerobot/meta/
   huggingface-cli download nvidia/GR00T-N1.6-3B

3. Fine-tune
   bashCopy

   CUDA_VISIBLE_DEVICES=0 python gr00t/experiment/launch_finetune.py \
     --base-model-path nvidia/GR00T-N1.6-3B \
     --dataset-path examples/LIBERO/libero_spatial_no_noops_1.0.0_lerobot/ \
     --embodiment-tag LIBERO_PANDA --num-gpus 1 \
     --output-dir output/libero_spatial_ft --max-steps 2000 --global-batch-size 128

Cleanup: cd .. && rm -rf Isaac-GR00T

Node-based web app สำหรับ Generative AI — สร้างภาพด้วย Z-Image-Turbo / FLUX และวิดีโอด้วย Wan 2.1, HunyuanVideo, NVIDIA Cosmos ทั้งหมดบนเครื่อง

1. A · Image Quick Start (สคริปต์อัตโนมัติ)
   bashCopy

   curl -fsSL "https://raw.githubusercontent.com/NVIDIA/dgx-spark-playbooks/refs/heads/main/nvidia/playbook-comfyui/assets/setup.sh" | bash
   curl -fsSL "https://raw.githubusercontent.com/NVIDIA/dgx-spark-playbooks/refs/heads/main/nvidia/playbook-comfyui/assets/launch.sh" | bash
   # เปิด http://<ws300-ip>:8188 → Templates → Image → Z-Image-Turbo → Run

2. B · Video Workflow (container)
   bashCopy

   export HF_TOKEN=hf_xxx
   git clone https://github.com/NVIDIA/dgx-spark-playbooks
   cd dgx-spark-playbooks/nvidia/playbook-comfyui
   docker build -t comfyui -f assets/Dockerfile .
   bash assets/scripts/download-models.sh 1        # Tier 1: FLUX + Wan 2.1 (~70 GB)
   docker run -d --name comfyui --gpus all --ipc host --ulimit memlock=-1 -p 8188:8188 \
     -v "$(pwd)/models:/opt/ComfyUI/models" -v "$(pwd)/output:/opt/ComfyUI/output" \
     -v "$(pwd)/input:/opt/ComfyUI/input" \
     -v "$(pwd)/assets/workflows:/opt/ComfyUI/user/default/workflows" \
     -v "$HOME/.cache/huggingface:/root/.cache/huggingface" comfyui

Cleanup: docker stop comfyui && docker rm comfyui

ลงทะเบียน WS300 เป็น GPU environment ใน NVIDIA Brev เพื่อเข้าใช้จากระยะไกลและแชร์สิทธิ์ให้ทีมผ่าน Web UI / CLI

1. ลงทะเบียน
   textCopy

   1. เข้า https://brev.nvidia.com → Register Compute
   2. ติดตั้ง Brev CLI ตาม pop-up · ตั้งชื่อเครื่อง · เปิด "Enable SSH access"
   3. รันคำสั่ง registration บน WS300 แล้วทำตาม flow จนจบ
   4. ตรวจที่ Registered Compute → สถานะ Connected

Cleanup: brev deregister

ต่อ WS300 สองเครื่องตรงด้วย QSFP112 สองเส้น (ConnectX-8, 400 Gb/s RoCEv2 ต่อ rail) เพื่อรวมหน่วยความจำและพลังประมวลผลสำหรับงาน distributed (NCCL, vLLM, Ray)

1. เตรียม (บน control host)
   bashCopy

   git clone https://github.com/NVIDIA/dgx-spark-playbooks
   cd dgx-spark-playbooks/nvidia/station-connect-two-stations/assets
   cp 00_env.local.example 00_env.local    # แก้ CX8_A_HOST, CX8_B_HOST, CX8_OS_USER

2. ต่อสาย (ห้ามไขว้)
   textCopy

   WS300-A QSFP0  <---->  WS300-B QSFP0
   WS300-A QSFP1  <---->  WS300-B QSFP1

3. รันสคริปต์ตามลำดับ
   bashCopy

   ./01_probe_access.sh
   ./02_push_assets.sh
   ./03_prereq_check.sh
   ./04_check_cable_presence.sh
   ./05_configure_rails_runtime.sh        # เพิ่ม --persist ถ้าต้องการให้คงหลัง reboot
   ./06_configure_roce_gdr_runtime.sh
   ./07_validate_setup.sh
   ./08_run_perftest_pair.sh --rail 0 --gdr

Cleanup: ./99_cleanup_runtime.sh --remove-persist