Name: ลงมือป้องกัน: Guardrails, AI-SPM, Red-teaming เชิงป้องกัน และ AI สำหรับ Blue-team · หลักสูตร AI Security อย่างมืออาชีพ
Author: จักริน นพรุจนธาดา

2.1

โมดูล 2.1

Guardrails แบบ Open-source: NeMo Guardrails และ Purple Llama

สร้างด่านคอยกรองทั้งข้อความที่เราพิมพ์เข้าไป (input) และคำตอบที่ AI ตอบกลับ (output) ด้วยเครื่องมือฟรีที่ติดตั้งบนเครื่องเราเองได้ (self-hostable)

👋 สำหรับผู้เริ่มต้น — อ่านตรงนี้ก่อน

💡

เปรียบง่าย ๆ: เหมือนติดตั้งเครื่องกรองน้ำที่บ้าน แต่เป็นเครื่องกรองที่คุณประกอบเองได้ ตั้งไว้ทั้งขาน้ำเข้าและน้ำออก คอยกรองสิ่งไม่ดีก่อนถึงมือผู้ใช้

🎯

ทำไมต้องรู้: ทำให้คุณคุมความปลอดภัยของ AI ได้เองบนเครื่องตัวเอง ไม่ต้องส่งข้อมูลออกไปข้างนอกและไม่ต้องจ่ายค่าบริการรายเดือน เหมาะกับงานที่ข้อมูลลับห้ามหลุด

🎯 สิ่งที่คุณจะทำได้หลังเรียนโมดูลนี้

ติดตั้งและออกแบบด่านกันภัย (guardrails) ด้วย NVIDIA NeMo Guardrails (เขียนกฎด้วยภาษา Colang DSL) และโมเดลตรวจความปลอดภัยของเนื้อหา (content-safety models)
ใช้ชุดเครื่องมือ Meta Purple Llama ได้แก่ Llama Guard, Prompt Guard/Prompt Guard 2 และ LlamaFirewall
ชั่งน้ำหนักข้อดีข้อเสียเรื่องความเร็วในการตอบ (latency) กับพลังประมวลผลที่ต้องใช้ (compute) เช่น Prompt Guard 2 รุ่น 22M กินทรัพยากรน้อยลงราว ~75% เทียบกับรุ่น 86M

เนื้อหา

โมดูลนี้เราจะลงมือจริงกับด่านกันภัย (guardrails) แบบเปิดให้ใช้ฟรีและติดตั้งบนเครื่องเราเองได้ (open-source/self-hostable) ตัวแรกคือ NVIDIA NeMo Guardrails ซึ่งเป็นชุดเครื่องมือ (toolkit) ที่เราเขียนกฎเองได้ (programmable) ผ่านภาษา Colang DSL และเชื่อมกับโมเดลตรวจความปลอดภัยของเนื้อหา (content-safety models) เช่น Llama 3.1 NemoGuard 8B และ Llama Guard พร้อมระบบตรวจจับข้อมูลส่วนตัว (PII detection) ทางฝั่ง Meta Purple Llama ก็มีหลายตัว ได้แก่ Llama Guard (ตัวจำแนกความปลอดภัยของทั้ง input และ output), Prompt Guard และ Prompt Guard 2 (สองรุ่น ขนาด 22M กับ 86M พารามิเตอร์ ไว้คอยจับความพยายามหลอกให้ AI แหกกฎ (jailbreak) หรือแอบยัดคำสั่ง (injection) โดยรุ่น 22M กินทรัพยากรและตอบเร็วขึ้นราว 75% เทียบกับรุ่น 86M) และ LlamaFirewall (ตัวประสานงานด่านกันภัยแบบ open-source สำหรับ AI ที่ทำงานแทนเราได้เอง (agent)) นอกจากนี้ยังมีเครื่องมืออื่นอีก เช่น LLM Guard, Rebuff, Vigil ที่ไว้สแกนข้อความเข้าออกและดักการแอบยัดคำสั่ง รวมถึง IBM Granite Guardian, Invariant Labs และ WhyLabs LangKit

📖 คำศัพท์ในโมดูลนี้ (อธิบายง่าย ๆ)

Guardrailsรั้วหรือกำแพงป้องกันที่คอยกันไม่ให้ AI พูดหรือทำสิ่งที่ไม่ควร เหมือนราวกันตกข้างถนน

Open-source / self-hostableซอฟต์แวร์ที่เปิดให้ใช้ฟรีและติดตั้งบนเครื่องของเราเองได้ ไม่ต้องพึ่งเซิร์ฟเวอร์คนอื่น

input / outputinput คือข้อความที่ผู้ใช้พิมพ์เข้าไป output คือคำตอบที่ AI ตอบกลับออกมา

Colang DSLภาษาสั่งงานแบบง่ายเฉพาะทางของ NeMo ไว้เขียนกฎว่า AI ควรทำหรือไม่ควรทำอะไร

PII detectionระบบตรวจจับข้อมูลส่วนตัว เช่น เลขบัตรประชาชน เบอร์โทร เพื่อไม่ให้หลุดออกไป

🧪 ตัวอย่างจริง + ผลลัพธ์ที่ได้

ออกแบบ flow guardrail ด้วย NeMo

อยากให้บอทปฏิเสธคำถามนอกขอบเขต (เช่น การเงินส่วนตัว) และกรอง PII ออกจากคำตอบ ควรวาง guardrail อย่างไรด้วย NeMo Guardrails และ Purple Llama

✅ ผลลัพธ์ที่ได้

ให้วางหลายชั้นซ้อนกัน (layered) แบบนี้: (1) ใช้ NeMo Guardrails เขียนกฎด้วย Colang ให้คอยดูว่าคำถามที่ผู้ใช้พิมพ์เข้ามาเป็นเรื่องอะไร แล้วปฏิเสธหัวข้อที่อยู่นอกขอบเขต (2) ใช้ Llama Guard เป็นตัวคัดกรองความปลอดภัยทั้งขาเข้าและขาออก (3) ใช้ Prompt Guard 2 คอยจับความพยายามหลอกให้ AI แหกกฎหรือแอบยัดคำสั่ง โดยเลือกรุ่น 22M ถ้าอยากให้ตอบไว (4) เปิดระบบตรวจจับข้อมูลส่วนตัว (PII detection) บนคำตอบก่อนส่งถึงมือผู้ใช้

💡 จุดสอน

ด่านกันภัยควรวางหลายชั้น (ทั้งขาเข้า ขาออก และตัวกฎเอง) เพราะถ้ามีตัวคัดกรองแค่ตัวเดียว คนร้ายก็อาจหาทางหลบเลี่ยงได้ ส่วนการเลือกขนาดโมเดลก็คือการชั่งน้ำหนักกันระหว่างความแม่นยำกับความเร็ว/พลังประมวลผลที่ต้องใช้

แบบฝึกหัดท้ายโมดูล

ลองเขียนขั้นตอนการทำงาน (flow) เชิงตรรกะแบบ pseudocode หรือสไตล์ Colang สำหรับ NeMo Guardrails ที่ปฏิเสธหัวข้อต้องห้ามและกรองข้อมูลส่วนตัว (PII) ออก
เปรียบเทียบว่าเมื่อไหร่ควรเลือก Prompt Guard 2 รุ่น 22M กับเมื่อไหร่ควรเลือกรุ่น 86M โดยดูจากความเร็วในการตอบ พลังประมวลผลที่ต้องใช้ และความแม่นยำ

2.2

โมดูล 2.2

Guardrails เชิงพาณิชย์และ managed API

ใช้บริการด่านกันภัย (guardrail) แบบมีคนดูแลให้ (managed) สำหรับระบบใช้งานจริง (production) ที่ต้องตอบไว (low-latency) และรองรับหลายภาษา (multilingual)

👋 สำหรับผู้เริ่มต้น — อ่านตรงนี้ก่อน

💡

เปรียบง่าย ๆ: เหมือนจ้างบริษัทรักษาความปลอดภัยมืออาชีพมาเฝ้าหน้าประตูแทนที่จะตั้งยามเอง เขามีคนคอยดูแลอัปเดตให้ตลอด แค่จ่ายเงินแล้วต่อสายใช้งานได้เลย

🎯

ทำไมต้องรู้: เหมาะกับระบบที่ใช้งานจริงและมีคนใช้เยอะ เพราะตอบไว รองรับหลายภาษา และมีทีมงานคอยดูแลให้ ไม่ต้องมานั่งดูแลระบบเองทุกวัน

🎯 สิ่งที่คุณจะทำได้หลังเรียนโมดูลนี้

ประเมินและใช้ Lakera Guard (บริษัทในเครือ Check Point) และรู้จักชุดทดสอบวัดผล PINT injection benchmark
ใช้ Microsoft Azure AI Content Safety รวมถึงฟีเจอร์ Prompt Shields
เปรียบเทียบแพลตฟอร์มระดับองค์กร (enterprise) เช่น Prompt Security, Aurascape, Lasso Security

เนื้อหา

สำหรับองค์กรที่อยากได้ด่านกันภัยแบบมีคนดูแลให้ (managed) โมดูลนี้รวมตัวเลือกที่ใช้งานได้จริงไว้ให้ครบ เริ่มจาก Lakera Guard (ตอนนี้เป็นบริษัทในเครือ Check Point) ซึ่งเป็นบริการด่านกันภัยแบบเรียกใช้ผ่านการเชื่อมต่อ (API) ที่เน้นตอบไว รองรับหลายภาษา คอยกันการแอบยัดคำสั่ง (prompt-injection) ดักข้อมูลส่วนตัว (PII) และเนื้อหาไม่เหมาะสม อีกทั้งยังปล่อยชุดทดสอบวัดผล PINT injection benchmark ออกมาให้ใช้ ต่อมาคือ Microsoft Azure AI Content Safety พร้อมฟีเจอร์ Prompt Shields ที่ช่วยจับความพยายามหลอกให้ AI แหกกฎ (jailbreak) และการแอบฝังคำสั่งในเอกสาร (document-injection) แบบมีคนดูแลให้ นอกจากนี้ยังมีแพลตฟอร์มระดับองค์กรที่ไว้คอยกำกับการรับส่งข้อความของ LLM เช่น Prompt Security, Aurascape, Lasso Security ในโมดูลนี้ผู้เรียนจะได้ประเมินว่าเมื่อไหร่ควรเลือกแบบมีคนดูแลให้ กับเมื่อไหร่ควรติดตั้งดูแลเอง (self-hosted) โดยดูจากความเร็ว ภาษาที่รองรับ การทำตามข้อกำหนดกฎหมาย และภาระในการดูแลระบบ (operational overhead)

📖 คำศัพท์ในโมดูลนี้ (อธิบายง่าย ๆ)

managed APIบริการสำเร็จรูปที่มีคนดูแลให้ เราแค่เรียกใช้ผ่านการเชื่อมต่อ ไม่ต้องติดตั้งหรือดูแลเครื่องเอง

productionระบบที่เปิดใช้งานจริงกับผู้ใช้ทั่วไปแล้ว ไม่ใช่แค่ทดลองในห้องทดสอบ

low-latencyตอบสนองเร็ว หน่วงน้อย ผู้ใช้แทบไม่ต้องรอ

multilingualรองรับได้หลายภาษา ไม่ใช่แค่ภาษาอังกฤษ

prompt-injectionการหลอก AI ด้วยข้อความแฝงคำสั่ง เพื่อให้มันทำสิ่งที่ไม่ควร เหมือนมีคนกระซิบสั่งลูกน้องเราลับหลัง

🧪 ตัวอย่างจริง + ผลลัพธ์ที่ได้

เลือก guardrail approach ตามบริบท

แอปของเราให้บริการลูกค้าไทยและอังกฤษ ต้องการ latency ต่ำและไม่มีทีมดูแล ML เอง ควรเลือก guardrail แบบใด

✅ ผลลัพธ์ที่ได้

แบบนี้เหมาะกับด่านกันภัยแบบมีคนดูแลให้ เช่น Lakera Guard ที่ออกแบบมาให้ตอบไวและรองรับหลายภาษา ช่วยลดภาระการดูแลระบบเพราะเราไม่ต้องติดตั้งดูแลเอง แนะนำให้ทดสอบด้วยชุดวัดผลอย่าง PINT สำหรับเรื่องการแอบยัดคำสั่ง และลองจับเวลาตอบจริงกับข้อความภาษาไทยดู ทั้งนี้ก็ควรมีการตรวจทานคำตอบ (output validation) ฝั่งแอปเราเองเป็นอีกชั้นเสริมด้วย อย่าฝากความปลอดภัยไว้ที่ด่านเดียว

💡 จุดสอน

การเลือกแบบมีคนดูแลให้ช่วยลดภาระได้ก็จริง แต่ต้องคิดเรื่องข้อมูลจะไปเก็บที่ไหน (data residency) และกฎหมายคุ้มครองข้อมูลอย่าง PDPA ด้วย และไม่ว่าทางไหนก็ต้องป้องกันแบบหลายชั้นซ้อนกัน (defense-in-depth) เสมอ

แบบฝึกหัดท้ายโมดูล

ทำตารางเปรียบเทียบแบบติดตั้งเอง (self-hosted อย่าง NeMo/Purple Llama) กับแบบมีคนดูแลให้ (managed อย่าง Lakera Guard/Azure AI Content Safety) โดยดูจากความเร็วในการตอบ ภาษาที่รองรับ ต้นทุนการดูแล และเรื่องข้อมูลจะไปเก็บที่ไหน
อธิบายว่า PINT benchmark ใช้วัดอะไร และทำไมการมีชุดวัดผลแบบนี้ถึงสำคัญกับการเลือกด่านกันภัย

2.3

โมดูล 2.3

AI Security Posture Management (AI-SPM) และ ML Supply-chain Tools

ทำบัญชีรายการสินทรัพย์ AI (inventory) ดูภาพรวมความปลอดภัย (posture) และสแกนตรวจโมเดล (model scanning) ด้วยแพลตฟอร์มจริงปี 2025

👋 สำหรับผู้เริ่มต้น — อ่านตรงนี้ก่อน

💡

เปรียบง่าย ๆ: เหมือนการตรวจสุขภาพประจำปีให้กับระบบ AI ทั้งบริษัท คอยเช็กว่ามีอะไรบ้าง แต่ละตัวแข็งแรงปลอดภัยไหม และมีของแปลกปลอมแอบแฝงมาหรือเปล่า

🎯

ทำไมต้องรู้: ช่วยให้รู้ว่าองค์กรมี AI อยู่กี่ตัวและตัวไหนเสี่ยง ก่อนที่ปัญหาจะบานปลาย เหมือนรู้ว่ามีรอยรั่วตรงไหนก่อนน้ำจะท่วมบ้าน

🎯 สิ่งที่คุณจะทำได้หลังเรียนโมดูลนี้

อธิบายได้ว่า AI-SPM มีหน้าที่อะไรในการทำบัญชีรายการสินทรัพย์ AI และดูแลภาพรวมความปลอดภัย (posture management)
รู้จัก Prisma AIRS (Palo Alto/Protect AI), HiddenLayer AISec Platform 2.0, Cisco AI Defense
วางกระบวนการสแกนตรวจโมเดล, สืบสาวที่มาของโมเดล (Model Genealogy), ทำบัญชีส่วนประกอบ AI (AI-BOM) และตั้งจุดตรวจความปลอดภัยในทุกช่วงชีวิตของโมเดล (lifecycle security gates)

เนื้อหา

พูดง่าย ๆ AI-SPM ก็คือการดูแลภาพรวมความปลอดภัยของสินทรัพย์ AI ทั้งองค์กร ว่ามีอะไรบ้างและแต่ละตัวปลอดภัยแค่ไหน โมดูลนี้ยกเครื่องมือจริงมาให้ดู เริ่มจาก Palo Alto Networks Prisma AIRS ที่ต่อยอดมาจากการเข้าซื้อกิจการ Protect AI (ประกาศ 28 เม.ย. 2025 ปิดดีลเสร็จ 22 ก.ค. 2025) จุดเด่นของ Protect AI คือการดูแลความปลอดภัยของห่วงโซ่ที่มาของโมเดล (ML supply chain) และกระบวนการดูแลโมเดล (MLOps) โดยสแกนตรวจโมเดลหาโค้ดอันตราย (malicious code) คอยไล่ตามที่มาของไฟล์แต่ละชิ้น (artifact tracking) และตั้งจุดตรวจความปลอดภัยในทุกช่วงชีวิตของโมเดล ส่วน HiddenLayer ให้ระบบตรวจจับและตอบโต้ภัยของ AI, สแกนตรวจโมเดล และปกป้องตอนใช้งานจริง (runtime protection) โดยรุ่น AISec Platform 2.0 (เปิดตัวงาน RSAC 2025) เพิ่มการสืบสาวที่มาของโมเดลและบัญชีส่วนประกอบ AI เข้ามา ด้าน Cisco AI Defense ที่ต่อยอดจาก Robust Intelligence (Cisco เข้าซื้อ ส.ค. 2024) ให้กำแพงกันภัยสำหรับ AI (AI firewall), การตรวจสอบความถูกต้องของโมเดลแบบอัตโนมัติ และการคอยเฝ้าระวังตอนโมเดลกำลังตอบ (inference-time guarding) นอกจากนี้ยังมีเครื่องมืออื่นอีก เช่น Cranium, Securiti AI, Cyera AI Guardian, Wiz AI-SPM, CrowdStrike Falcon AI Security, Mend AI, Nudge Security ที่ไว้ทำบัญชีรายการสินทรัพย์ ดูภาพรวมความปลอดภัย และกำกับดูแลความเสี่ยงเรื่องข้อมูล

📖 คำศัพท์ในโมดูลนี้ (อธิบายง่าย ๆ)

AI-SPM (AI Security Posture Management)การบริหารจัดการภาพรวมความปลอดภัยของ AI ทั้งองค์กร ว่ามีอะไรบ้างและแข็งแรงแค่ไหน

inventoryบัญชีรายการ ว่าเรามีสินทรัพย์ AI อะไรอยู่บ้าง เหมือนการนับสต็อกของในโกดัง

ML supply chainห่วงโซ่ที่มาของโมเดล AI ตั้งแต่ข้อมูล เครื่องมือ ไปจนถึงตัวโมเดล ว่าแต่ละขั้นเชื่อถือได้ไหม

model scanningการสแกนตรวจโมเดลว่ามีโค้ดอันตรายหรือของแอบแฝงซ่อนอยู่ไหม เหมือนเอากระเป๋าผ่านเครื่องเอกซเรย์สนามบิน

MLOpsกระบวนการดูแลโมเดล AI ตั้งแต่สร้าง ทดสอบ ไปจนใช้งานจริง ให้ราบรื่นเป็นระบบ

🧪 ตัวอย่างจริง + ผลลัพธ์ที่ได้

วาง lifecycle security gate

เราจะเพิ่ม model scanning เข้า MLOps pipeline ก่อน deploy ช่วยระบุ gate ที่ควรมีตามแนวทาง AI-SPM

✅ ผลลัพธ์ที่ได้

จุดตรวจ (gate) ที่ควรมี: (1) สแกนโมเดลหาโค้ดอันตรายก่อนนำเข้าคลังเก็บโมเดล (registry) (2) ยืนยันที่มา (provenance) และเช็กว่าไฟล์มีลายเซ็นรับรอง (signed artifact) (3) บันทึกลงบัญชีส่วนประกอบ AI (AI-BOM) และการสืบสาวที่มาของโมเดล เพื่อจะได้ย้อนกลับไปดูได้ (4) ตรวจสอบความถูกต้องของโมเดลแบบอัตโนมัติก่อนดันขึ้นใช้งานจริง (5) คอยเฝ้าระวังตอนโมเดลกำลังตอบหลังเปิดใช้งาน เครื่องมือที่รองรับ เช่น Prisma AIRS (จาก Protect AI), HiddenLayer, Cisco AI Defense

💡 จุดสอน

AI-SPM ทำให้ความปลอดภัยฝังอยู่ในทุกช่วงชีวิตของโมเดล ไม่ใช่ตรวจแค่ตอนเปิดใช้งานครั้งเดียวจบ และยังโยงตรงกับการป้องกันความเสี่ยงหมวด LLM03/LLM04 อีกด้วย

แบบฝึกหัดท้ายโมดูล

ออกแบบบัญชีรายการสินทรัพย์ AI เบื้องต้นสำหรับองค์กร โดยระบุว่าแต่ละรายการต้องเก็บข้อมูลช่องอะไรบ้าง (ฟิลด์) และใครเป็นเจ้าของ
วางจุดตรวจความปลอดภัยในสายงานดูแลโมเดล (MLOps pipeline) โดยบอกว่าแต่ละจุดตรวจช่วยกันความเสี่ยง OWASP หมวดไหน

2.4

โมดูล 2.4

Red-teaming เชิงป้องกันบนระบบของตนเอง

ทดสอบหาจุดอ่อนในระบบที่คุณเป็นเจ้าของ อย่างมีอำนาจอนุญาตและมีจริยธรรม

👋 สำหรับผู้เริ่มต้น — อ่านตรงนี้ก่อน

💡

เปรียบง่าย ๆ: เหมือนจ้างคนมาลองงัดบ้านของเราเองก่อนย้ายเข้าอยู่ เพื่อดูว่าประตูหน้าต่างตรงไหนงัดง่าย จะได้เสริมล็อกให้แน่นก่อนโจรตัวจริงจะมา

🎯

ทำไมต้องรู้: ช่วยหาช่องโหว่ในระบบของเราเองก่อนเปิดใช้จริง จะได้อุดรูรั่วทัน ปลอดภัยกว่ารอให้คนร้ายมาเจอก่อน และทำอย่างถูกกฎหมายบนระบบที่เราเป็นเจ้าของ

🎯 สิ่งที่คุณจะทำได้หลังเรียนโมดูลนี้

อธิบายได้ว่าการทดสอบเชิงป้องกัน (defensive red-teaming) ก็คือการตรวจสอบคุณภาพ (QA) แนวป้องกัน เทียบได้กับการลองเจาะระบบแอปของตัวเอง (pen-test)
ใช้เครื่องมือฟรีแบบ open-source (OSS) จริง ได้แก่ NVIDIA Garak, Microsoft PyRIT, promptfoo, Giskard, DeepTeam, CyberArk FuzzyAI
ยึดขอบเขต (boundary) ให้มั่น คือทดสอบเฉพาะระบบที่ตัวเองเป็นเจ้าของหรือได้รับอนุญาต บนสภาพแวดล้อมทดสอบที่แยกไว้ต่างหาก (staging) แล้วส่งผลไปแก้ไขจุดอ่อน (remediation)

เนื้อหา

การทดสอบเชิงป้องกัน (red-teaming) ก็คือการลองหาจุดอ่อนในระบบที่เราเป็นเจ้าของหรือดูแลเอง โดยได้รับอนุญาตแล้ว ก่อนจะเปิดใช้งานจริง เปรียบเสมือนลองเจาะระบบแอปของตัวเองดู ขอย้ำว่านี่คือการตรวจสอบคุณภาพ (quality assurance) ไม่ใช่เครื่องมือเอาไว้โจมตีใคร เครื่องมือจริงที่ใช้ได้ ได้แก่ NVIDIA Garak (ตัวสแกนหาจุดอ่อนของ LLM แบบ open-source มีชุดทดสอบให้ยิงลองแหย่ระบบราว 100 ชนิด), Microsoft PyRIT (ชุดเครื่องมือภาษา Python ไว้ค้นหาความเสี่ยง เชื่อมกับ Azure AI Foundry ได้), promptfoo (ตัวประเมินผลบวกทดสอบเชิงป้องกันที่เน้นเขียนเทสต์ก่อน ต่อเข้ากับสายงานส่งโค้ดอัตโนมัติ (CI/CD) และเทียบกับข้อกำหนดกฎหมายได้), Giskard (ทดสอบแบบคุยหลายรอบต่อเนื่อง คอยจับเรื่อง AI มั่วข้อมูล (hallucination) ข้อมูลรั่ว และการแอบยัดคำสั่ง) รวมถึง DeepTeam และ CyberArk FuzzyAI ส่วนแบบมีคนดูแลให้ก็มี Mindgard, HiddenLayer และบริการทีมทดสอบของ HackerOne ข้อสำคัญที่ต้องยึดเสมอคือ ทดสอบเฉพาะระบบที่เราเป็นเจ้าของหรือได้รับอนุญาตชัดเจนเท่านั้น ทำในสภาพแวดล้อมที่แยกไว้ต่างหาก แล้วส่งผลที่เจอไปแก้ไขจริง

📖 คำศัพท์ในโมดูลนี้ (อธิบายง่าย ๆ)

Red-teamingการสวมบทเป็นคนร้ายมาลองโจมตีระบบตัวเอง เพื่อหาจุดอ่อนก่อนคนร้ายจริงจะเจอ

pen-test (penetration test)การทดสอบเจาะระบบเพื่อหาช่องโหว่ เหมือนลองงัดบ้านตัวเองดูว่ารั่วตรงไหน

vulnerability scannerเครื่องมือสแกนหาจุดอ่อนในระบบโดยอัตโนมัติ

probeชุดทดสอบแต่ละแบบที่ยิงเข้าไปลองแหย่ระบบ ดูว่ามันจะพลาดตรงไหน

deployการนำระบบขึ้นใช้งานจริง เปิดให้คนเข้ามาใช้

🧪 ตัวอย่างจริง + ผลลัพธ์ที่ได้

วางแผน defensive red-team ที่ถูกต้องตามจริยธรรม

เราอยากทดสอบ chatbot ของเราเองก่อนขึ้น production ช่วยวางแผน defensive red-teaming ให้ถูกหลักและใช้เครื่องมือจริง

✅ ผลลัพธ์ที่ได้

แผนที่แนะนำ: (1) กำหนดขอบเขตให้ชัด ทดสอบเฉพาะแชตบอตที่องค์กรเป็นเจ้าของ ในสภาพแวดล้อมทดสอบที่แยกออกจากระบบใช้งานจริง (2) ขออนุมัติเป็นลายลักษณ์อักษรก่อน (3) ใช้ Garak ยิงชุดทดสอบหลายชนิดเพื่อหาจุดอ่อน, ใช้ PyRIT/promptfoo ตั้งการประเมินให้รันต่อเนื่องในสายงานส่งโค้ดอัตโนมัติ, ใช้ Giskard ทดสอบแบบคุยหลายรอบ (4) รวบรวมสิ่งที่เจอส่งเข้ากระบวนการแก้ไข แล้วตามจนปิดจบทุกจุด นี่คือการตรวจสอบคุณภาพ ไม่ใช่การโจมตี

💡 จุดสอน

การทดสอบเชิงป้องกันต้องมีอำนาจอนุญาต ทำในสภาพแวดล้อมที่แยกไว้ และมีวงจรตามแก้ไขจุดอ่อนเสมอ และห้ามเอาไปทดสอบระบบของคนอื่นเด็ดขาด

แบบฝึกหัดท้ายโมดูล

เขียนรายการตรวจสอบเรื่องการขออนุญาต (authorization checklist) และกำหนดขอบเขตให้ชัด ก่อนลงมือทดสอบเชิงป้องกันบนระบบของตัวเอง
ออกแบบสายงานทดสอบต่อเนื่องด้วย promptfoo/Garak ในสายงานส่งโค้ดอัตโนมัติ (CI/CD) พร้อมกำหนดว่าสิ่งที่เจอจะไหลไปสู่การแก้ไขได้อย่างไร

2.5

โมดูล 2.5

AI สำหรับ SOC: Copilots และ Agentic Triage

นำ AI มาช่วยงานทีมฝ่ายป้องกัน (blue-team) จริง โดยยังยึดหลักให้คนคอยตรวจและเคาะตัดสินใจสุดท้ายเสมอ (human-in-the-loop)

👋 สำหรับผู้เริ่มต้น — อ่านตรงนี้ก่อน

💡

เปรียบง่าย ๆ: เหมือนมีผู้ช่วยเก่ง ๆ นั่งข้าง ๆ ทีมเฝ้าระวังภัย คอยอ่านสัญญาณเตือนกองโตแทน แล้วสรุปให้ฟังว่าอันไหนน่าห่วงจริง แต่คนยังเป็นคนเคาะตัดสินใจสุดท้ายเสมอ

🎯

ทำไมต้องรู้: ช่วยลดงานอ่านสัญญาณเตือนที่ท่วมท้นของทีมความปลอดภัย ทำให้เจอภัยจริงได้เร็วและเยอะขึ้นหลายเท่า คนทำงานไม่ล้าและไม่พลาดเรื่องสำคัญ

🎯 สิ่งที่คุณจะทำได้หลังเรียนโมดูลนี้

รู้จักผลิตภัณฑ์จริง ได้แก่ Microsoft Security Copilot, CrowdStrike Charlotte AI, Google Gemini in SecOps, Sec-Gemini v1
เอา AI ไปช่วยงานทีมฝ่ายป้องกัน เช่น คัดกรองสัญญาณเตือน (alert triage), ย่อสรุปข่าวกรองภัยคุกคาม (threat-intel summarization) และการสร้างกฎตรวจจับภัย (detection engineering)
ประเมินตัวเลขที่ผู้ขายอ้าง (metric) อย่างมีวิจารณญาณ เพราะเป็นตัวเลขที่ผู้ขายรายงานเอง ไม่ใช่ผลทดสอบจากคนกลางที่เป็นอิสระ

เนื้อหา

โมดูลนี้พาเข้าสู่เรื่องการเอา AI มาช่วยงานความปลอดภัยฝั่งทีมป้องกัน ด้วยผลิตภัณฑ์จริง เริ่มจาก Microsoft Security Copilot ซึ่งเป็นผู้ช่วย AI สำหรับศูนย์เฝ้าระวังภัย (SOC) ที่ในปี 2025 พัฒนาไปเป็นผู้ช่วยที่ทำงานย่อยได้เองบางส่วน (agents) เช่น Alert Triage Agent ฝังอยู่ในเครื่องมือ Defender, Entra, Intune, Purview โดย Microsoft รายงานว่า Alert Triage Agent ช่วยให้เห็นสัญญาณเตือนที่เป็นภัยจริงมากขึ้นราว 6.5 เท่า และเพิ่มความแม่นยำของการชี้ขาด (verdict) ราว 77% (แต่ตัวเลขนี้ผู้ขายรายงานเอง ให้ถือเป็นคำโฆษณา ไม่ใช่ผลทดสอบจากคนกลางที่เป็นอิสระ) ต่อมา CrowdStrike Charlotte AI ที่พัฒนาให้ทำงานได้เองมากขึ้น (ช่วง Fall 2025) ทั้งการคัดกรองภัยที่ตรวจจับได้ การตอบโต้ และการทำงานอัตโนมัติ โดยเรียนรู้จากการตัดสินใจของนักวิเคราะห์ (analyst) ในบริการ Falcon Complete MDR เหมาะกับองค์กรที่เน้นดูแลอุปกรณ์ปลายทางเป็นหลัก (endpoint-first) ส่วน Google Security Operations + Gemini (Gemini in SecOps) ให้เราค้นหาข้อมูลด้วยภาษาธรรมชาติบนข้อมูลบันทึกกิจกรรมขนาดมหาศาลระดับเพตะไบต์ (petabyte) สร้างกฎตรวจจับภัย ทำคู่มือขั้นตอนและงานอัตโนมัติ (playbook/automation) และมีผู้ช่วยสำหรับคัดกรองสัญญาณเตือนและสร้างกฎตรวจจับ (ได้เป็นผู้นำใน Gartner MQ for SIEM 2025) และสุดท้าย Google Sec-Gemini v1 (โมเดลด้านความปลอดภัยไซเบอร์เชิงทดลอง ประกาศ เม.ย. 2025) ที่ผสาน Gemini เข้ากับ Google Threat Intelligence, OSV และ Mandiant เก่งเรื่องการหาต้นตอของเหตุการณ์ วิเคราะห์ภัยคุกคาม และการจับคู่ช่องโหว่กับ CWE

📖 คำศัพท์ในโมดูลนี้ (อธิบายง่าย ๆ)

SOC (Security Operations Center)ศูนย์เฝ้าระวังภัยไซเบอร์ขององค์กร ทีมที่คอยจับตาดูภัยตลอด 24 ชั่วโมง

blue-teamทีมฝ่ายป้องกัน คนที่คอยตั้งรับและปกป้องระบบจากผู้บุกรุก

human-in-the-loopการให้คนคอยตรวจและเคาะตัดสินใจสุดท้ายเสมอ ไม่ปล่อยให้ AI ตัดสินเองล้วน ๆ

alert triageการคัดกรองสัญญาณเตือนว่าอันไหนสำคัญด่วน อันไหนไม่เป็นไร เหมือนพยาบาลคัดคนไข้ห้องฉุกเฉิน

Copilot / agentผู้ช่วย AI ที่ทำงานเคียงข้างคน (Copilot) หรือทำงานย่อยได้เองบางส่วน (agent)

🧪 ตัวอย่างจริง + ผลลัพธ์ที่ได้

ใช้ AI ช่วย triage โดยมีมนุษย์ยืนยัน

SOC ของเรามี alert วันละหลายพัน อยากใช้ AI ช่วย triage ควรออกแบบเวิร์กโฟลว์อย่างไรให้ปลอดภัยและมีมนุษย์รับผิดชอบ

✅ ผลลัพธ์ที่ได้

เวิร์กโฟลว์: (1) ให้ AI (เช่น Security Copilot Alert Triage Agent หรือ Charlotte AI Agentic Triage) คอยสรุป โยงเรื่องที่เกี่ยวข้องเข้าด้วยกัน รวมเรื่องซ้ำ ๆ ให้เหลืออันเดียว แล้วเสนอระดับความรุนแรงและคำชี้ขาด (2) ให้นักวิเคราะห์ที่เป็นคนตรวจและยืนยันคำชี้ขาดทุกครั้งก่อนลงมือจริง (3) การกระทำที่ส่งผลกระทบสูง เช่น สั่งบล็อกหรือกักกัน ต้องให้คนอนุมัติเสมอ (4) เก็บบันทึกร่องรอยการตัดสินใจไว้ทุกครั้ง (audit trail) ข้อควรระวัง: อย่าถือตัวเลขที่ผู้ขายอ้าง (เช่น 6.5 เท่า) เป็นผลทดสอบที่เชื่อถือได้เต็มร้อย ต้องลองวัดผลจริงในบริบทขององค์กรเราเอง

💡 จุดสอน

AI ช่วยลดความล้าจากสัญญาณเตือนที่ล้นมือ และช่วยให้คัดกรองได้เร็วขึ้น แต่คนที่มีความรู้ความสามารถต้องเป็นผู้รับผิดชอบการตัดสินใจอยู่ดี โดยเฉพาะเรื่องการสั่งกักกันหรือบล็อก

แบบฝึกหัดท้ายโมดูล

ออกแบบเวิร์กโฟลว์คัดกรองสัญญาณเตือนที่ใช้ AI ช่วย พร้อมระบุจุดที่คนต้องเข้ามาตรวจและเคาะตัดสินใจ รวมถึงการเก็บบันทึกร่องรอยการตัดสินใจ
วิเคราะห์ตัวเลขที่ผู้ขายอ้าง (เช่น 6.5 เท่า, 77%) แล้วเขียนว่าจะตรวจสอบผลจริงในองค์กรของคุณได้อย่างไร

2.6

โมดูล 2.6

เวิร์กโฟลว์ป้องกันที่ AI ช่วยได้จริง

เอา AI ไปใช้กับงาน blue-team 7 ด้าน โดยคนเป็นผู้อนุมัติเสมอ

👋 สำหรับผู้เริ่มต้น — อ่านตรงนี้ก่อน

💡

เปรียบง่าย ๆ: เหมือนมีผู้ช่วยเลขาที่ขยัน คอยย่อรายงานยาว ๆ ให้สั้น จัดกองเอกสารกองพะเนินให้เป็นระเบียบ แล้วเสนอทางเลือก แต่เจ้านายยังเซ็นอนุมัติเองทุกครั้ง

🎯

ทำไมต้องรู้: ช่วยให้ทีมป้องกันทำงานเร็วขึ้นในหลายด้านพร้อมกัน ทั้งย่อข้อมูล คัดกรอง และเชื่อมโยงเรื่องราว ลดความเหนื่อยล้าจากงานซ้ำซาก โดยคนยังคุมการตัดสินใจ

🎯 สิ่งที่คุณจะทำได้หลังเรียนโมดูลนี้

เอา AI ไปช่วยคัดกรองและเติมข้อมูลให้สัญญาณเตือน/บันทึกกิจกรรม (alert/log triage & enrichment) และย่อสรุปข่าวกรองภัยคุกคาม
ใช้ AI จับอีเมลหลอกลวงและพฤติกรรมผิดปกติ (phishing/anomaly detection) ช่วยรับมือเหตุการณ์ (incident-response) และสร้างกฎตรวจจับภัย
ใช้ AI แปลข้อมูลช่องโหว่ (CVE/CWE) เป็นคำแนะนำวิธีแก้ไข และช่วยร่างเอกสารนโยบาย โดยให้คนตรวจทานเสมอ

เนื้อหา

โมดูลนี้เจาะลึกว่า AI ช่วยงานฝ่ายป้องกันได้จริงในเรื่องอะไรบ้าง: (1) คัดกรองและเติมข้อมูลให้สัญญาณเตือน/บันทึกกิจกรรม โดยสรุปสัญญาณเตือนที่มีสัญญาณรบกวนเยอะ (noise) โยงเรื่องที่เกี่ยวข้องเข้าด้วยกัน รวมเรื่องซ้ำ ๆ ให้เหลืออันเดียว เสนอระดับความรุนแรงและคำชี้ขาด แล้วให้นักวิเคราะห์ยืนยัน ช่วยลดความล้าจากสัญญาณเตือนที่ล้นมือ (2) ย่อสรุปข่าวกรองภัยคุกคาม คือย่อรายงาน ร่องรอยการโจมตี (IOC) และประวัติของคนร้าย ให้เป็นสรุปสั้น ๆ อ่านง่าย (ใช้ Sec-Gemini, Gemini in SecOps, Security Copilot) (3) จับอีเมลหลอกลวงและพฤติกรรมผิดปกติ โดยใช้เทคนิคเข้าใจภาษามนุษย์ (NLP) จำแนกอีเมล/ลิงก์/พฤติกรรมที่ผิดไปจากปกติ เทียบกับพฤติกรรมพื้นฐานที่เคยเป็น (UEBA baselining) (4) ช่วยรับมือเหตุการณ์ ร่างลำดับเวลาของเหตุการณ์ เสนอขั้นตอนกักกันตามนโยบาย และสร้างรายงานหลังจบเหตุ (โดยให้คนอนุมัติการลงมือทุกครั้ง) (5) สร้างกฎตรวจจับภัย โดยแปลงคำสั่งภาษาธรรมชาติให้เป็นกฎตรวจจับพร้อมทดสอบ (6) อธิบายช่องโหว่ แปลข้อมูล CVE/CWE และผลจากตัวสแกนให้กลายเป็นคำแนะนำวิธีแก้ไขด้วยภาษาที่นักพัฒนาเข้าใจง่าย (7) ช่วยร่างเอกสารและนโยบายความปลอดภัย ทั้งนโยบาย คู่มือปฏิบัติงาน (runbook) คำอธิบายมาตรการควบคุม และเนื้อหาให้ความรู้พนักงาน (แต่คนต้องตรวจทานเสมอ)

📖 คำศัพท์ในโมดูลนี้ (อธิบายง่าย ๆ)

logบันทึกกิจกรรมที่ระบบเก็บไว้ ว่าเกิดอะไรขึ้นเมื่อไหร่ เหมือนสมุดบันทึกประจำวันของเครื่อง

enrichmentการเติมข้อมูลเสริมให้สัญญาณเตือน เพื่อให้เห็นภาพครบและเข้าใจง่ายขึ้น

correlate / dedupecorrelate คือโยงเรื่องที่เกี่ยวข้องเข้าด้วยกัน dedupe คือรวมเรื่องซ้ำ ๆ ให้เหลืออันเดียว

alert fatigueอาการล้าจากสัญญาณเตือนที่มากเกินไป จนคนเริ่มเมินหรือพลาดเรื่องสำคัญ

IOC (Indicator of Compromise)ร่องรอยที่บ่งชี้ว่าถูกโจมตี เช่น ไฟล์แปลก ๆ หรือที่อยู่ต้องสงสัย เหมือนรอยนิ้วมือคนร้าย

🧪 ตัวอย่างจริง + ผลลัพธ์ที่ได้

ใช้ AI แปล CVE เป็นคำแนะนำ remediation

ช่วยแปลผล scanner ที่รายงาน CWE-79 (Cross-site Scripting) ในแอปของเราเป็นคำแนะนำ remediation ที่นักพัฒนาเข้าใจง่าย

✅ ผลลัพธ์ที่ได้

AI ควรอธิบายว่า CWE-79 คือการที่ข้อมูลจากผู้ใช้ถูกเอาไปแสดงในหน้าเว็บโดยไม่ได้แปลงให้ปลอดภัยก่อน (encoding) ทำให้สคริปต์แปลกปลอมทำงานได้ พร้อมแนะนำวิธีแก้ไขเชิงป้องกัน เช่น แปลงข้อมูลก่อนแสดงผลให้เหมาะกับแต่ละจุด (output encoding) ตรวจสอบสิ่งที่ผู้ใช้ป้อนเข้ามา และใช้ Content Security Policy โดยนักพัฒนาและทีมความปลอดภัยต้องตรวจทานก่อนนำไปแก้จริง (AI ช่วยร่าง แต่คนเป็นผู้รับผิดชอบ)

💡 จุดสอน

AI ช่วยย่นเวลาแปลศัพท์เทคนิคให้เป็นภาษาที่นักพัฒนานำไปใช้ได้ทันที แต่คำแนะนำนั้นต้องผ่านการตรวจทานโดยคนเสมอ

แบบฝึกหัดท้ายโมดูล

เลือกเวิร์กโฟลว์ 3 จาก 7 ด้าน แล้วเขียนคำสั่ง (prompt) ตัวอย่างภาษาไทยที่ใช้จริงในองค์กรของคุณ พร้อมระบุจุดที่คนต้องเป็นผู้อนุมัติ
ร่างคู่มือปฏิบัติงาน (runbook) สั้น ๆ ที่บอกว่างานไหนให้ AI ช่วยได้ และงานไหนที่คนต้องเป็นผู้ตัดสินใจขั้นสุดท้าย

🎯 Capstone Intermediate: สร้างชั้นป้องกันและเวิร์กโฟลว์ blue-team สำหรับระบบ AI

เลือกระบบ AI/LLM มาหนึ่งระบบ แล้วออกแบบด่านกันภัยแบบหลายชั้นซ้อนกัน (ทั้งขาเข้า ขาออก และตัวกฎ) โดยเลือกเครื่องมือจริง (NeMo/Purple Llama หรือ Lakera Guard/Azure AI Content Safety) พร้อมบอกเหตุผล
วางแผนทดสอบเชิงป้องกันด้วย Garak/PyRIT/promptfoo บนสภาพแวดล้อมทดสอบที่แยกไว้ พร้อมรายการตรวจสอบเรื่องการขออนุญาต และวงจรตามแก้ไขจุดอ่อน
ออกแบบ AI-SPM เบื้องต้น ได้แก่ บัญชีรายการสินทรัพย์ จุดตรวจสแกนโมเดล และบัญชีส่วนประกอบ AI (AI-BOM)
ออกแบบเวิร์กโฟลว์ของทีมป้องกันสักหนึ่งด้าน (เช่น คัดกรองสัญญาณเตือน หรือย่อสรุปข่าวกรองภัยคุกคาม) ที่ใช้ AI ช่วย พร้อมจุดที่คนคอยตรวจและเคาะตัดสินใจ และการเก็บบันทึกร่องรอย
ระบุตัวเลขที่ผู้ขายอ้างในเครื่องมือที่เลือก แล้วอธิบายว่าจะตรวจสอบผลจริงได้อย่างไร
นำเสนอทั้งหมด พร้อมย้ำหลักการป้องกันหลายชั้นซ้อนกัน (defense-in-depth) และการที่คนต้องเป็นผู้รับผิดชอบ (human accountability)

ก้าวต่อไป

ระดับองค์กร: Governance, การปฏิบัติตามกฎหมาย, Shadow AI และการป้องกัน Deepfake

ไปต่อ →