การผสาน Stable Diffusion เข้ากับ Nuke สำหรับงานขยายภาพ Plate (Plate Extensions)
โลกของ Visual Effects กำลังเปลี่ยนแปลงไปอย่างรวดเร็ว ด้วยการกำเนิดของ Generative AI ทำให้ปัญหาคอขวดของงานด้าน Matte Painting และการขยายภาพพื้นหลัง (Plate Extensions) เปลี่ยนจากการใช้เวลาในเชิงเทคนิค ไปสู่การใช้เวลาในเชิงความคิดสร้างสรรค์แทน ในบทความนี้ เราจะมาดูวิธีเชื่อมต่อ Stable Diffusion เข้ากับ Nuke โดยตรง
การเชื่อมต่อ Node
เราสามารถใช้ Custom Python Script ในการส่งภาพจาก Nuke Viewer ไปยัง Stable Diffusion API (เช่น Automatic1111 หรือ ComfyUI) เพื่อประมวลผลการขยายภาพตาม Prompt ที่เราต้องการ แล้วนำภาพกลับมาใส่ใน Graph ของเราผ่านวงจร Write/Read
FIG_01: การขยายขอบเขตของสภาพแวดล้อมโดยใช้ Guide-masking ร่วมกับพลังของ Neural Network
ข้อดีที่สำคัญอย่างหนึ่งคือการใช้ ControlNet โดยการส่ง Depth Pass หรือภาพสเก็ตช์คร่าวๆ จาก Nuke ไปยัง AI เพื่อให้มั่นใจว่าเนื้อหาที่ถูกสร้างขึ้นมานั้น จะมี Perspective และทิศทางแสงที่สอดคล้องกับภาพต้นฉบับ (Plate) ของเราจริงๆ
ผลลัพธ์และประสิทธิภาพ
งานที่เคยต้องใช้เวลา 4-6 ชั่วโมงสำหรับ Digital Matte Painter ในตอนนี้เราสามารถวางโครงสร้างคร่าวๆ (Rough-in) ได้ภายในเวลาเพียง 15 นาที ซึ่งช่วยให้เราสามารถลองผิดลองถูก (Iteration) ได้เร็วขึ้นมากในช่วง Blocking ของแต่ละช็อต
FIG_02: การรวมภาพที่สร้างจาก AI เข้ากับงาน DMP แบบดั้งเดิมเพื่อให้ได้ผลลัพธ์ที่สมบูรณ์แบบที่สุด