Kĩ thuật

ControlNet
trong sinh ảnh
bằng AI

Đặng Hải Lộc

https://www.facebook.com/locdh90
locdh@aivgroup.vn / 0963.520.636
Kiến thức sẽ tìm hiểu:
1. Tìm hiểu chung về công nghệ sinh ảnh bằng AI & Stable Diffusion
2. Tìm hiểu về ControlNet
3. Những ứng dụng cụ thể của ControlNet
4. Tác động của ControlNet đối với xu hướng vẽ tranh bằng AI

Kĩ năng được học:

5. Thử nghiệm ControlNet để biến phác thảo (sketch) thành tranh vẽ hoàn chỉnh
 Tổng quan về công nghệ vẽ B3. Chọn ảnh do AI sinh ra

tranh bằng AI (text-to-image)

B1. Nhập đoạn

văn mô tả hình
ảnh mình cần
(gọi là prompt)

B2. Chọn các

tham số
- Model
- Size
- Guidance scale
 Hoạt động 1: khám phá thư viện tranh do AI vẽ

https://lexica.art
 Mô hình Stable Diffusion
• Là một mô hình sinh ảnh nguồn mở (opensource)
• Có chất lượng không thua kém các mô hình
thương mại như MidJourney, Wall-E
• Có thể tự cài đặt và sử dụng trên PC (miễn phí)
hoặc qua website (trả phí)
🡺 Được sử dụng rất phổ biến trong cộng đồng nghệ sĩ
AI thế giới
🡺 Rất nhiều kĩ thuật/mô hình mới được mở rộng dựa
trên Stable Diffusion (trong đó có ControlNet)
Một số ứng dụng của Stable Diffusion
Tạo tranh từ prompt Từ phác thảo biến thành tranh vẽ
Một số ứng dụng của Stable Diffusion (tiếp)
Mở rộng khung cảnh (outpainting)
Hoạt động 2: tự vẽ tranh bằng mô hình Stable Diffusion

https://replicate.com/stability-ai/stable-diffusion
Nhược điểm hiện tại của Stable Diffusion
Cùng một prompt, hình Khó kiểm soát các chi
ảnh tạo ra rất ngẫu nhiên tiết nhỏ theo ý muốn
ControlNet ra đời khắc phục các nhược điểm này!

🡪 Ảnh được tạo ra theo đúng cấu trúc được gợi ý từ trước
Tìm hiểu sâu: ControlNet hoạt động như nào?
• ControlNet là một neural network được chèn thêm
vào các layer của Stable Diffusion model
• Nó cho phép điều khiển quá trình sinh ảnh
một cách chính xác hơn
• Việc train ControlNet là dễ dàng, yêu cầu số lượng
ảnh nhỏ, và không ảnh hưởng tới model gốc
• Việc thêm ControlNet cũng không làm tăng yêu cầu
GPU để chạy Stable Diffusion
🡺 Nó là kẻ thay đổi cuộc chơi lớn!!!

🡺 Xem thêm: https://github.com/lllyasviel/ControlNet

Tìm hiểu sâu: Các kĩ thuật điều khiển bằng ControlNet
1. Canny Edge Detection 2. M-LSD line detection (phát hiện đường thẳng và khối)

Ảnh input 🡪 map tạo bởi các cạnh màu 🡪 ảnh generate Ảnh input 🡪 map tạo thành các đường nét phác nét và khối --> ảnh generate
 Tìm hiểu sâu: Các kĩ thuật điều khiển bằng ControlNet
3. Hough Line (tương tự M-LSD line detection) 4. HED edge detection (giữ chi tiết rất tốt!)

Body pose

Ảnh input 🡪 map tạo thành các đường nét phác nét và khối --> ảnh generate Ảnh input 🡪 map sihoulette --> ảnh generate
Tìm hiểu sâu: Các kĩ thuật điều khiển bằng ControlNet
5. Scribble (vẽ phác) 6. Fake Scribble

Ảnh phác 🡪 ảnh phác --> ảnh generate Ảnh input 🡪 ảnh phác --> ảnh generate
Tìm hiểu sâu: Các kĩ thuật điều khiển bằng ControlNet
7. Human Pose 8. Semantic Segmentation

Ảnh người input 🡪 ảnh người que --> ảnh generate Ảnh input 🡪 ảnh phân cụm dựa trên nhận diện vật thể --> ảnh generate
Tìm hiểu sâu: Các kĩ thuật điều khiển bằng ControlNet
9. Depth map (giữ độ sâu không gian tốt) 10. Normal Maps (giữ chi tiết vật thể tốt hơn Depth map)

Ảnh input 🡪 ảnh sihoutlette--> ảnh generate Ảnh input 🡪 map dựa trên ngưỡng màu --> ảnh generate
Tìm hiểu sâu: Các kĩ thuật điều khiển bằng ControlNet
11. No prompt mode

Ảnh input 🡪 Cố gắng generate chỉ dựa trên ảnh input mà không bị tác động bởi prompt
Hoạt động 3: thử nghiệm tạo ảnh với Stable + ControlNet

https://huggingface.co/spaces/hysts/ControlNet
Tham quan: một số tác phẩm dựa trên ControlNet

Nguồn tham khảo:

https://www.facebook.com/groups/midjourneyvnartbyai/
https://www.reddit.com/search/?q=controlnet
Ảnh hưởng của ControlNet tới xu hướng vẽ tranh bằng AI

- Là nhân tố thay đổi cuộc chơi, nâng tầm đáng kể chất lượng ảnh
tạo bằng AI
- Tăng mức độ kiểm soát của hoạ sĩ 🡪 giúp vẽ tranh bằng AI dần
chuyển từ công cụ gợi ý sang công cụ sáng tạo
- Mở ra rất nhiều hướng mở rộng mới cho công nghệ text-to-image
Cám ơn đã lắng nghe