정림건축을 위한

AI 이미지 생성 툴 소개
Stable diffusion WebUI

설치 방법 및 프로그램 공유
03/31
개발 배경 / 목적

최근 AI 기술의 발전에 따라, 건축가들은 AI가 생성한 이미지를 건축 디자인에 통합하는 새로운 방법을 찾고 있으며 이를
계속 발전시켜 나가고 있습니다. 이러한 추세를 반영하여, 정림X팀은 건축가에게 인공지능을 통한 고품질의 이미지를
제공하는 웹 앱을 개발하였습니다. 이 앱은 Stable Diffusion 기술을 활용하여, 자체 GPU에서 실행되는 웹 UI를 기반으로
작동되며, 온라인 환경보다 훨씬 더 많은 이점을 제공합니다.

로컬에서의 자체 GPU활용의 이점으로는 빠른 이미지 생성, 향상된 이미지 제어 및 커스터마이징, 프라이버시와 보안 강화,
비용 효율성, 그리고 지속적으로 발전하는 확장 기능의 설치가 가능하다는 점입니다.

본 프로그램은 디자인 프로세스 전반에 걸쳐 새로운 가능성을 열어주고 창의성을 고취하며 건축가에게 영감을 주는
도구로서의 역할을 수행합니다. 이는 설계 아이디어를 보다 추상적인 방식으로 시각화하는데 도움을 주기 위함입니다. 본
프로그램은 최종 결과물을 제공하는 것이 아닌, 디자인 과정에서 건축가를 지원하는 역할에 더 중점을 두고 있습니다.

이와 관련하여 하버드 GSD의 로페즈 교수는 AI가 예술을 만들어낸다는 관점은 오해를 불러일으킬 수 있다고 지적합니다.
로페즈 교수는 "이러한 모델은 예술을 생성하는 것이 아니라 이미지를 생성할 뿐입니다. 이는 매우 다릅니다. 모든 것은
통계일 뿐입니다. 무서울 정도로 좋은 통계지만 통계일 뿐입니다." 라고 설명합니다. AI 툴의 기반은 통계에 불과하다는 것을
강조하며, 이를 창의력의 대체가 아닌 건축가가 흥미롭고 혁신적인 디자인을 빠르게 찾아내어 프로젝트를 더 빠르게 진행할
수 있도록 도와주는 리소스로 볼 필요가 있다고 이야기합니다.

정림X팀의 건축가를 위한 AI 이미지 생성 웹 앱은 건축 디자인을 혁신하고 새로운 수준으로 끌어올리는 도구로서의 역할을
수행할 것으로 기대됩니다. 이 앱은 건축가들이 더 빠른 시간 내에 실험적인 디자인을 시각화하고 시도할 수 있도록 도와줄
것이며, 이를 통해 건축 분야의 발전과 혁신에 기여할 것으로 예상됩니다.
건축 렌더링에 특화된 정림 고유의 체크포인트 학습모델

AI 학습 모델(.ckpt, .pt, .pth)은 'stable diffusion'의 두뇌와 같이,

학습된 이미지 파일들의 가중치와 구조 등이 저장된 것이라고 볼 수 있습니다.

정림X팀은 건축 분야에서 창의적인 프로세스가 얼마나 중요한지 인지하고 있기 때문에, 건축 렌더링에 특화된 안정적인 AI 체크포인트
학습 모델을 자체적으로 개발하고 있습니다. 지난 56년 동안 수많은 프로젝트를 수행하며 축적한 압도적인 양의 정림건축 작품
이미지들을 학습시킴으로써, 정림 건축의 방향성과 디자인 스타일을 도출하고, 이를 AI 학습 모델에 적용할 수 있습니다.

이 모델은 건축가들이 다양한 디자인 아이디어를 실험하고, 다양한 디자인 요소가 결합된 영향을 더욱 잘 이해하는 데 도움이 될 것입니다.
정림X팀은 AI가 건축가들에게 귀중한 리소스로 활용될 수 있는 잠재력을 가지고 있다고 믿습니다. 그리고 이를 토대로 정림 커뮤니티의
요구와 기대에 부응할 수 있도록 기술을 지속적으로 개발하고 개선해 나갈 것입니다.

앞으로도 정림X팀은 건축가들이 더욱 효과적으로 작업할 수 있도록 다양한 모델과 대안을 제공해드릴 것입니다. 이를 통해 건축가들은
디자인 프로세스에서 시간과 노력을 절약할 수 있으며, 창의력과 혁신을 더욱 키울 수 있을 것으로 기대됩니다.

(hugging face에 저장된 junglim image dataset) (정림 학습모델 생성 사진)

주요 용도

본 프로그램은 AI를 보다 자유롭게 활용하고자 하는 목적으로 개발되었으며, 여기서 소개한 8가지 주요 사용 용도 외에도 다양한
방면에서 활용될 수 있습니다.

소개되는 8가지 용도는 건축 디자인 프로세스의 다양한 단계에서 효용가치를 발휘할 수 있는 주요 사용 용도를 중심으로 고려한 예시
용도입니다.

Concept Visualization 개념 시각화 :

초기 단계의 디자인 개념을 빠르게 시각화하고 클라이언트 또는 이해당사자와 공유할 수 있는 이미지를 프롬프트 작성 또는 스케치에
기반하여 생성할 수 있습니다.

Explore Design Alternatives 디자인 옵션 탐색 :

다양한 디자인 옵션을 변형 및 탐색 할 수 있습니다. 이를 통해 새로운 디자인 가능성을 탐색하고 많은 옵션을 시각화 한 뒤 결정을 내릴 수
있습니다.

Material and Texture Selection 재료, 텍스처 탐색 :

건물 외벽 등에 다양한 재료 및 질감 조합을 시각화할 수 있어 프로젝트에 가장 적합한 옵션을 선택하는 데 도움이 됩니다.

Context Integration 주변 환경 적용/시각화 :

도시, 수변 같은 주변 환경에 디자인이 어떻게 어울릴지를, 이미지를 생성함으로써 건물이 기존 환경에 적합할지 시각화할 수 있습니다.

Lighting and Shadow Studies 빛, 조명 연구, 참고 :

자연광, 인공광, 야간, 주간과 같은 빛과 디자인이 어떻게 상호 작용할지 연구, 참고할 수 있습니다.

Landscape Design 조경디자인 :

다양한 조경 디자인을 생성하여 건축가가 디자인과 어울리는 가장 적합한 조경 옵션을 시각화하고 선택하는 데 도움이 됩니다.

Interior Design and Space Planning 실내인테리어, 공간 디자인 :

실내 공간에 대한 다양한 가구 배치, 색상 구성, 마감재 등을 탐색할 수 있어 클라이언트와 아이디어를 소통하고
시각적으로 매력적인 인테리어 환경을 만드는 데 도움이 됩니다.

Presentation and Communication 협업, 참고자료 :

엔지니어, 조경, 도시 계획가 등 다른 전문가와 협력시에 좀 더 구체화되고 추상적인 생각을 시각화 하여 협업이 가능합니다.
설치방법

첨부된 파일안에는 실행을 위한 설치 파일들이 들어있습니다.

총 설치 시간은 약 15분 정도 예상되며 설치하셔야 하는 프로그램은 총 3가지 입니다.

로컬에서 실행되어야 하는 프로그램이기에 선제적으로 Git과 Python 프로그램이 필요합니다. Git과 Python의 설치 순서는 상관없으나
파이썬을 설치시에 Add Python 3.10 to PATH란을 체크 해주셔야합니다.

(설치 zip 폴더 내부) (Python 설치시 클릭으로 사용자 환경변수에 파이썬 3.10을 등록)

JL_StableDiffusion_v1.0.zip을 압축해제 하신후 압축해제한 폴더에 들어가 ‘Webui-user.bat’ 배치 파일을 실행시켜주시면

자동으로 cmd 창이 실행되며 stable diffusion webui 가 설치 시작됩니다.

해당 프로그램은 stable diffusion에 요구되는 건축 특화 체크포인트와 stable diffusion webui 번역본이 함께 들어있고 이를
자동적으로 로드해줍니다. 설치는 약 5~10분 정도 소요됩니다.
설치방법 (continued)

설치가 성공적으로 완료되면

Running on local URL: http://127.0.0.1:7860이 출력되며 프로그램이 작동 준비에 들어간 것을 알 수 있습니다.

웹브라우저에 http://localhost:7860 혹은 http://127.0.0.1:7860 을 입력하여 webui를 실행시켜줍니다.

JL_stablediffusion webui가 작동되는 것을 볼 수 있습니다.

사용법

이미지 생성 방법 추가 control-net 모델 필요 기능 인풋 데이터 (Input data)

txt2img 추가 설치 X 텍스트 프롬프트

img2img 추가 설치 X 이미지 + prompt

inpaint 추가 설치 X 이미지 + prompt + 마스킹

txt2img(control-net) 스케치 추가 설치 O 스케치 + prompt

txt2img(control-net) 깊이 맵 추가 설치 O 모델링 이미지(depth 맵) + prompt

이 툴은 기본적으로 txt2img, img2img, inpaint 기능을 포함하고 있으며, 각 기능은 특정 데이터를 요구합니다.

*txt2img (텍스트를 이미지로 변환)

txt2img는 사용자가 입력한 프롬프트에 따라 관련 이미지를 생성해주는 핵심 기능입니다. 이 기능을 활용하려면
텍스트 프롬프트 (이미지로 변환하고자 하는 텍스트) 이 필요합니다.

*img2img (이미지 스타일 변환)

img2img 기능은 원본 이미지에 스타일 이미지, 텍스트를 적용하여 새로운 이미지를 생성합니다. 이 기능을 활용하려면 원본
이미지 (스타일을 적용하고자 하는 이미지),텍스트 프롬프트 (선택 사항): 스타일 변환의 방향을 지정하는 텍스트가
필요합니다.

*inpaint (이미지 복원 및 변경)

inpaint 기능은 이미지의 변경이 필요한 구역을 지정하여 AI가 해당 구역의 이미지를 생성합니다. 이 기능을 활용하려면 원본
이미지 (수정하고자 하는 이미지), 마스크 변경하거나 복원할 영역을 표시한 마스크 이미지를 설정해야 합니다.

해당 WebUi에는 추가로 control-net extension 모델을 설치하여 스케치, 이미지 depth와 연결하여 지정한 이미지에 맞춘
이미지 생성이 가능합니다. 해당 모델들은 https://huggingface.co/lllyasviel/ControlNet/tree/main/models 에서
설치 가능하며 이에 대한 설명은 추후 게시글을 통해 다루도록하겠습니다.
기본 Parameter와 설정 소개

1 2
3 4

5
6

다양한 파라미터 조절을 통해 사용자의 요구에 부합하는 다양하고 유니크한 이미지를 생성할 수 있습니다. 이런 설정들은 작은 변화에도
이미지의 품질과 생성 방식에 큰 차이를 만들어, 다양한 결과물을 만들어낼 수 있습니다.

1.샘플링 방법(Sampling Methods) - 샘플링 방법을 변경하면, 원하는 결과와 성능에 따라 다양한 방법을 시도할 수 있습니다. 각
샘플링 방법은 데이터 분포로부터 샘플을 추출하는 과정에 다른 접근법을 제공합니다. 기본적으로 Euler a로 지정되어있습니다.

2. 샘플링 단계 (Sampling steps) -일반적으로 더 많은 단계를 사용하면 더 높은 품질의 이미지를 생성할 수 있습니다. 그러나, 단계를
너무 많이 설정하면 오히려 품질이 향상되지 않을 뿐만 아니라 생성 속도가 느려질 수 있습니다. Stable diffusion 모델은 무작위
노이즈로 시작하여, 각 단계마다 노이즈를 조금씩 제거하는 반복적인 과정입니다. 일반적으로 20 ~60단계 정도를 사용하면 좋은 품질의
이미지 생성 가능합니다.

3. 가로 세로 -「가로」와 「세로」는 출력 이미지의 사이즈 지정입니다. 이미지 크기는 그대로 VRAM의 사용량에 반영되기 때문에
VRAM이 적으면 에러가 발생하면서 생성되지 않는 경우가 있습니다.

4. 배치 수 / 배치 크기 - 「배치 수」에서 생성하고 싶은 수를 지정하고, 「배치 크기」는 1로 해 두면 에러 없이 안정적으로 이미지

생성을 할 수 있습니다. 배치 크기는 한 번에 생성하는 이미지의 량으로 많게 설정되면 VRAM 사용량이 늘어나므로 VRAM이 적은
환경이면 오류가 발생하기 쉬워집니다.

5.CFG 스케일 (classifier free guidance scale) - 프롬프트의 지시에 얼마나 따르는지를 나타내는 값으로, 크게 하면 할수록 지시에
따른 내용이 되지만 그림 자체가 망가지기 쉽습니다. 일반적으로는 7~11이 적당하다고 되어 있습니다. 낮은 값일 수록 더욱 창의적인
결과물이 나오게 됩니다.

6. 시드 - 「시드」 랜덤 씨앗으로 「-1」이라면 매번 랜덤 생성이 됩니다. 이 이미지는 잘 나왔으니까, 이 구도를 재현하고 싶다는 경우,
해당 이미지의 시드치를 입력하는 것으로, 같은 구도나 분위기는 유지하면서 다른 패턴의 이미지를 생성할 수 있습니다.
Txt2img(텍스트를 이미지로 변환) 사용 예시 이미지

public park near the river, small fountain without barrier and pedestrians enjoying river side, 5 stories museum building, an atrium
with semi-translucent facade. perspective elevation, 300 meters distance, museum building centered

Steps: 60, Sampler: Euler a, CFG scale: 7, Seed: 3476314016, Size: 912x512, Model: jl_model

futuristic residential high rise, high end apartment town located in Seoul metropolitan city, fascinating, mesmerizing facade,
pedestrians walking waterside, high quality, night view, modern architecture, realistic
Negative prompt: distorted buildings,
Steps: 60, Sampler: Euler a, CFG scale: 5, Seed: 2759105759, Size: 912x512, Model hash: 1ecb6b4e9c, Model: jl_model
Img2img(이미지 스타일 변환) 사용 예시 이미지

원본 이미지
프롬프트 없는 img to img 생성

기존의 이미지에서 variation을

찾는 기능을 합니다. 다양한 디자인
variation 탐색이 가능합니다.
Img2img(이미지 스타일 변환) +Txt(Prompt 추가) 사용 예시 이미지

원본 이미지
프롬프트가 있는 img to img 생성

이미지에 프롬프트의 내용을 더하여

생성. 다양한 디자인 variation,
환경, 재료 탐색이 가능합니다

A stunning, contemporary library with a stunning glass façade, a soaring Generate a cultural center that celebrates the history and diversity of the city.
atrium, and endless rows of books stretching up to the sky.

A tranquil, Zen-inspired retreat with minimalist wooden buildings, a serene A futuristic building made entirely of glass and steel, with a series of
pond, and lush gardens. interlocking shapes that seem to defy gravity.
Img2img(이미지 스타일 변환) 이미지 복원 및 변경(Inpaint) 사용 예시 이미지

원본 이미지
인페인트 기능은 마스킹을
통해 해당 구역의 이미지를
재 생성합니다

Mask_1 Mask_2

inpaint_1 inpaint_2

a full glass facade store building

tree
Negative prompt: distorted building, bad, distorted lines
Steps: 71, Sampler: Euler a, CFG scale: 7.5, Seed:
Steps: 71, Sampler: Euler a, CFG scale: 7.5, Seed:
2409448133, Size: 900x512,
2409448133, Size: 900x512,

기존의 구역이 검은색으로 마스킹을 통해 나무로 재 기존의 건물 구역이 검은색으로 마스킹을 통해 다른

생성 된 모습을 볼 수 있습니다. 건물로 재 생성된 모습을 볼 수 있습니다.
Txt2img(Control-Net) 스케치(Scribble, Canny) 사용 예시 이미지
*해당기능은 control-net model이 필요합니다 .
관련내용은 추후 게시글 업데이트 드리겠습니다 .

Create a serene image of a minimalist home nestled in a forest with large windows to allow natural light.

Steps: 60, Sampler: Euler a, CFG scale: 5, Seed: 2759105759, Size: 912x512, Model hash: 1ecb6b4e9c, Model: jl_model
Txt2img(Control-Net) 스케치(Scribble, Canny) 사용 예시 이미지
*해당기능은 control-net model이 필요합니다 .
관련내용은 추후 게시글 업데이트 드리겠습니다 .

Create an image of a luxurious beachfront villa with a large pool, palm trees.

Steps: 60, Sampler: Euler a, CFG scale: 5, Seed: 2759105759, Size: 912x512, Model hash: 1ecb6b4e9c, Model: jl_model
Txt2img(Control-Net) 깊이 맵(Depth) 사용 예시 이미지
*해당기능은 control-net model이 필요합니다 .
관련내용은 추후 게시글 업데이트 드리겠습니다 .

Create a serene image of a minimalist home nestled in a forest with large windows to allow natural light.

Steps: 60, Sampler: Euler a, CFG scale: 5, Seed: 2759105759, Size: 912x512, Model hash: 1ecb6b4e9c, Model: jl_model
Txt2img(Control-Net) 깊이 맵(Depth) 사용 예시 이미지
*해당기능은 control-net model이 필요합니다.
관련내용은 추후 게시글 업데이트 드리겠습니다.

Generate an image of a unique office complex with a sleek, glass exterior and clean lines. Dramatic lighting

Steps: 60, Sampler: Euler a, CFG scale: 5, Seed: 2759105759, Size: 912x512, Model hash: 1ecb6b4e9c, Model: jl_model