Today I Learned

Task (반복 작업 예약)실행 대상: DDL/DML/SQL 구문, Stored Procedure, 스크립팅 코드단일 Task뿐 아니라 여러 Task를 연결해 그래프 형태로 실행 가능COPY INTO와 함께 사용 시 데이터 중복 적재 방지 매커니즘 제공 → 같은 구문 반복 실행 가능스케줄이 있는 Task는 루트 Task, 루트 밑에 다른 Task 연결 가능실행 방식:Virtual Warehouse 사용 또는 Serverless 실행 선택 가능Serverless는 과거 실행 기록 기반으로 리소스 자동 사이징스케줄 방식: Crontab / n분 단위TASK 생성Root Task: 실행환경, 스케줄 설정Child Task: 선행 태스크를 지정(AFTER)Task 실행기본 suspend 상태로 생성→ RESUM..

주요 계층 구조1) 스토리지 레이어 (Storage Layer)Snowflake가 관리하는 클라우드 오브젝트 스토리지 기반하이브리드 컬럼 구조(컬럼에 저장된 행 세트)테이블은 기본적으로 마이크로 파티션(Micro-Partition) 단위로 저장마이크로 파티션(Micro-Partition)50~500MB 크기의 불변(immutable) 단위컬럼 단위 압축, Min/Max 통계 포함Immutable → Time Travel, Zero-Copy Cloning 지원Pruning: 쿼리 시 통계 정보를 이용해 불필요한 파티션은 읽지 않음데이터가 update되면 변경되는것이 아니라 새로운 마이크로 파티션이 생성Interoperability Storage(외부 스토리지 연동) 옵션이 있어, 일부 테이블/파일 관리를 ..

시스템 용량이나 성능 요구사항을 개략적으로 추정하기 위해서는 규모 확장성을 표현하는 방식을 알아야 함기본적으로 2의 제곱수나 응답지연 값, 가용성에 관계된 수치 등이 있음2의 제곱수2의 제곱수로 표현한 데이터 볼륨의 단위응답지연 값통상적인 컴퓨터에서 구현된 연산들의 응답지연 값위의 데이터를 시각화한 수치제시된 수치들을 분석한 결과메모리는 빠르지만 디스크는 아직도 느리다.디스크 탐색은 가능한 피하라.단순한 압축 알고리즘은 빠르다.데이터를 인터넷으로 전송하기 전에 가능하면 압축하라.데이터 센터는 보통 여러 지역에 분산되어 있고, 센터들 간에 데이터를 주고받는 데는 시간이 걸린다. 가용성에 관계된 수치들고가용성: 시스템이 오랜 시간 동안 지속적으로 중단 없이 운영될 수 있는 능력예제: 트위터 QPS와 저장소 ..

단일 서버모든 컴포넌트(웹, 앱, 데이터베이스, 캐시 등)이 전부 한 대의 서버에서 실행되는 시스템사용자의 요청 처리 흐름사용자가 도메인 이름으로 웹사이트에 접속DNS에 질의하여 도메인 이름을 IP주소로 변환해당 IP 주소로 HTTP 요청이 전달웹 서버에서 HTML 페이지, JSON 형태의 응답을 반환데이터베이스웹/모바일 트래픽 처리용 서버(웹 계층)와 데이터베이스용 서버(데이터 계층)를 분리수직적 규모 확정 vs 수평적 규모 확장대규모 애플리케이션에서 수평적 규모 확장이 적절한 이유한 대의 서버에 CPU나 메모리를 무한대로 증설할 수 없음자동 복구(failover) 방안이나 다중화 방한에 대한 문제로드밸런서부하 분산 집합(load balancing set)에 속한 웹 서버들에게 트래픽 부하를 고르게 분..