개발

이 글은 'Fundamentals of Database Engineering'에 관한 아래 유데미 강의를 보고, 공부한 내용을 정리하였습니다.https://www.udemy.com/course/database-engines-crash-course파티셔닝파티셔닝이란?- 파티셔닝: 거대 테이블을 여러 개의 테이블로 분할하고, WHERE 절에 따라 어떤 테이블 또는 파티션에 접근할지 결정하는 기술- 실제 데이터가 담기는 테이블을 TEMP_100K, TEMP_200K, TEMP_300K... 이런 식으로 나누고, TEMP(master table) 테이블은 실제 데이터는 갖고 있지 않음.- ex) TEMP로 id = 210,001에 대한 조회 쿼리가 오면 DB는 TEMP_200K에서 찾아서 주는 방식 사용법- 아..

이 글은 'Fundamentals of Database Engineering'에 관한 아래 유데미 강의를 보고, 공부한 내용을 정리하였습니다.https://www.udemy.com/course/database-engines-crash-course B-TreeB-Tree 필요성- Full Table Scans: large tables를 읽는 것은 느림... 모든 page를 읽으면 많은 디스크 IO 발생B-Tree란- 빠른 탐색을 위해 만들어진 균형잡힌 데이터 구조로 검색 공간을 최소화하는게 목표 - B-tree는 노드로 구성되어 있음, m이라는 차수를 가짐... 차수는 기본적으로 각 노드가 가질 수 있는 자식 노드의 수에 해당됨,- m degree 트리의 노드는 m-1 elements를 가짐... 각 el..

이 글은 'Fundamentals of Database Engineering'에 관한 아래 유데미 강의를 보고, 공부한 내용을 정리하였습니다.https://www.udemy.com/course/database-engines-crash-course 인덱싱 시작하기- explain analyze로 실행계획(쿼리계획)을 분석할 수 있음explain analyze select * from temp;Index only scan : Heap에서 fetch할 필요 없어 제일 빠르고 좋은 경우Parallel seq scan : 전체를 다 훑어야해서 최악의 경우. - create index로 인덱스 생성 가능create index temp_t on temp(t); - where 문으로 특정하였을 때 효과있지만, LIKE..

이 글은 'Fundamentals of Database Engineering'에 관한 아래 유데미 강의를 보고, 공부한 내용을 정리하였습니다.https://www.udemy.com/course/database-engines-crash-course 테이블과 인덱스가 저장되는 방식논리적 테이블 -> 열과 행(혹은 document)으로 이뤄져 있음 Row_ID- 특정 행 ID를 고유하게 식별(Postgres에서는 tuple ID)- MySQL에서는 기본 키가 사실상 가짜(sudo) 행 ID가 됨, 다른 DB에서는 별개의 새로운 행 ID가 열에 생성됨 Page- 행은 논리적 페이지에 저장됨, 기술적으로 한 페이지에 많은 행이 들어갈 수 있음- 페이지는 고정된 크기(MySQL는 16kb)의 메모리 위치로, 디스크..

이 글은 'Fundamentals of Database Engineering'에 관한 아래 유데미 강의를 보고, 공부한 내용을 정리하였습니다.https://www.udemy.com/course/database-engines-crash-course 트랜잭션트랜잭션이란? : 하나의 작업 단위로 취급되는 한 개 이상의 쿼리 모음트랜잭션 수명 : BEGIN -> COMMIT -> ROLLBACK(when crash)트랜잭션의 본질: 데이터를 변경하고 수정하는데 사용, 읽기 전용일 수도 있음읽기 트랜잭션: 무언가가 동시 트랜잭션 때문에 바뀌어도 신경쓸 필요 없음 트랜잭션은 항상 BEGIN 해야하고, 그렇지 않을시 DB에서 암묵적으로 BEGIN을 실행함... 항상 트랜잭션 안에 있음 원자성(Atomicity)원자성..

애플리케이션을 개발하면서 발생한 Lambda 비용 최적화 문제와 해결 과정을 정리해보았습니다.  1. 문제의 발생서비스 개발도중 AWS Lambda와 API Gateway를 이용해 REST API를 배포할 일이 있었습니다.Python 3.10 환경에서 동작하며, 웹사이트의 url을 입력으로 받으면 크롤링으로 단어를 추출하고, 토큰화 등 전처리 과정을 거쳐서 응답하는 프로그램이다.로컬환경에서 테스트 했을 때는 실행에 3초 정도가 소요되어, UX에 크게 문제를 주지 않을 것이라 생각했습니다. 그런데... production 환경에서 실행 시간이 10~20초 정도 걸리고, 심지어 특정 URL에 대해서는 Timeout이 나는 문제가 발생했습니다. Timeout이 발생했다는 것은 Lambda의 기본 제한 시간인 ..

오늘은 NestJS에서 E2E(End-to-End) 테스트를 구성하며 있었던 이야기를 소개해보려고 합니다. Jest로 테스트를 구성하였고, 크게 3가지의 목표를 달성하고 싶었습니다. 1. Mocking을 최소화하여, 최대한 실제 시나리오와 유사하게 동작하도록 하는 것. 2. DB 특성을 가져갈 수 있도록, 테스트에서도 mysql DB를 사용할 것. 3. 자동화된 자체 QA를 수행할 수 있도록, Github Action과 연동되어 CI(지속적통합)를 지원할 수 있어야 할 것. 0. 개발환경 nest : 10.3.0 typescript: 5.3.3 typeorm : 0.3.19 jest : 29.7.0 docker-compose : 1.29.2 1. 문제의 발생 처음에는 테스트용 DB(이하 Test_DB)를..

0. 개발환경 nest : 10.2.1 class-validator: 0.14.0 * 참고 : class-validator - npm (npmjs.com) 1. 문제의 발생 // user.entity.ts @Entity('user') export class User extends CoreEntity { ... @ApiProperty({ example: '홍길동' }) @Column({ type: 'varchar', nullable: true }) @Length(2, 10) @IsString() public username?: string; ... } class-validator 라이브러리를 사용해서 'username' 필드의 Length를 제한하고, 예외의 경우를 넣어서 출력되는 메시지를 확인해보았습니다..

서론 오늘은 NestJS에서 파일을 업로드 받고, AWS S3에까지 저장하는 REST API를 공유해보려합니다. aws-sdk v2로 된 한국어 자료들은 많이 있는데, version3을 사용해서 만들어봤습니다. 일단 필자도 처음에는 aws-sdk v2를 사용해서, 파일 업로드 기능을 만들었습니다. 그런데, 서버를 run 할 때 version3으로 migrate해달라는 굉장히 거슬리는 문구가 뜨는 걸 볼 수 있었습니다. (node:2109) NOTE: We are formalizing our plans to enter AWS SDK for JavaScript (v2) into maintenance mode in 2023. Please migrate your code to use AWS SDK for Jav..

서론 프로세스간 데이터 전달을 위해서 DTO(Data Transfer Object) 사용한다. NestJS에서도 MVC layer간의 데이터 전달이나 request 요청을 받을 때도 DTO를 사용할 수 있다. 이때 한 Domain에 대해서, 여러 layer별로 dto는 조금씩 사용되는데, 모든 dto를 각각의 객체로 관리하는 건 어려운 일이다. 한 예시로 Register DTO와 Login DTO를 생각해보자. // register.dto.ts export class RegisterDto { email!: string; password!: string; username!: string; } // login.dto.ts export class LoginDto { email!: string; password..