공부/Spring Batch

가. Batch Fault a. Exception - 배치는 보통 대용량 데이터를 처리하는 경우가 많다. 그렇기 떄문에 그에 따라 다양한 예외사항이 발생할수도 있다. - 즉 Exception 중에서 Job을 중단 해야할 정도의 크리티컬한 경우와 그렇지 않은 경우가 있을 수 있다. - Spring Batch에서는 이부분에 대한 클래스와 메서드를 지원하고 있고 간단하게 사용할수가 있도록 제공하고 있다. 나. Skip 처리하기 a. faultTolerant - Step을 만들때 .faultTolerant 메서드를 볼 수가 있다. 이름처럼 Step에 대한 falut를 허용한다라는 의미를 지니고 있다. - 자세히 살펴보면 다양한 메서드들을 제공하고 있는 것을 볼 수 있다. b. skip 과 skipLimit - ..

출처 : http://www.yes24.com/Product/Goods/99422216 스프링 배치 완벽 가이드 2/e - YES24 스프링 배치의 `Hello, World!`부터 최근 플랫폼의 발전에 따른 클라우드 네이티브 기술을 활용한 배치까지 폭넓은 스프링 배치 활용 방법과 이와 관련된 유용한 내용을 다룬다. 또한 스프링 프레임 www.yes24.com 가. ItemProcessor a. 무엇인가? - ItemProcessor는 Chunk 기반 배치에서 처리&변환(Output)를 담당하고 있다. => 비필수이며 보통 개발자의 비지니스로직이 들어간다. - 입력으로 들어오는 Item이 null 일경우 .process 메서드에 접근하지 못한다. b. 특징 - Adapter가 제공되어 기존 서비스 재사용가..

출처 : http://www.yes24.com/Product/Goods/99422216 스프링 배치 완벽 가이드 2/e - YES24 스프링 배치의 `Hello, World!`부터 최근 플랫폼의 발전에 따른 클라우드 네이티브 기술을 활용한 배치까지 폭넓은 스프링 배치 활용 방법과 이와 관련된 유용한 내용을 다룬다. 또한 스프링 프레임 www.yes24.com 가. Chunk 기반 배치 a. 무엇인가? - Tasklet 기반과 다르게 하나에 처리하는 것이 아닌 기준을 두어 분할해서 처리하는 방법이다. - ckunk를 바탕으로 Read, Process(비필수), Writer 순서로 배치처리를 진행한다. b. 확인해보기 - 머리속으로만 생각하다보면 잘못 알고 있는 부분이 생길수 있으니 간단한 테스트를 해보자 ..

출처 : http://www.yes24.com/Product/Goods/99422216 스프링 배치 완벽 가이드 2/e - YES24 스프링 배치의 `Hello, World!`부터 최근 플랫폼의 발전에 따른 클라우드 네이티브 기술을 활용한 배치까지 폭넓은 스프링 배치 활용 방법과 이와 관련된 유용한 내용을 다룬다. 또한 스프링 프레임 www.yes24.com 가. Embedded DB 사용 이유? a. 서비스 DB에 배치 스키마가 생성되면 좀...그래 - 지난번 포스팅에서 DB가 여러대일 경우 JobRepository를 Custom 해서 사용한다고 공부했었다. - 그리고 보통은 서비스 DB에 Batch 테이블을 쓰기엔 꺼려지기 때문에 별도로 관리하고 싶어진다.. - 또 배치 스키마를 위해서 DB를 새롭게..

출처 : http://www.yes24.com/Product/Goods/99422216 스프링 배치 완벽 가이드 2/e - YES24 스프링 배치의 `Hello, World!`부터 최근 플랫폼의 발전에 따른 클라우드 네이티브 기술을 활용한 배치까지 폭넓은 스프링 배치 활용 방법과 이와 관련된 유용한 내용을 다룬다. 또한 스프링 프레임 www.yes24.com 가. JobRepository a. 무엇인가? - 스프링 배치는 Job 상태관리를 위해 해당 정보들을 JobRepository를 통해 저장&관리한다. - 어떤 동작을 수행할지에 대한 부분들을 JobRepository 참조해서 결정한다. - 모니터링 영역에도 사용된다. (실행 추세, 어디까지 실행되었는지 파악) => Job이 처리되는 데 걸리는 시간,..

출처 : http://www.yes24.com/Product/Goods/99422216 스프링 배치 완벽 가이드 2/e - YES24 스프링 배치의 `Hello, World!`부터 최근 플랫폼의 발전에 따른 클라우드 네이티브 기술을 활용한 배치까지 폭넓은 스프링 배치 활용 방법과 이와 관련된 유용한 내용을 다룬다. 또한 스프링 프레임 www.yes24.com 가. JobParameters a. Mysql 설정 유의 - Table 'batch.batch_job_instance' doesn't exist => 단순 datasource 설정만 할경우 배치관련 스키마가 생성되지 않기때문에 발생하는 오류 - yml 설정에 spring.batch.jdbc.initialize-schema=always 추가해야함 @S..

출처 : http://www.yes24.com/Product/Goods/99422216 스프링 배치 완벽 가이드 2/e - YES24 스프링 배치의 `Hello, World!`부터 최근 플랫폼의 발전에 따른 클라우드 네이티브 기술을 활용한 배치까지 폭넓은 스프링 배치 활용 방법과 이와 관련된 유용한 내용을 다룬다. 또한 스프링 프레임 www.yes24.com 가. 배치 (Batch-Processing) a. 무엇인가? - 실시간으로 동작하는 주 서비스 외에 별도로 대량의 데이터를 일괄처리 하는 것을 의미한다. => ex. 월말정산, 회원 상태 처리 등 b. 특징 - 사용자의 요청에 의해 동작하는 방식이 아니다. - 주 서비스의 리소스를 소모하지 않고 별도로 동작한다. - 일괄로 데이터를 처리하기 때문에 ..

2021/02/25 - [개발공부/Spring ] - 예제 프로그램 따라하기 예제 프로그램 따라하기 스케줄러 형태로 되어있는 배치는 많이 봤는데 Spring Batch를 사용한 배치 프로그램은 본적이 없는 것 같다. 궁금하기도 하고 공부해뒀다가 나중에 시간될때 적용해봐야겠다!!! 예제 : spring.io/guides willbfine.tistory.com 저번에 예제 프로그램을 따라해보고 이정도면 크게 어렵지 않네? 라는 착각을 하고 있었다... 예제를 활용해서 간단한거 만들어봤는데 오류가 오류가... 쉴틈없이 쏟아졌다.. Spring Batch 쉽지않다 가. 고민하기 a. 뭘 만들까? - 일단 API 요청을 통해 JSON을 받아서 그걸 활용해서 만들어 보고 싶었다. - 처음에는 Tistory API를..

스케줄러 형태로 되어있는 배치는 많이 봤는데 Spring Batch를 사용한 배치 프로그램은 본적이 없는 것 같다. 궁금하기도 하고 공부해뒀다가 나중에 시간될때 적용해봐야겠다!!! 예제 : spring.io/guides/gs/batch-processing/ 가. 개요 a. 의존성 - Spring boot 4.3 , Spring Batch Starter로 간단하게 구현할 수 있다. dependencies { implementation 'org.springframework.boot:spring-boot-starter-batch' compileOnly 'org.projectlombok:lombok' runtimeOnly 'org.hsqldb:hsqldb' annotationProcessor 'org.proje..