Java/Spring Batch
-
[Spring Batch] 에러처리(레코드 건너뛰기, 잘못된 레코드 로그 남기기, 입력이 없을 때의 처리)Java/Spring Batch 2021. 8. 10. 08:13
스프링 배치 애플리케이션에서 시작할 때와 처리 중에 또는 결과를 기록할 때 문제가 발생할 수 있다. 배치 처리 중에 발생하는 여러 가지 에러를 다루는 방법을 살펴보자. 레코드 건너뛰기 입력에서 레코드를 읽는 중에 에러가 발생했을 때는 몇 가지 다른 선택지가 존재한다. 먼저 예외를 던져 처리를 멈추는 것이다. 얼마나 많은 레코드를 처리해야 하는가와 에러가 발생한 레코드 한 개를 처리하지 않았을 때의 영향도에 따라 에러를 던져 처리를 멈추는 것은 극단적인 방버일 수 있다. 스프랭 배치는 그 대신 특정 예외가 발생했을 때 레코드를 건너뛰는 skip 기능을 제공한다. 레코드를 건너뛸지 여부를 결정할 때 고려해야 할 두 가지 요소가 있다. 먼저 어떤 조건에서 레코드를 건너뛸 것인가, 특히 어떤 예외를 무시할 것인..
-
[Spring Batch] ItemReader(4) - 기존서비스Java/Spring Batch 2021. 6. 13. 09:54
기존서비스 대부분의 회사에는 현재 서비스 중인 웹 또는 다른 형태의 자바 애플리케이션이 존재한다. 이들 애플리케이션은 수많은 분석, 설계, 테스트, 버그 수정 과정을 거쳤다. 이런 애플리케이션을 구성하는 코드는 실전에서 테스트됐으며 이상이 없음이 검증됐다. 그럼 배치 처리에서 기존 애플리케이션의 코드를 사용할 수는 없을까? 고객 객체를 읽어들이는 배치 처리 예제를 생각해보자. 다만 지금까지의 예제처럼 Customer 객체의 매핑 대상이 단일 테이블이나 파일이 아니라 여러 데이터베이스의 여러 테이블에 산재돼 있다고 가정한다. 또한 물리적으로 고객 데이터를 지우지 않는다. 그 대신 삭제됐다는 플래그를 기록한다. 웹 기반 애플리케이션에는 이미 고객 데이터를 조회하는 서비스가 존재한다. 배치 처리에서 해당 서비..
-
[Spring Batch] ItemReader(3) - 저장프로시저(SP, Stored Procedure)Java/Spring Batch 2021. 5. 31. 08:44
저장 프로시저란 무엇일까? 특정 유형의 클라이언트가 향후 수행할 수 있도록 데이터베이스에 저장한 해당 데이터베이스 전용 코드의 집합을 말한다. 모든 데이터베이스가 저장프로시저를 지원하진 않지만 대부분의 상용 등급 관계형 데이터베이스에서 사용이 가능하다. 대다수의 엔터프라이즈 환경에서 관계형 데이터베이스는 데이터가 저장된 테이블이 있는 단순한 공간만이 아니다. 관계형 데이터베이스는 온갖 비즈니스 목적에 맞춰 사용되는 복잡한 저장 프로시저가 포함된 코드의 생태계다. 저장 프로시저는 일반적인 자바 개발자에게는 데이터베이스로 작업을 할때 접하기에 가장 먼 메커니즘이지만, 전 세계의 다양한 데이터베이스에서 찾을 수 있는 잘 정립된 도구다. 스프링 배치가 저장 프로시저에서 데이터를 조회하는 용도로 제공하는 Stor..
-
[Spring Batch] ItemReader(2) - JPAJava/Spring Batch 2021. 5. 30. 20:24
JPA 또는 자바 퍼시스턴스 API는 ORM 영역에서 표준화된 접근법을 제공한다. JPA는 아이템을 조회하는 데 커서 기반 방법은 제공하지 않는다. 스프링 부트가 제공하는 대부분의 기능을 사용할 때 그러하듯, 실제로 스프링 부트를 사용해서 JPA를 구성하는 것은 매우 쉽다. JPA를 사용하는 예제에서 신경 써야 할 부분은 개발하는 ItemReader를 구성하는 것이다. 앞서 언급했듯 JPA는 커서 기법의 데이터베이스 접근을 지원하지 않지만 페이징 기법의 데이터베이스 접근은 지원한다. ItemReader로는 org.springframework.batch.item.database.JpaPagingItemRader를 사용하는데, 해당 리더에는 네 개의 의존성이 필요하다. 필요한 의존성은 ExecutionCo..
-
[Spring Batch] ItemReader(1) - JDBCJava/Spring Batch 2021. 5. 30. 12:46
스프링 배치는 개발자가 별도로 코드를 작성하지 않아도 거의 모든 유형의 입력 데이터를 처리 할 수 있는 표준 방법을 제공하며, 웹 서비스로 데이터를 읽어드리는 것처럼 스프링 배치가 지원하지 않는 포맷의 데이터를 처리 할 수 있는 커스텀 리더를 개발하는 기능도 제공한다. 파일입력 플랫파일 XML JSON 데이터베이스 입력 JDBC 하이버네이트 JPA 저장 프로시저 (Stored Procedure) 스프링 데이터 JDBC 배치 처리를 할 때 대용량 데이터를 처리하는 요구 사항은 흔히 있는 일이다. 레코드 수백만 건을 반환하는 쿼리가 있다면 아마도 전체 데이터를 한 번에 메모리에 적재하고 싶지는 않을 것이다. 하지만 스프링이 제공하는 JdbcTemplate을 사용하고 싶지 않은 일이 벌어진다. JdbcTemp..
-
[Spring Batch] StepJava/Spring Batch 2021. 5. 15. 22:54
Step 잡이 전체적인 처리를 정의한다면, 스텝은 잡의 구성 요소를 담당한다. 스텝은 독립적이고 순차적으로 배치 처리를 수행한다. 그렇기 때문에 이 책에서는 스텝을 배치 프로세서라고 부른다. 스텝은 모든 단위의 조각이다. 자체적으로 입력을 처리하고, 자체적인 처리기를 가질 수 있으며, 자체적으로 출력을 처리한다. 트랜잭션은 스텝 내에서 이뤄진다. 스텝은 서로 독립되도록 의도적으로 설계됐다. 이렇게 함으로써 개발자는 필요에 따라 자유롭게 잡을 구조화할 수 있다. 테스크릿 처리 vs 청크처리 테스크릿 모델 Tasklet인터페이스를 사용해 개발자는 Tasklet.execute 메서드가 RepeatStatus.FINISHED 를 반환할 때까지 트랜잭션 범위 내에서 반복적으로 실행된느 코드 블록을 만들 수 있다...
-
[Spring Batch] 스프링 배치란 / 이용하면 좋은 이유Java/Spring Batch 2021. 5. 10. 22:17
배치? 일괄적으로 많은 데이터를 처리하는 것 예시 은행에서 생성되는 거래명세서와 퇴직연금명세서 단골 쇼핑몰에서 보내는 쿠폰이 포함된 메일 배치처리를 이용하면 좋은 이유 실제 처리가 시작되기 전에 필요한 정보를 미리 수집할 수 있다. 거래가 이뤄질 때마다 바로 월별 거래명세서를 인쇄해내는 것이 합리적일까? 월말까지 기다려서 한 번에 거래 내역을 조사하는 것이 더 합리적이다. 사업적으로 도움이 된다. 대부분의 사람들은 구매 버튼을 클릭하자마자 온라인으로 구입하려는 상품이 배송 트럭에 실렸으면 한다. 그렇지만 이는 소매업자에게 최선이 아닐 수도 있다. (내생각에는 고객에게 더 도움이 될 것 같다. 환불 비용은 고객이 부담해야 할테니..) 고객이 마음을 바꿔 주문을 취소할 때, 아직 배송하기 전이라면 훨씬 더 ..