[Anifriends] Redis 캐시에서 발생한 동시성 이슈 해결기

🚀  개요

데브코스 4기에서 봉사 플랫폼인 Anifriends 에서 보호 동물 조회 성능을 높이기 위해 첫 페이지와 총 데이터 개수를 캐시하였다. 개발한 지 3개월 지났지만, Redis와 동시성에 대해 공부를 더 하고 다시 코드를 보니 동시성 문제가 있을 만한 코드가 보여서 수정을 하려고 한다.

캐시 자료 구조

• 보호 동물 첫 페이지: 보호 동물 목록은 생성 시간 기준 내림 차순이고, Redis 의 ZSet(Sorted Sets)을 사용하였다. ZSet 은 score 기준 오름차순으로 정렬하므로, score 을 -created_at 로 설정하여 생성 시간 기준으로 내림 차순으로 정렬된 데이터를 캐시하였다.
• 보호 동물 총 수: Redis 의 Strings를 사용하였다.

캐시 전략

읽기 전략: Look-Aside

• 캐시에 데이터가 존재하면 해당 데이터를 응답
• 캐시에 데이터가 존재하지 않으면 DB에서 데이터를 조회하고 캐싱 후 응답
• Cache Warming 을 통해 어플리케이션이 띄워질 때 첫 페이지 캐시

쓰기 전략: Write Through

• 생성: 새로운 데이터 캐시, 총 데이터 개수 증가
• 수정: 캐시 대상일 경우 해당 데이터 삭제 후 재캐시
• 삭제: 캐시 대상일 경우 해당 데이터 삭제, 총 데이터 개수 감소

🚨 문제 1. 캐시 크기를 유지하기 위한 로직에서 동시성 문제 발생

새로운 데이터가 추가될 경우, 캐시의 크기를 조회하여 최대 크기를 초과한다면 다음과 같이 ZSet 의 ZREMRANGEBYSCORE 커맨드를 사용하여 마지막 데이터를 삭제한다.

private void trimCache() {
    if (zSetOperations.size(ANIMAL_ZSET_KEY) > ANIMAL_CACHE_SIZE) {
        zSetOperations.removeRange(ANIMAL_ZSET_KEY, LAST_INDEX, LAST_INDEX);
    }
}

캐시의 최대 크기가 30이고 동시에 50개의 보호 동물 생성 요청이 발생한다고 가정하였다. 정상적인 로직에서는 30개의 데이터가 캐시 되어야 한다.

@Test
@DisplayName("성공: 동시에 보호 동물 추가")
void saveAnimal() throws InterruptedException {
    // given
    int count = 50;
    int cacheSize = 30;
    Shelter shelter = shelter();
    List<Animal> animals = animals(shelter, count);
    long id = 1;
    for (Animal animal : animals) {
        ReflectionTestUtils.setField(animal, "animalId", id++);
        ReflectionTestUtils.setField(animal, "createdAt", LocalDateTime.now());
    }

    // when
    ExecutorService executorService = Executors.newFixedThreadPool(count);
    CountDownLatch latch = new CountDownLatch(count);

    // when
    for (int i = 0; i < count; i++) {
        int finalI = i;
        executorService.submit(() -> {
            try {
                animalRedisRepository.saveAnimal(animals.get(finalI));
            } finally {
                latch.countDown();
            }
        });
    }

    latch.await();

    // then
    assertThat(redisTemplate.opsForZSet().range("animal:animals", 0, -1))
        .hasSize(cacheSize);
}

역시나 데이터가 제대로 캐시 되지 않았다. 심지어 단 한 개의 데이터도 캐시되지 않았다. 50개의 트랜잭션에서 캐시의 최대 크기를 초과했다고 판단하며 마지막 데이터를 삭제했기 때문이다.

✅ 해결 방법

ZSet 의 ZREMRANGEBYSCORE 커맨드를 사용하여 마지막 데이터가 아닌 캐시의 최대 개수를 초과한 데이터를 삭제하도록 수정하였다.

private void trimCache() {
    zSetOperations.removeRange(ANIMAL_ZSET_KEY, ANIMAL_CACHE_SIZE, LAST_INDEX);
}

🚨 문제 2. 데이터 개수 증감 로직에서 갱신 손실 발생

데이터 추가되거나 삭제될 때 캐시된 개수를 조회하여 (현재 개수 + 1)을 하여 저장한다.

@Override
public void increaseTotalNumberOfAnimals() {
    Long cachedCount = getTotalNumberOfAnimals();
    valueOperations.set(TOTAL_NUMBER_OF_ANIMALS_KEY, cachedCount + 1);
}

동시에 10개의 보호 동물 생성 요청이 발생한다고 가정하였다. 정상적인 로직에서는 10개로 캐시 되어야 한다.

    @Test
    @DisplayName("성공: 동시에 총 동물 수 증가")
    void increaseTotalNumberOfAnimals() throws InterruptedException {
        // given
        int count = 10;

        // when
        ExecutorService executorService = Executors.newFixedThreadPool(count);
        CountDownLatch latch = new CountDownLatch(count);

        // when
        for (int i = 0; i < count; i++) {
            executorService.submit(() -> {
                try {
                    animalRedisRepository.increaseTotalNumberOfAnimals();
                } finally {
                    latch.countDown();
                }
            });
        }

        latch.await();

        // then
        assertThat(animalRedisRepository.getTotalNumberOfAnimals()).isEqualTo(count);
    }

결과는 10개가 아닌 1개였다. 여러 트랜잭션에서 동일한 개수를 조회하고 갱신했기 때문이다.

✅ 해결 방법

ZSet 의 INCR 커맨드를 사용하여 원자적으로 개수가 증가되도록 수정하였다.

public void increaseTotalNumberOfAnimals() {
    valueOperations.increment(TOTAL_NUMBER_OF_ANIMALS_KEY);
}

감소할 때도 동일한 문제가 발생했고, DECR 커맨드를 사용하여 해결하였다.