SDK (127.♡.0.1)
2025년 10월 3일 PM 12:35 · 수정됨(10. 05. 17:42)
안녕하세요. SDK 입니다.
다모앙 서버에 이미지등이 쌓이면 SSD 용량이 올라갑니다.
이번 그레비톤계열로 마이그레이션 하면서 변경이 된것이 AWS S3 버켓에 올라가게 됩니다.
다모앙은 2024년 3월 28일 이미지 부터 업로드 해야 하니, 중복된것 뺴고 업로드 하는 것이 필요했고
Go lang 의 컨커런시 (병렬처리)를 이용해서 예상보다 빠르게 업로드를 진행 할 수 있었습니다.
그리고 매일 새벽 2시에 s3 에 게시판 정적 이미지들이 올라갑니다 .
아직 무서워서 삭제는 하지 못하고 있고요
이번 2025년 추석에는 게시판 이미지와 확장자 변경된 것 들이 있어서 백업 후에 진행이 되게 됩니다.
정석으로는 서버 점검 페이지 열고 문제 발생시 복구를 하게 되는데, 저희는 단위를 한달 정도로 해보려 합니다.
순서는
1. 게시판에 첨부된 이미지가 s3 에 없으면 파일명으로 확장자를 검색하고
2. 동일한 파일명에 확장자가 다르면 db 의 확장자를 업데이트 하게 됩니다.
3. s3 에 파일이 없을 경우 cdn으로 캐시된 것을 다운 받아 s3 에 업로드 합니다.
4. 변경 히스토리를 테이블에 기록합니다.
예상 비용은 s3 api 호출 할 때 비용이 조금 발생하고 , 내부 통신으로 VPC Endpoint 를 설정하여
EC2 구간과 S3 구간은 비용이 발생되지 않도록 작업해 두었습니다.
이번 연휴 두근 두근 기대가 됩니다
{emo:DINKIssTyle-3d-ang-007.webp:150}
댓글 (5)
-
11830m
25.10.03 · 49.♡.164.74
-
SSDK
→ 1830m 작성자
25.10.03 · 127.♡.0.1
App 에서 s3 로 바로 업로드 처리를 하면 가장 좋은데 , 현재 그누보드소스가 20년 된 코드다 보니,
말씀하시긴것 처럼 시도 하려다가 부작용이 조금 있어서, 차세대에서는 그런 설계로 가려고 합니다.
지금은 로컬 서버 ssd 는 temp 개념으로 사용중입니다.
이번 작업은 서버 하드 용량 확보를 위해 gif -> mp4 , png, jpg -> webp 변환 이후 삭제한 파일들이 있어서
파일명을 최신화 시키는 작업니디다 -
SSDK
작성자
25.10.05 · 127.♡.0.1
커밋 과정에서 .env 파일이 올라가 버려서 repo는 임시로 비공개 전환했습니다. -
LLeoNa
25.10.05 · 223.♡.46.128
변환작업도 람다로 s3 내부에서 진행하면 안되는 걸까요? -
SSDK
→ LeoNa 작성자
25.10.05 · 127.♡.0.1
그것이 정석이긴 합니다
댓글을 작성하려면 이 필요합니다.
내부 서버에서 관리하다가 일배치 도는건가요 ?
바로 올리지 않는 이유가 있나요 ?
잘못 이해한건가요 ?? 마이그레이션 과정을 말씀하신건가..