말없는 (220.♡.44.39)
2024년 7월 14일 PM 10:55 · 수정됨(07. 15. 21:33)
Azure에서 데이터팩토리 -> 데이터브릭스 -> 시냅스를 거쳐서 Spark로 넘어오고 있습니다.
Azure Synapse는 데이터팩토리 + Spark 같은 느낌이네요.
매일 최신의 데이터만 처리되는 업데이트가 DB에 꾸준히 많이 쌓이고
가끔씩 전체 데이터를 처리해야할 요구가 발생해서
여러 데이터 프레임워크 서비스를 떠돌아 다녔는데...
프레임워크를 계속 돌리기엔 시냅스던 데이터브릭스건 비쌉니다.
그냥 간단하게 개발자는 local 모드로 돌리고
대형처리는 서비스에 올리는 식으로 개발을 해야할것 같은데…
팀 규모가 작아서 인프라 관리가 가장 큰 문제일것 같네요.
회사에서는 Azure만 써야 해서 값싼 다른 서비스를 활용하기도 어렵구요.
쩝..
댓글 (10)
-
음음악매거진편집좀
24.07.14 · 39.♡.58.98
.......나만 못알아들은 거 아니죠? - 말
말없는
→ 음악매거진편집좀 작성자 24.07.14 · 220.♡.44.39
죄송합니다. 누카콜라 한잔 드시고 기분푸세요. -
데데굴대굴
24.07.14 · 121.♡.18.157
대용량 처리 시스템은 애초에 뭘 얼마나 하실껀지에 대한 요구사항을 명확하게 잡고 가는거 아니면 어지간한 회사는 버티기 힘들정도로 비용이 어마무시하게 청구될겁니다.
그나마 할인 많이 해주는 분야이긴한데 카드 꼽고 비용 다 내고 계신다면… 영업 부르시는게… 나을꺼에요… - 말
말없는
→ 데굴대굴 작성자 24.07.14 · 220.♡.44.39
시냅스로 열심히 돌렸더니 월말되니까 매니저가 호출을 하네요.
매니저가 회계사 출신이라 비용에 되게 민감해요 ㅎㅎ - 데
데굴대굴
→ 말없는 24.07.14 · 121.♡.18.157
회사에서 비용에 민감하시면… 일 줄이고 놀면 됩니다(?)
참고로 한국 애져에서 가장 비싼거 쓰고 계시는 중이에요. - 말
말없는
→ 데굴대굴 작성자 24.07.14 · 220.♡.44.39
조만간.. 땜빵으로 로컬에서 델타레이크 돌릴것 같습니다.. - 데
데굴대굴
→ 말없는 24.07.14 · 121.♡.18.157
로컬에 꾸미다가… 개발자에서 엔지니어로 전향하게 됩니다(?) 그리곤 둘 다하게 되죠.
무시무시하죠? -
Hhayandora
24.07.14 · 14.♡.49.156
한동안 빅데이터 분석에 하둡과 스팍크 많이 썼었는데 AI 프레임워크 많이 쓰면서 (제겐) 잊혀진 기술이 되어버렸네요.. 여전히 쓸데가 많을 것 같은데 저도 시간날 때 살펴봐야겠네요. - 말
말없는
→ hayandora 작성자 24.07.14 · 220.♡.44.39
나름 계속 발전을 하고 있어서.. python과 sql에 익숙한 데이터 분석 단계에 유용한것 같습니다. -
예예로니모
→ hayandora 24.07.15 · 211.♡.172.108
Pyspark 으로 ai 프레임웍들 구동하시면 더욱 빠르게 인퍼런스를 ㅎ
댓글을 작성하려면 이 필요합니다.