Blog

  • 데이터&AI팀의 DataHub 도입기

    안녕하세요, 베이글코드 데이터&AI팀 데이터 엔지니어 하석윤 입니다. 오늘은 사내 데이터 디스커버리 툴로 사용하고 있는 데이터헙(DataHub)을 도입한 여정을 소개하려고 합니다 😁 DataHub을 왜 도입하게 되었는가? 2020년부터 데이터&AI팀은 아문센(Amundsen)라는 데이터 디스커버리 툴을 도입해 사용하고 있었습니다. 그러나… 2022년 당시 데이터&AI팀은 amundsen-databuilder 4.1.0 버전을 사용하고 있었습니다. 자동화를 위해 Airflow에 amundsen-databuilder 패키지도 설치 해뒀구요. 그런데 이것이 Airflow에 설치된 다른 pip 패키지들과 충돌을 일으켰고, 결국 […]

    • Tech
    |
    2024.09.03

  • SQL 몰라도 데이터 활용하기: Metabase 도입기

    안녕하세요. 베이글코드 Data&AI 팀의 Data Engineer 김경훈입니다. 🙂 이번에 베이글코드에서 새로운 BI 툴로 Metabase를 도입했는데 그 과정에 대해서 소개해 드리려 합니다. 목차 1. 베이글코드의 Data Delivery– Data Delivery 현황– 추가적인 BI 툴 필요성 제기 2. Metabase 배포 과정– EKS 환경 배포– 초기설정– 트러블 슈팅 과정 3. 마무리 베이글코드의 Data Delivery Data Delivery 현황 베이글코드에서는 데이터를 […]

    • Tech
    |
    2024.08.02

  • Databricks SQL Serverless 도입기

    1. Intro 안녕하세요. 베이글코드 데이터&AI팀의 엔지니어링 매니저 정현진입니다. 이번에는 Databricks Data Intelligence Day 한국 이벤트 2024에서 발표했던 Databricks SQL Serverless 도입, Redshift와 기존 Databricks SQL Classic 서비스를 대체한 이야기를 해보려고 합니다. 2. Background 베이글코드의 DATA&AI 팀은 2017년 만들어졌습니다. 초기에는 데이터 양이 많지 않았기에 AWS Redshift 를 통해서 ETL 작업이 진행되었는데요. 이러한 구조는 2018년에 이미 큰 […]

    • Tech
    |
    2024.05.30

  • 2023 AWS re:invent 신기술 정리

    2023 AWS re:invent 행사에 베이글코드 개발자분들이 다녀왔습니다 😁 미국 라스베가스에서 11월 27일부터 12월 1일까지 진행된 AWS re:invent!! 그곳에서 소개되었던 신기술과 신규 기능들 중 흥미로운 것들을 정리해보았습니다! EKS의 Prometheus 지표를 에이전트 없이 수집 EKS로 운영하는 k8s 클러스터의 Prometheus 지표를 prometheus agent 설치 없이 EKS 콘솔과 API 호출을 통해서 Prometheus 지표 정보를 수집할 수 있게 되었습니다! 위와 […]

    • Tech
    |
    2024.02.15

  • NPM Audit으로 패키지 취약점 관리하기

    Introduction 안녕하세요. 베이글코드 Platform팀 Server Engineer 이종현입니다. 오늘은 수많은 npm 패키지들의 보안 취약점을 검사해 주는 npm audit에 대한 주제로 이야기해보려고 합니다. npm audit은 CLI 커맨드이며, NSP 팀이 npm에 합류하면서 npm v6에 기능이 추가되었습니다. NSP 팀은 npm의 보안과 관련하여 오랫동안 분석을 해오며 nsp라는 tool을 만들기도 한 팀인데요, npm이 그러한 NSP의 데이터베이스에서 취약점에 대한 정보를 이용할 수 있게 된 것입니다. npm […]

    • Tech
    |
    2024.01.10

  • 기술부채 청산 출장 후기 — Software Engineer Point of View

    제가 속한 프로젝트 개발팀이 2019년 5월 5일부터 18일까지 2주간 기술부채를 청산하기 위해 베트남으로 출장을 다녀왔습니다. 출장을 떠나게 된 이유는 개발 팀이 다낭 간 이야기를 참고하시기 바랍니다. 굳이 출장까지 가서 기술부채를 해결하려고 한 이유는 몇 가지가 있는데, 리프레시를 위한 목적도 있었고 최대한 interrupt 를 받지 않고 집중해서 일할 수 있는 환경을 만들기 위해서였습니다. (사실은 집에 도망갈 수 […]

    • Tech
    |
    2019.10.07

  • 개발팀이 다낭 간 이야기

    2019. 2월초, 매니져 워크샵에서 개선을 위한 자유 발언 시간 중에 개발팀에 대한 의견을 냈다. 이제 “기술 부채”를 상환하기 시작해야 됩니다. 기술 부채(Technical Debt)란 무엇인가? 프로젝트 초기에는 성공을 위해 비지니스적인 결정에 우선권이 있어 안정성이나 견고함 보다는 속도 위주로 개발을 하게 됩니다. 많은 부분들이 빠르게 개발되고 자주 바뀌기 때문에 마치 부실공사처럼 추후에 문제가 생길 수 있는 부분이 […]

    • Tech
    |
    2019.06.17

Loading...

End of content

No more pages to load