국산 ETL 도구인 Terastream의 메타데이터를 효과적으로 모니터링하는 방법을 고민하던 중, Streamlit과 streamlit-aggrid 패키지를 활용하는 아이디어를 떠올렸습니다. 기존 Streamlit의 DataFrame 출력 방식은 데이터 양이 많아지면 불편함을 느낄 수 있는데, streamlit-aggrid는 훨씬 직관적이고 사용자 친화적인 그리드 형태로 데이터를 표시해줍니다. 특히 대용량 데이터 처리에 있어서 페이징 기능은 Streamlit 기본 DataFrame보다 훨씬 효율적이고 사용자 경험을 개선시켜 줄 것이라 기대합니다.
본격적으로 Terastream의 prj list 정보를 streamlit-aggrid를 이용하여 출력해 보았습니다. streamlit-aggrid는 단순히 데이터를 표시하는 것을 넘어, 필터링, 정렬, 컬럼 조정 등 다양한 기능을 제공하여 사용자가 원하는 정보를 쉽게 찾고 분석할 수 있도록 도와줍니다. 예를 들어, 특정 프로젝트 이름이나 상태를 검색하여 빠르게 원하는 정보를 확인하거나, 특정 컬럼을 기준으로 데이터를 정렬하여 분석하는 작업이 훨씬 수월해졌습니다. 이번 테스트에서는 prj list 정보만 출력했지만, Terastream이 제공하는 다양한 메타데이터(테이블 정보, 컬럼 정보, 작업 실행 로그 등)를 streamlit-aggrid를 통해 시각화하면 훨씬 풍부하고 효과적인 모니터링 시스템을 구축할 수 있을 것으로 예상됩니다. 실제로, streamlit-aggrid가 제공하는 고급 기능들을 활용하면, 차트 연동이나 상세 정보 표시 등 더욱 발전된 모니터링 대시보드를 만들 수 있을 것 같습니다. 이 글에서는 prj list 정보 출력만 간략하게 소개했지만, 앞으로 Terastream의 다양한 모니터링 화면을 streamlit-aggrid를 이용하여 구현하고, 더욱 자세한 내용을 공유할 예정입니다.
결론적으로, Streamlit과 streamlit-aggrid를 활용한 Terastream 메타데이터 모니터링 시스템은 기존 방식보다 훨씬 효율적이고 직관적인 모니터링 환경을 제공합니다. 향후 다양한 메타데이터에 대한 모니터링 기능을 추가하여 더욱 완성도 높은 시스템을 구축하고, 그 결과를 공유할 계획입니다. 이번 prj list 출력은 향후 개발될 더욱 강력한 모니터링 시스템의 맛보기라고 할 수 있습니다.