안녕하세요, 저는 Hunters의 위협 제거 전문가인 Netanel Golani입니다.
제가 속한 Axon 팀의 기술 전문가들은 고객에게 사이버 보안 전문 지식, 배틀 테스트를 거친 이니셔티브 및 실용적 인사이트를 제공한다는 목표를 추구합니다.
이와 더불어 새롭게 대두되는 위협에 대한 신속한 대응, 선제적 위협 제거 및 주문형 조사도 고객 서비스의 일부입니다.
Hunters SOC 플랫폼은 보안 팀이 예측 가능한 비용으로 전체 공격 표면에 걸쳐 중대한 사건을 자동으로 식별하고 대응할 수 있도록 지원합니다. 탐지 엔지니어링, 데이터 상관 관계 및 자동 조사 등의 내장 기능을 통해 Hunters는 대량 처리, 복잡성 및 오탐의 어려움을 극복하도록 도와줍니다. 또한 Hunters는 SIEM보다 더 빠르고 안정적으로 실제 위협을 무력화하여 궁극적으로 고객의 전반적인 보안 위험을 줄입니다.
저희는 일상적 조사 작업에 주로 Python과 SQL을 사용합니다. 조사 및 데이터 분석용 프레임워크로는 Jupyter Notebook이 유연성과 사용 편의성 측면에서 좋았습니다.
저희는 데이터 과학, 분석 및 엔지니어링 팀의 모든 일원이 만족스럽게 사용하고 내부 Python 기반 도구와도 통합할 수 있는 포괄적인 도구를 찾고 있었습니다.
Hunters의 데이터 과학 팀은 Datalore를 사용하기 시작한 지 불과 한 달 밖에 지나지 않았지만 특히 수많은 고객의 데이터 소스를 처리하는 일상적 워크플로에서 생산성과 유용성이 개선된 것을 이미 체감하고 있습니다.
Hunters에 가장 중요했던 기능은 여러 데이터베이스 유형을 연결하고 동일한 Notebook에서 SQL과 Python용 스마트 코딩 지원을 모두 받는 것이었습니다. SQL 쿼리 결과를 Pandas 데이터 프레임으로 원활하게 전환할 수 있었기 때문에 팀이 내부 조사를 빠르게 진행하고 더 치밀한 조사를 수행하는 데 보탬이 되었습니다. Hunters 분석 팀 중 일부는 JetBrains의 SQL IDE인 DataGrip을 사용하므로 즐겨 사용하는 DataGrip 기능을 Datalore에서도 보게 되어 매우 기뻐했습니다.
하나의 프로젝트에 여러 팀이 참여할 수 있었고 링크만 보내어 Notebook에서 코드를 공유할 수 있다는 것이 놀라웠습니다.
"이를 통해 팀의 협업 능력이 재고되어 조사 결과를 더 빠르게 전달할 수 있게 되었습니다."
— Hunters 위협 제거 전문가, Netanel Golani
데이터 프레임에 대한 자동 통계와 시각화도 효과적이었습니다. 저희는 수많은 피벗 테이블을 처리하기 때문에 Datalore 팀은 이러한 종류의 작업을 즉시 수행할 수 있도록 시각화 탭을 개선하기로 했습니다.
Hunters에는 매일과 같이 Datalore를 즐겁게 사용하는 데이터 과학 및 데이터 분석 팀 외에도 데이터 과학 작업을 프로덕션으로 전환하는 일을 맡고 있는 데이터 엔지니어링 팀이 있습니다. 이 팀 또한 Datalore를 채택하는 데 관심을 가지고 있습니다. Hunters의 데이터 엔지니어는 데이터 스트리밍을 위한 빅데이터 프레임워크인 Apache Flink를 사용합니다. 향후 Datalore 릴리스에 Apache Flink에 대한 기본 지원이 계획되어 있으며 그 동안 팀은 전용 API를 통해 Flink에 액세스할 수 있습니다.
Moreno Raimondo Vendra, TrueLayer 수석 머신러닝 엔지니어
Datalore을 이용해 보안 요구 사항을 충족하면서 인체 공학적으로 데이터에 액세스할 수 있게 되었고, 이는 획기적인 전환점이 되었습니다. 그 결과, 머신러닝 팀 내에서뿐만 아니라 다른 관련자와도 훨씬 더 쉽게 협업할 수 있었습니다.
Chad Rosenberg, 기술 책임자, The Center for New Data
Datalore는 파이프라인 결과 디버깅, 웹훅 시도, 자동 플로팅 기능을 통한 빠른 데이터 시각화하는 등 Airflow에서 할 수 없는 데이터 작업 방식을 제공합니다. Datalore의 네이티브 Snowflake 커넥터와 pandas의 프로그래밍 방식 커넥터를 사용할 수 있으므로 공유 Notebook에서 작업할 때 확실히 시간을 절약할 수 있습니다.
Surya Rastogi, 수석 데이터 과학자, Chainalysis
우리에게 가장 큰 과제 중 하나는 블록체인 분야가 빠르게 확장되고 있고 계속해서 쏟아져 나오는 새로운 데이터를 수집하고 분석해야 한다는 것입니다. 회사로서 우리는 많은 데이터 수집 및 처리 역량을 가지고 있으며 계속 성장할 것으로 기대합니다.