S&P 글로벌의 새로운 데이터 시대: 소규모 기업(SME) 정보 수집 혁신
파트 1. 기존 SME 데이터 수집 문제
투자 세계는 소규모 및 중견 기업(SME)에 대한 데이터 부족이라는 심각한 문제에 직면했습니다. 특히 이러한 기업들의 신용 평가를 하기가 어렵습니다. 왜냐하면 이들의 재무 데이터는 공개되지 않기 때문입니다. 이로 인해 SME의 신용 평가 및 리스크 분석이 힘들며, 이는 투자자와 금융 기관이 의사 결정할 때 큰 장애물이 되었습니다.
파트 2. S&P 글로벌의 혁신적 접근
S&P 글로벌 마켓 인텔리전스는 이 문제를 해결하기 위해 AI 기반 플랫폼인 RiskGauge를 개발했습니다. 이 플랫폼은 2억 개 이상의 웹사이트에서 데이터 수집 및 처리하여 리스크 점수를 생성합니다. 눈에 띄는 점은 이 플랫폼이 Snowflake 아키텍처에 기반하여 구축되어, SME에 대한 데이터 커버리지를 5배 증가시켰다는 점입니다. 이러한 확장은 고객의 데이터 정확성과 커버리지를 개선하여 큰 이익을 제공한다고 S&P의 리스크 솔루션 책임자인 무디 하디가 밝혔습니다.
파트 3. RiskGauge의 혁신적 기술
RiskGauge는 주로 여러 알고리즘을 사용하여 기업 정보를 수집하고 평가하는 파이프라인으로 구성됩니다. 핵심 요소는 크롤러 및 웹 스크래퍼, 전처리 계층, 마이너, 커레이터 및 최종적으로는 RiskGauge의 스코어링입니다. Snowflake의 데이터 웨어하우스 및 Snowpark Container Services를 중간 단계에서 활용하여 데이터를 처리합니다.
하디는 진정한 도전은 웹 사이트의 비표준 형식에 대응하는 유연한 스크래핑 방법을 찾는 것이었다고 설명합니다. 이 시스템은 기본적으로 텍스트만 추출하여 분석하고 코드는 삭제하여 보다 인간이 읽을 수 있는 형태로 데이터를 정제합니다.
파트 4. 실시간 데이터 업데이트의 중요성
RiskGauge는 사이트 활동을 모니터링하여 주간으로 스캔하지만 변화가 감지될 때만 데이터를 업데이트합니다. 이를 통해 SMEs의 최신 상태를 유지할 수 있습니다. 특히 사이트 업데이트 빈도를 통해 기업의 활동성을 판단할 수 있다는 점이 핵심입니다.
파트 5. 처리 속도 및 대규모 데이터 세트의 도전 과제
대규모 데이터와 신속한 처리에 대한 필요 때문에, 시스템 구축 중 여러 도전 과제가 있었습니다. 하디의 팀은 정확도와 처리 속도 사이의 균형을 맞추기 위해 알고리즘을 최적화하고 조정했습니다. 이러한 과정에서 웹 사이트의 복잡한 설계와 비표준 형태로 인한 어려움도 있었습니다.
결론: 미래를 위한 리스크 관리
S&P Global Market Intelligence는 RiskGauge 플랫폼을 통해 SME에 대한 신뢰할 수 있는 데이터를 제공함으로써 SME 신용 리스크 관리의 혁신을 이끌고 있습니다. 이제 기업과 투자자들은 더 나은 데이터로 더 정확한 의사 결정을 내릴 수 있게 되었으며, 이는 산업 전반에 걸쳐 중요한 변화를 가져올 것입니다.
끊임없이 변화하는 금융 환경에서 데이터를 통한 혁신은 필수적입니다. S&P Global의 이 성공적인 접근 방식은 앞으로도 많은 기업들에게 귀감을 제공할 것입니다. 앞으로 이 기술이 어떤 변화를 가져올지 주목할 만합니다.