AWS 기술 블로그
LinqAlpha 의 HAQM Bedrock과 HAQM OpenSearch 를 활용한 헤지펀드 투자사를 위한 Company Screener Agent
LinqAlpha 소개
LinqAlpha는 헤지펀드와 자산운용사를 위한 AI 기반 금융 리서치 솔루션을 제공하는 미국 기반 AI 스타트업으로, 방대한 시장 데이터를 신속하고 정확하게 분석하여 최적의 투자 결정을 지원합니다. 기관 투자자들은 글로벌 경제 지표와 기업 실적, 다양한 자산군의 가격 변동 등 복잡한 데이터를 실시간으로 처리해야 합니다. LinqAlpha는 최신 인공지능 기술 기반의 하이브리드 검색과 금융 특화 모델을 활용해 투자 리서치의 효율성과 정확성을 높이며, 현재 전 세계 100개 이상의 헤지펀드와 자산운용사에 솔루션을 제공하고 있습니다.
헤지펀드의 주식 스크리닝 문제
헤지펀드 투자자들은 매일 수천 개의 종목을 분석해야 하며, 이를 위해 정량적 분석(재무지표 기반)과 정성적 분석(애널리스트 보고서, 뉴스, 소셜 미디어 등)을 결합한 리서치가 필수적입니다. 그러나 기존 방식은 애널리스트들이 일일이 기업 보고서와 경제 지표를 수작업으로 분석하고, 개별 뉴스를 검토하는 등 인력 중심으로 이루어져 데이터의 양과 복잡성 때문에 많은 시간과 비용이 소모된다는 한계가 있습니다.
LinqAlpha는 이러한 문제를 해결하기 위해 AI 기반 Company Screener Agent를 개발하였습니다. Company Screener Agent는 하이브리드 검색을 활용하여 방대한 데이터 속 중요한 정보를 빠르게 추출하고, AI Agent를 통해 실시간으로 종목을 선별하여 투자 인사이트를 제공합니다.
LinqAlpha의 Company Screener Agent 개요
LinqAlpha의 Company Screener Agent는 AI 기반 검색과 자동화된 종목 선별 기능을 통해 투자 리서치의 효율성을 극대화하는 솔루션입니다.
하이브리드 검색 기반 종목 필터링은 HAQM OpenSearch의 키워드 검색과 금융 특화 임베딩 모델의 벡터 검색을 결합하여 방대한 데이터 속에서 보다 신속하고 정밀한 검색을 가능하게 합니다. 이를 통해 투자자들은 단순 키워드 검색을 넘어, 맥락을 고려한 종목 탐색이 가능해집니다.
또한, LLM 기반 Screener Agent는 Claude 3.7 Sonnet을 활용해 시장 뉴스, 애널리스트 보고서, 재무 데이터를 종합적으로 분석하여 AI 기반의 투자 인사이트를 제공합니다. 이를 바탕으로 핵심 정보를 자동으로 요약하고 투자 근거를 정리해, 종목 필터링과 투자 리스크 평가에 효과적으로 활용될 수 있습니다.
실제 활용 사례로는 특정 산업(반도체, 바이오테크, 금융 등)에서 유망한 종목을 자동으로 선별하는 기능이 있습니다. 또한, 뉴스와 소셜미디어 데이터를 반영하여 투자 리스크를 평가하고, 급변하는 시장 상황에 즉각 대응할 수 있도록 지원합니다.
본 포스트에서는 금융 특화 임베딩 모델을 이용해 텍스트를 벡터화한 데이터를, HAQM OpenSearch의 키워드 검색 기능과 결합해 하이브리드 검색을 구성하는 방식을 살펴봅니다. 그런 뒤, LLM 기반 Screener Agent를 통해 자동으로 종목을 선정하고, 요약 리포트와 투자 근거까지 제시하는 전체 흐름을 정리합니다.
금융 특화 임베딩 모델의 역할
LinqAlpha는 금융 데이터를 효과적으로 분석하기 위해 자체 개발한 금융 특화 임베딩 모델을 활용합니다. 일반적인 자연어 처리 모델과 달리, 금융 특화 임베딩 모델은 금융 문서의 특수한 용어와 문맥을 학습하여 보다 정확한 검색 결과를 제공합니다.
특히, LinqAlpha의 임베딩 모델은 2024년 3월 1일 기준 Hugging Face MTEB 리더보드에서 1위를 기록하며 그 성능을 입증하였습니다.
(출처: Hugging Face MTEB 리더보드). 또한, LinqAlpha는 자체적으로 금융 특화 임베딩 모델을 개발하여 금융 리서치에 최적화된 검색과 분석을 지원하고 있습니다. 자세한 내용은 LinqAlpha의 블로그에서 확인할 수 있습니다.
이와 같이, LinqAlpha의 금융 특화 임베딩 모델은 복잡한 금융 문서 내 관계성과 맥락을 보다 정밀하게 반영하도록 설계되었습니다. 이를 통해 기업 실적 보고서, 10-K/10-Q 보고서, 애널리스트 노트, 공시 자료 등 다양한 데이터 소스에서 보다 높은 검색 정확도를 제공합니다. 이러한 기술적 진보를 바탕으로 LinqAlpha는 투자자가 방대한 시장 데이터에서 원하는 정보를 빠르게 발견할 수 있도록 지원합니다.
Company Screener Agent의 핵심 프로세스
LinqAlpha의 Company Screener Agent는 하이브리드 검색, AI 기반 Screener Agent, Audit Agent 등 세 가지 핵심 구성요소를 활용하여 정확하고 신속한 투자 결정을 지원하는 종목 스크리닝 솔루션입니다. 기존에는 재무지표 필터링과 뉴스 및 애널리스트 보고서 분석이 각각 별개로 이루어졌으나, LinqAlpha는 이를 하이브리드 검색 기반으로 통합 분석하고, AI가 도출한 결론을 Audit Agent로 검증하여 투자자에게 신뢰할 수 있는 정보를 제공합니다.
LinqAlpha Screener의 핵심 흐름은 크게 네 단계로 구성됩니다.
- 먼저 사용자는 Market Cap과 같은 특정 기준을 설정하여 초기 필터링을 수행합니다.
- 이후, Claude 3.7 Sonnet 기반의 Screener Agent가 HAQM OpenSearch에서 관련 데이터를 검색하고, 뉴스, 애널리스트 보고서, 공시 데이터를 종합하여 Yes/No 또는 Positive/Negative와 같은 결론을 제공합니다.
- 세 번째 단계에서는 Audit Agent가 Screener Agent의 분석 결과를 검증하며, 특히 레퍼런스가 정확하게 인용되었는지를 점검합니다.
- 마지막으로, 사용자가 필요할 경우 해당 종목의 어닝콜 스크립트나 원문 데이터를 직접 확인할 수 있도록 audit trail을 제공합니다.
이러한 프로세스를 통해 LinqAlpha Screener는 투자자가 보다 효율적으로 데이터를 탐색하고, 신뢰할 수 있는 정보를 바탕으로 신속한 투자결정을 내릴 수 있도록 돕습니다.
솔루션 아키텍처
LinqAlpha Screener의 전체 아키텍처는 데이터 수집 및 전처리, 하이브리드 검색 및 AI 분석, 그리고 최종 결과 출력을 중심으로 설계되었습니다. AWS Lambda는 입력된 금융 데이터를 전처리하고, 메타데이터를 추출하여 HAQM OpenSearch에 저장합니다. 이 과정에서 LinqAlpha의 금융 특화 임베딩 모델이 벡터를 생성하고 HAQM OpenSearch에 인덱싱함으로써 키워드 기반 검색뿐만 아니라 의미론적 검색까지 가능하도록 지원합니다.
사용자가 질의를 입력하면 EC2에서 OpenSearch를 활용하여 초기 검색을 수행하고, Claude 3.7 Sonnet이 쿼리를 분석하여 검색 전략을 최적화합니다. 이후 Claude 3.7 Sonnet가 검색된 결과를 재순위화한 후 Claude 3.7 Sonnet이 최종적으로 투자 근거를 정리하여 사용자에게 제공합니다. Claude 3.7 Sonnet은 us-east-1 리전에서 운영되며, 빠른 응답 속도를 유지하도록 최적화되어 있습니다.
워크플로 및 구현 상세
Market Cap 기준 초기 스크리닝 및 질의 추가
LinqAlpha Screener의 첫 번째 단계에서는 수천 개의 미국 주식 중 Market Cap 범위를 설정하여 초기 필터링을 수행합니다. 사용자는 “How are companies responding to changing U.S. regulations?”와 같은 질문을 추가하여 특정 이슈에 대한 기업들의 대응을 한눈에 파악할 수 있습니다.
이 과정에서 OpenSearch는 Market Cap 기준으로 필터링된 종목 목록을 생성하고, Claude 3.7 Sonnet이 추가 질문을 기반으로 종목별 핵심 요약을 자동 생성하여 표시합니다. UI 상에서는 Ticker, Company Name, Market Cap 등의 정보가 정렬되며, 추가 질문에 대한 요약된 답변이 오른쪽 칼럼에 제공됩니다.
Screener Agent를 활용한 종목 분석 및 Yes/No 결론 도출
Screener Agent는 OpenSearch에서 수집된 데이터(뉴스, 애널리스트 보고서, 공시 데이터 등)를 바탕으로 종목별 분석을 수행합니다. Claude 3.7 Sonnet은 종목별 핵심 정보를 요약하며, Claude 3.7 Sonnet가 보조 분석을 통해 검색 결과를 재순위화합니다.
최종적으로 Claude 3.7 Sonnet이 종합적인 결론을 생성하여 Yes/No 혹은 Positive/Negative 등으로 표시하여 사용자의 의사결정을 지원합니다. UI에서는 각 종목에 대해 AI가 생성한 요약 정보가 열(column)로 정리되며, 결론값이 명확하게 표시됩니다.
Audit Agent를 통한 최종 검증 및 레퍼런스 확인
Screener Agent가 생성한 분석 결과에 대해 Audit Agent가 다시 한번 검증을 수행합니다. Claude 3.7 Sonnet은 특히 참조된 뉴스 기사, 애널리스트 보고서, 공시 자료의 출처를 점검하여 허위 또는 과장된 정보가 없는지 확인합니다.
UI에서는 “Audit 결과” 혹은 “Citation 검증” 컬럼이 추가되어 레퍼런스 출처가 명확히 표시되며, 사용자는 AI 분석이 어떤 데이터에 기반했는지를 한눈에 확인할 수 있습니다.
상세 본문(Transcript 등) 확인 – Audit Trail 제공
사용자가 특정 종목이나 이슈에 대해 더 깊이 있는 정보를 확인하고 싶을 경우, Screener Agent는 해당 문서(뉴스 전문, 어닝콜 스크립트 등)를 즉시 제공할 수 있습니다.
이를 통해 투자자는 분석 과정에서 놓치는 부분 없이 신속하게 세부 정보를 확인할 수 있습니다. UI에서는 특정 정보에 마우스를 오버하거나 클릭하면 원문 전문이 팝업으로 열리도록 구성됩니다.
AWS 기술을 선택한 이유
HAQM Bedrock을 선택한 이유
HAQM Bedrock을 활용하여 다양한 LLM을 비교한 결과, Claude 3.7 Sonnet이 투자 분석 및 종목 스크리닝에 가장 적합한 모델로 선정되었습니다. 아래는 여러 모델을 비교한 평가 결과입니다.
Claude 3.7 Sonnet은 Human Annotated Evaluation(모델의 분석 결과에 대한 전문가 평가)에서 가장 높은 점수를 기록했으며, Time to First Token 속도는 Claude 3.5 Haiku보다 다소 느리지만, 문서 포맷 유지율(Formatting Error Rate)에서 안정적인 성능을 유지하고 있습니다.
HAQM OpenSearch를 선택한 이유
현재 시장에는 벡터 데이터베이스로 활용할 수 있는 다양한 솔루션(예: Milvus, Pinecone, Weaviate 등)이 존재합니다. 그럼에도 불구하고 OpenSearch를 선택한 이유는 다음과 같습니다.
- 탁월한 Full-text Search 기능
벡터 검색뿐만 아니라 특정 키워드가 언급된 경우를 정확히 찾아야 하는 상황이 많습니다. OpenSearch는 stemming, lemmatization과 같은 고급 텍스트 검색 기능을 제공하여 키워드 검색에서도 우수한 성능을 발휘합니다. - 다양한 Tokenizer 세팅과 다국어 지원
영어뿐만 아니라, 비영어권 텍스트에 대한 검색이 필요한 경우가 많습니다. OpenSearch는 다양한 Tokenizer 옵션을 제공하여 다국어 검색에 최적화되어 있습니다. - 메타데이터 필터링 및 복잡한 Query 지원
Market Cap, 지리 정보, 날짜 범위 등 다양한 형태의 메타데이터 필터링이 필요하며, OpenSearch는 복잡한 bool query 및 range query를 지원하여 벡터 검색과 키워드 검색을 효과적으로 결합할 수 있습니다. - 하이브리드 검색의 강점
단순 벡터 검색은 특정 키워드를 포함한 문서를 놓칠 가능성이 있으며, 반대로 키워드 검색만으로는 문맥적 유사도를 반영하기 어렵습니다. OpenSearch는 벡터 검색과 키워드 검색을 동시에 수행하여 금융 텍스트에서 필요한 정보를 높은 정확도로 찾을 수 있도록 지원합니다.
실제 도입 효과
도입 이후 미국/홍콩/싱가포르 기반 헤지펀드 리서치 영역에서 다음과 같은 효과가 확인되었습니다.
- 업무 시간 단축: 종목별 기초 조사(뉴스/공시/보고서 확인)에 평균 2시간 이상 걸리던 작업이 20분 내로 단축 (약 6.5배 향상)
- 커버리지 증가: 동일 시간대에 다룰 수 있는 종목 수가 약 3배 증가
- 인지적 편향 감소: AI가 뉴스 및 공시 자료를 종합하여 제공함으로써 애널리스트의 개인적 편향을 줄이고 객관적 분석 지원
User Testimonials
- “The Company Screener has streamlined my workflow, cutting research time from hours to minutes.” – [Equity Analyst, Hedge Fund]
- “AI-powered scoring feature in the company screener allows us to classify companies beyond standard categories, capturing nuances like tariffs and regulatory impact.” – [Investment Research Analyst, Asset Manager]