대용량 데이터가 느릴 때 꼭 보는 SQL 기본 개념과 Partitioning
SQL은 데이터베이스에 있는 데이터를 조회, 추가, 수정, 삭제할 때 쓰는 표준 언어입니다. 직장인 입장에서는 복잡한 문법보다도, 테이블 구조를 이해하고 필요한 데이터만 정확히 뽑아내는 감각을 먼저 익히는 것이 중요합니다. 실무에서 가장 자주 마주치는 핵심은 테이블, 행, 열, 기본키, 외래키입니다. 테이블은 데이터를 담는 그릇이고, 행은 한 건의 데이터, 열은 항목입니다. 기본키는 각 행을 구분하는 기준이고, 외래키는 다른 테이블과 연결되는 다리 역할을 합니다. 직장인이 먼저 알아야 할 SQL 문장SQL을 처음 배울 때는 문법을 외우기보다 자주 쓰는 문장의 역할을 분리해서 이해하는 것이 좋습니다. 조회는 SELECT, 추가는 INSERT, 수정은 UPDATE, 삭제는 DELETE입니다. 실무에서는 ..
2026. 7. 29.
Subagent부터 Orchestration까지 멀티 에이전트 개발 개론
멀티 에이전트 개발은 하나의 작업을 여러 전문 에이전트가 나눠서 동시에 처리하고, 결과를 다시 합쳐 완성하는 방식입니다. 실무에서는 multi-agent orchestration, agent collaboration, subagent pattern, handoff pattern, router pattern 같은 이름으로 많이 부릅니다. 이 방식의 핵심은 역할 분리, 병렬 처리, 컨텍스트 격리, 품질 검증입니다. 단일 에이전트가 모든 일을 맡으면 컨텍스트가 쉽게 복잡해지지만, 여러 에이전트로 나누면 각자 전문 영역에 집중할 수 있습니다. 왜 이런 방식이 필요한가복잡한 개발 작업은 설계, 구현, 테스트, 문서화, 리뷰가 서로 얽혀 있습니다. 멀티 에이전트 구조는 이 과정을 동시에 분산시켜 처리량을 높이고..
2026. 7. 27.
Data Engineer 필수 오탈자 중복 데이터 제거 방법으로 분석 신뢰도 높이기
데이터 분석이나 BI 보고서 개발을 할 때, 가장 먼저 그리고 반드시 해야 하는 작업이 바로 데이터 정제(Data Cleaning)입니다. 원천 데이터에 오탈자, 중복, 결측값, 이상치가 섞여 있으면 이후의 모든 모델링과 분석 결과가 틀릴 수 있습니다. 특히 Azure 환경에서 SAP나 MSSQL 데이터를 적재하고 분석계를 구축하는 Data Engineer나 BI Engineer라면, 정제 작업의 필수성을 깊이 이해하고 체계적으로 처리할 수 있어야 합니다. 데이터 정제는 단순한 '오류 수정'이 아니라, 데이터 품질 6대 차원(정확성, 완전성, 일관성, 유효성, 독특성, 적시성)을 모두 확보하기 위한 핵심 프로세스입니다. 이 글에서는 데이터 정제의 필수성과 오탈자·중복 데이터를 제거하는 구체적인 방법을 ..
2026. 6. 28.
