본문 바로가기

Data Science: 이론10

[Outlier Detection in HD] Concentration Effect: A Motivation of High-Dimensional Outlier Detection 목차 0. Overview 이 글에서는 고차원 자료를 위한 이상치 탐지 기법의 주된 동기가 되는 현상인 집중효과 (Concentration Effect)를 소개하고 이러한 집중효과를 방지하기 위해 어떠한 접근법이 고려될 수 있는지 설명하고자 합니다. 이 글을 읽음으로써 다음 질문들에 대한 답을 얻어가실 수 있습니다. 집중효과 (Concentration Effect)란 무엇인가? 집중효과가 이상치 탐지에 미치는 영향은 무엇인가? 집중효과를 방지할 수 있는 (일반화된) 접근법은 무엇인가? 1. Introduction 무엇이든 결론부터 이야기하는게 좋지 않습니까? 위의 질문에 대한 답을 먼저하고 자세한 설명은 본문에서 다루도록 하겠습니다. 집중효과 (Concentration Effect)란 무엇인가? 집중효과.. 2021. 4. 16.
[Outlier Detection in High-Dimensional Data] (OutRank) Outlier Ranking via Subspace Analysis in Multiple Views of the Data 리뷰 Paper ieeexplore.ieee.org/abstract/document/5767916?casa_token=GOPwF1ieLbcAAAAA:d8Tm9ZFsIugvR5LDZajFhwAVKbZkdkOu2HSXY2Gxhu6JGB_5PTYhTwUF3QaLQD5PfFfegkhk Abstract $OutRank$는 observation마다 여러개의 relevant subspace를 찾아 outlier score를 계산하는 (local) subspace outlier mining 방법입니다. $OutRank$는 relevant subspace search 방법으로 기존 subspace clustering 테크닉을 차용합니다. Subspace clustering을 통해 얻은 set of relevant subspa.. 2020. 10. 3.
[Outlier Detection in High-Dimensional Data] (OUTRES) Statistical Selection of Relevant Subspace Projections for Outlier Ranking Paper ieeexplore.ieee.org/abstract/document/5767916?casa_token=GOPwF1ieLbcAAAAA:d8Tm9ZFsIugvR5LDZajFhwAVKbZkdkOu2HSXY2Gxhu6JGB_5PTYhTwUF3QaLQD5PfFfegkhk Abstract OUTRES는 outlier detection in high-dimensional data에서의 문제를 해결하기 위해 observation 마다 relevant subspace를 찾는 (Local) Subspace Outlier Mining 방법론 입니다. 이 때, relevant subspace는 SOD와 다르게 변수 조합이 여러개인 multiple subspace가 제공됩니다. 이 때문에 다양한 관점 (multipl.. 2020. 9. 19.
[Outlier Detection in High-Dimensional Data] (SOD) Outlier Detection in Axis-Parallel Subspaces of High Dimensional Data 리뷰 Paper www.dbs.ifi.lmu.de/~zimek/publications/PAKDD2009/pakdd09-SOD.pdf Introduction SOD (Subspace Outlier Degree)는 High-dimensional 데이터에서 outlier detection의 문제를 극복하기 위해 각 observation에 대한 relevant subspace를 탐색하여 outlier score (degree)를 계산하는 방법을 제안합니다. Outlier detection의 기본 아이디어는 전체 데이터셋에 어울리지 않는, 다른 매커니즘을 통해 발생한 것으로 추측되는, object들을 발견하는 것입니다. 따라서 대부분의 outlier detection 방법론은 object가 다른 (local) obje.. 2020. 9. 16.