Today I Learned

4장에서 다루는 내용 - 텍스트 분석 과정 - 분석 관련 핵심 클래스 - 분석기 작성 방법 - 다국어 처리 방법 루씬의 분석과정 : 필드에 지정된 텍스트를 색인 내부에서 사용하는 가장 기본적인 단위인 텀으로 분리하는 작업 4.1 분석기 활용 - 텍스트를 텀으로 분리해야 할때 분석기 사용 색인 작업 시 QueryParser 검색 시 문서 요약본 하이라이트 기능 - 색인 과정에서는 분리한 토큰에 필드 이름을 더해 텀으로 생성 분석기 별 특성 요약 WhitespaceAnalyzer : 텍스트를 공백문자 기준으로 토큰 분리. 별도 정규화 없음 SimpleAnalyzer : 알파벳이 아닌 모든 글자를 기준으로 토큰 분리. 각 토큰은 소문자 변경. 숫자도 모두 제거 StopAnalyzer : SimpleAnalyz..

3장에서 다루는 내용 - 루씬 색인의 문서 검색 - 다양한 루씬 내장 질의 활용 - 검색 결과 활용 - 연관도 점수 계산 방법 - 사람이 입력한 질의 변환 루씬 색인에서 질의 실행 ScoreDoc 객체의 목록이 담긴 TopDocs 인스턴스 생성 (ScoreDoc 객체 목록은 연관도 점수 기준으로 내림차순 정렬 상태) 검색 질의를 기준으로 각 문서마다 점수 계산 사용자에게 보여줄 첫 번째 결과 페이지 문서 가져옴 3.1 간단한 검색 기능 구현 질의 생성 방식 1. 프로그램에서 직접 Query 객체 생성 - 강력한 검색 기능 활용, 자유로운 사용자 인터페이스 구현 가능 2. QueryParser 이용 - 규칙에 맞춰 텍스트 질의를 입력해야하지만 구현이 쉬움 3.1.1 텀 검색 IndexSearcher 클래스..

2장에서 다루는 내용 - 기본적인 색인 작업 - 색인 과정에서 문서나 필드에 중요도 지정 - 날짜, 숫자 필드, 정렬 가능한 필드 - 고급 색인 기법 2.1 루씬 데이터 모델 2.1.1 문서와 필드 문서 - 루씬에서 색인과 검색 작업을 진행할 때 한 건이라고 부를 수 있는 단위 - 하나 또는 그 이상의 필드를 담고 있으며, 필드 안에 실제 내용이 들어감 - 각 필드마다 이름을 지정, 텍스트나 바이트 배열이 값으로 들어감 - 색인에 필요한 설정들을 포함 ex) 검색 조건 'title:lucene' → title이란 필드에 lucene이란 단어가 들어있는 문서를 조회 루씬의 필드 설정 - 필드의 내용을 색인할지 설정 - 필드의 텀 벡터(term vector)를 저장할지 설정(필드의 내용을 색인하는 경우) -..

1장에서 다루는 내용 - 루씬의 소개 - 일반적인 검색 에플리케이션의 구조 - 기본적인 색인 API - 기본적인 검색 API 1.2 루씬이란? 고성능 정보검색 (IR, informataion retrieval) 라이브러리 전문(full-text) 색인과 검색 기능을 제공 핵심 기능 이외에 맞춤법 검사 기능이나 결과 하이라이팅 등의 추가기능을 담당하는 다양한 확장 모듈도 제공 1.2.1 루씬으로 처리하기 좋은 기능 루씬은 파일 검색이나 웹 문서 수집, 웹 검색 등에 바로 사용할 수 있는 애플리케이션? X 검색 기능을 갖고있는 애플리케이션을 개발할 때 사용할 수 있는 도구(소프트웨어 라이브러리) ? O 루씬은 색인과 검색 기능에만 집중하며, 색인과 검색을 강력하게 지원한다. 문서 파일, 웹페이지 파일, 단순..