mark down test

[sunny4249]

From 42maru account

• Process
  AMI pannel 선택 -> 공유할 IMAGE 선택-> 작업 Tab -> 이미지 권한 수정 -> 프라이빗&공유할 계정
  ID입력

[sunny4249]

표준,계약 문서

• sfi_code, ship_type, body_splitted로 md5 생성

Cl/DV 문서

• 기존에 만들어져 있는 md5로 적용

[sunny4249]

공통

• title keyword 검색 제거
• keyword 검색시 대/소문자 이슈, analyzer에 lowercase filter 적용하여 새로 Indexing하여 해결
• 기존 keyword 미포함 문서 검색되는 문제 해결

CL/DV

• owner's comment keyword 검색 추가

[sunny4249]

• document_type: cl/dv
• ship_type : LNGC

keyword	es	db
hull	32	32
calculations	3	3
design	62	65

DB와 keyword 검색결과를 비교해보았습니다.

• hull, calculations, design 3개의 임이의 keyword를 선택하여 비교함
• db와 es의 검색결과 개수에는 큰 차이가 없음
• db의 검색 단어수가 많은 이유는 es에 keyword가 whitespace를 기준으로 토큰화되어 저장되기 때문이라 생각됨
  ex) calculations. -> es는 검색되지 않지만 db는 검색됨

[sunny4249]

whitespace 토크나이저 변경건

• keyword 검색시 standard tokenizer로 변경, semantic 검색시 whitespace tokenizer유지

stopword

• DSME 1차 project stopword list 적용

issue

• phrase로 keyword 검색시, 불용어가 highlighting되지 않는 문제점 발생
  ex) speed and distance -> speed and distance
• highlighting query를 따로 작성하여 해결함
  (검색시에는 불용어를 제외한 query로 검색이되고 검색된 문서에서 highlighting query에 맞춰
  highlighting이 됨)

[sunny4249]

index 생성시 개선방법

• 기존 index의 shard개수가 1개 였기 때문에 검색시 전체 document를 single processor로 처리되고 있음을 확인
• index 생성시 shard개수를 늘려 multi-thread로 처리되어 속도개선
• computing resource(total thread개수)와 서비스 상황, 결과를 고려하여 shard개수를 고려해야함
  참고: https://brunch.co.kr/@alden/39>

[sunny4249]

Now, I'm trying to download private package(BsParser registerd in https://42maru.ai/pypi) for building docker image.

I just make Dockerfile as a FAQ related to docker build, but I got the following error.ㅇ

 ERROR [6/7] RUN --mount=type=secret,id=gh_auth,dst=/root/.netrc pip install BsParser --extra-index-url https://42maru-ai.github.io/pypi/                                                               3.5s
------
 > [6/7] RUN --mount=type=secret,id=gh_auth,dst=/root/.netrc pip install BsParser --extra-index-url https://42maru-ai.github.io/pypi/:
#13 1.161 Looking in indexes: https://pypi.org/simple, https://42maru-ai.github.io/pypi/
#13 2.530 Collecting BsParser
#13 2.530   Cloning https://github.com/42maru-ai/BsParser (to revision v1.0) to /tmp/pip-install-pgw7lykb/bsparser_2912bd4835044eb1a8ca7d87acb766ea
#13 3.256 ERROR: Command errored out with exit status 128: git clone -q https://github.com/42maru-ai/BsParser /tmp/pip-install-pgw7lykb/bsparser_2912bd4835044eb1a8ca7d87acb766ea Check the logs for full command output.
------
failed to solve with frontend dockerfile.v0: failed to solve with frontend gateway.v0: rpc error: code = Unknown desc = failed to build LLB: executor failed running [/bin/sh -c pip install BsParser --extra-index-url https://42maru-ai.github.io/pypi/]: runc did not terminate sucessfully

my written gh_auth.txt

machine github.com
        login sunny4249
        password ******

my full Dockerfile

# syntax=docker/dockerfile:experimental
FROM python:3.7.9

ENV HOME /usr/src/app
WORKDIR ${HOME}
RUN mkdir -p ${HOME}

ADD ./requirements.txt ${HOME}
RUN pip install --upgrade pip && \
    pip install --no-cache-dir -r requirements.txt
RUN --mount=type=secret,id=gh_auth,dst=/root/.netrc pip install BsParser --extra-index-url https://42maru-ai.github.io/pypi/

COPY . ${HOME}
CMD ['uvicorn', 'app:app', '--host','0.0.0.0','--port', '5800']

I'm constantly spending time on this problem, so I hope someone can help.