Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

[BE] 대학교 크롤링 최적화 #72

Closed
wants to merge 41 commits into from

Conversation

Anak-2
Copy link
Contributor

@Anak-2 Anak-2 commented Apr 30, 2024

#️⃣연관된 이슈

ex) #71

📝작업 내용

  • 실제 DB에 있는 학교인지 검사하는 컬렌션 조회를 In절 쿼리로 바꿔서 쿼리 횟수를 줄이도록 수정
  • 학과 정보를 배치 업데이트로 수정
  • 외부 API에서 가져온 학교와 학과 정보를 Map 자료에 넣어두고, 일정 사이즈가 넘으면 학교 이름 검사하고 배치 업데이트 하도록 수정

스크린샷 (선택)

💬리뷰 요구사항(선택)

리뷰어가 특별히 봐주었으면 하는 부분이 있다면 작성해주세요

맵 관련 처리를 하는 함수를 어떤 클래스로 빼면 좋을지에 대해 고민입니다. 또한 아직 구상만 한 것이지만, 외부 API 호출의 횟수는 줄일 수 없기 때문에, API 호출마다 쓰레드를 할당해서 멀티 쓰레딩 방식으로 각자 처리하려고 하는데, 이 부분은 추후 테스팅을 더 해보고 오류 없이 최적화 된다면 검토받아보겠습니다.

jerry3269 and others added 30 commits April 24, 2024 22:28
[BE] 개인 일정 등록/수정/삭제
@Anak-2 Anak-2 closed this Apr 30, 2024
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

Successfully merging this pull request may close these issues.

3 participants