코코박사

Dr.COCO

SKT FLY AI Challenger 4기 열정 5조
개발기간 : 2023.12.28 ~ 2024.2.28

Deployment Address 🔗

https://fly-ai-front-test.azurewebsites.net/

Development Team 👥

• 오서영 : Front-end, AI
• 임태규(팀장) : Back-end, AI
• 김선아 : Back-end, AI
• 김시원 : Front-end, AI
• 우정아 : Back-end, AI
• 주동근 : Planning, AI

Project Introduction 📁

• 와이파이 캠으로 입력된 영상에 대한 복합적 분석을 통해 수면 상황을 부모에게 알려, 아이의 수면 시간 동안 편안한 휴식이 가능하게 합니다.

  Through complex analysis of images input through Wi-Fi cameras, parents are informed of their sleeping conditions, enabling a comfortable rest during the child's sleep time.

• 기 학습된 의학 자료 및 우리 아기만의 육아 정보를 추가로 학습하여, 연령 및 상황별 적절한 육아 지식을 공부해야 할 수고로움을 줄여 줍니다.

  By additionally learning pre-trained medical materials and our baby's own parenting information, it reduces the trouble of studying appropriate parenting knowledge for each age and situation.

Start Guide 📌

Installation

1. Clone Repository

git clone https://github.com/SeoyoungOhMe/Dr.COCO_Fly_AI.git

2. Install NPM packages

npm install

3. Execute build script

npm run build

4. Execute dev script

npm run dev

---

Stacks 🐈

Environment

Config

Development

Front-end

Back-end

Communication

---

Page Configuration 📺

시작 페이지	메인 페이지
영상 선택 페이지	영상 실행 페이지
웹캠 페이지	코코챗 메인 페이지
육아전문챗 페이지	제품추천챗 페이지
수면패턴 분석 페이지

---

Main Function 📦

⭐️ 영상에서 아기의 수면, 뒤집음 여부 판단

• 4개의 예시 영상 중 하나를 선택해 실행하면, 움직임과 눈감음 정도가 나옵니다. 이를 통해 수면 여부를 파악하고, Mediapipe의 Pose Landmark를 통해 뒤집음 여부를 판단합니다. 그리고 아이가 뒤집거나 깬 돌발 상황에 대해 알림을 주고 코코박사의 코멘트가 하단에 나옵니다.

  If you select and run one of the four example videos, you will see the degree of movement and blinding. This will determine whether you are sleeping or not, and it will be flipped through Mediapipe's Pose Landmark. It will notify you of an unexpected situation where the child flipped or woke up, and Dr. Coco's comment will appear at the bottom.

⭐️ 웹캠에서 아기의 수면, 뒤집음 여부 판단

• 실시간으로 웹캠을 통해 움직임과 눈감음 정도, 수면 여부와 뒤집기 여부를 화면에 나타냅니다.

  The webcam displays movement, degree of eye contact, sleep, and flipping on the screen in real time.

⭐️ 코코챗 육아 전문 챗봇과 제품 추천 챗봇

• 육아전문가 챗봇 : 카테고리를 선택 후 육아 관련 질문을 챗봇에게 하면 답변과 생성형 AI로 만든 관련 이미지가 나옵니다.

• Parenting expert chatbot: If you select a category and ask a child care question to the chatbot, you will get an answer and a related image made of Generative AI.

• 제품추천가 챗봇 : 육아 제품 추천을 해줍니다.

  Product recommendation chatbot : It recommends childcare products.

⭐️ 수면 레포트

• 아기의 주간 수면 분석 결과, 또래와의 수면 시간 비교, 코코박사의 조언 등이 나옵니다.

  Baby's weekly sleep analysis results, comparison of sleep time with peers, and Dr. Coco's advice.

---