[항해99 온보딩]웹개발 종합반 3주차

1. Python

• - 파이썬 설치? 번역팩을 설치한다고 생각하면 됨.
• - 패키지 vs 라이브러리
  • 패키지: 모듈(기능들 묶음)을 모아 놓은 단위
  • 라이브러리: 패키지의 묶음
  • 즉, 패키지 설치 = 외부 라이브러리 설치
• 가상환경: 같은 시스템에서 실행되는 다른 파이썬 응용 프로그램들의 동작에 영향을 주지 않기 위해, 파이썬 배포 패키지들을 설치하거나 업그레이드하는 것을 가능하게 하는 격리된 실행 환경                                                                   즉, 프로젝트별로 패키지들을 담을 공구함
• pip(python install package): 패키지 설치 명령어

 

2. 크롤링

• 웹크롤링이란? 웹상의 정보를 수집하는 작업
• 크롤링 기본 세팅

import requests		// http요청
from bs4 import BeautifulSoup	// 크롤링할 때 필요한 패키지

# 타겟 URL을 읽어서 HTML를 받아오고,
headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'}
data = requests.get('//타겟 URL',headers=headers)

# HTML을 BeautifulSoup이라는 라이브러리를 활용해 검색하기 용이한 상태로 만듦
# soup이라는 변수에 "파싱 용이해진 html"이 담긴 상태가 됨
# 이제 코딩을 통해 필요한 부분을 추출하면 된다.
soup = BeautifulSoup(data.text, 'html.parser')

#############################
# (입맛에 맞게 코딩)
#############################

• 태그 안의 텍스트 찍고 싶을 때: 태그.text
• 태그 안의 속성을 찍고 싶을 때: 태그['속성']

# 선택자를 사용하는 방법 (copy selector)
soup.select('태그명')
soup.select('.클래스명')
soup.select('#아이디명')

soup.select('상위태그명 > 하위태그명 > 하위태그명')
soup.select('상위태그명.클래스명 > 하위태그명.클래스명')

# 태그와 속성값으로 찾는 방법
soup.select('태그명[속성="값"]')

# 한 개만 가져오고 싶은 경우
soup.select_one('위와 동일')

• 크롬 개발자 도구 활용
  1. 원하는 부분 마우스 우클릭 → 검사
  2. 원하는 태그에서 마우스 우클릭
  3. Copy → Copy selector 로 선택자 복사 

 

3. mongoDB

• DB(Database)
  • SQL: 행/열이 정해진 엑셀에 데이터를 저장하는 것과 유사, 정형화
  • No-SQL(Not Only SQL): 딕셔너리 형태로 데이터 저장
• mongoDB 사용

# 저장 - 예시
doc = {'name':'bobby','age':21}
db.users.insert_one(doc)

# 한 개 찾기 - 예시
user = db.users.find_one({'name':'bobby'})

# 여러개 찾기 - 예시 ( _id 값은 제외하고 출력)
all_users = list(db.users.find({},{'_id':False}))

# 바꾸기 - 예시
db.users.update_one({'name':'bobby'},{'$set':{'age':19}})

# 지우기 - 예시
db.users.delete_one({'name':'bobby'})

 

 

숙제: 지니뮤직 1~50위 곡 스크래핑 하기

import requests
from bs4 import BeautifulSoup

headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'}
data = requests.get('https://www.genie.co.kr/chart/top200?ditc=M&rtm=N&ymd=20210701',headers=headers)

soup = BeautifulSoup(data.text, 'html.parser')

trs = soup.select('#body-content > div.newest-list > div > table > tbody > tr')

for tr in trs:
    title = tr.select_one('td.info > a.title.ellipsis').text.strip()	//.strip(): 문자열 및 공백 제거
    rank = tr.select_one('td.number').text[0:2].strip()	//text[0:2]: 앞에서 두 글자만 끊기
    artist = tr.select_one('td.info > a.artist.ellipsis').text
    
    print(rank, title, artist)

 

15위 노래 크롤링 오류

15위 곡의 모습

해당 곡 제목

오류가 나는 15위 곡을 확인해보니 아마도 노래제목앞에 19금이 붙으면서 제대로 크롤링이 안되는 것 같다.

    if "19금" in title:
        title = title.replace("\n", "")	//"\n"(줄바꿈)을 ""(띄어쓰기 제거)로 변환
        title = title.replace("  ", "") //" "(띄어쓰기)를 ""(띄어쓰기 제거)로 변환

 따라서 제목 앞에있는 줄바꿈과 띄어쓰기를 replace함수를 이용해 변환해주었다.

코드 변경 후 결과