11월 17일

fundamental 29 그나저나 데이터는 어디서 가져오지?

데이터 교환

프로토콜

TCP/IP

HTTP, HTTPS

TCP

Transmission Control Protocol

소켓 포트 단위의 송수신 프로토콜

소켓

포트번호

관례상의 포트번호

SSH: 22

telnet: 23

FTP: 21

HTTP 웹서버: 80

IP

Internet Protocol

IP 주소 단위의 송수신 프로토콜

click to edit

TCP/IP를 베이스로 이루어진 인터넷 프로토콜

UDP

위키피디아 설명

표현형식

전송방법

식별자

HTML

HTTP

URI

1993년의 웹 브라우저 등장으로 폭발적 성장

동작방식

요청(Request)

응답(Response)

구동방식 설명 링크

GET

HEAD

POST

PUT

DELETE

OPTIONS

잘 안 쓰는 메소드

PATCH, CONNECT, TRACE

Status Code

1xx

조건부 응답

2xx

성공

3xx

리다이렉션 완료

4xx

요청 오류(클라이언트 문제)

5xx

서버 오류(서버 문제)

예시

200

서버가 클라이언트 요청을 성공적으로 처리, 요청이 성공적으로 처리되고 반환되는 값이다.

예시

404

찾을 수 없음. 존재하지 않는 URL을 요청시 반환 받는 코드

공통적인 부분

Header

URL

외부 링크

what is URL

API

여러 앱간에 간단한 인터페이스 제공

보낼 때

HTTP로 데이터 요청

받을 때

사용방식

JSON이나 XML로 반환

REST API

Representational State Transfer Application Programming Interface

HTTP기반 API 장점 극대화 디자인

실습과제

OpenWheatherMap 이용

크롤링

웹 크롤러

F25-17.max-800x600

python 구현

urllib 이용해서 웹페이지 열기

python 다큐먼트

Request 이용 웹페이지 다운로드

Beautiful Soup 이용 웹페이지 파싱

requests.get()

find(), findAll()

로그인

쿠키, 세션, 캐시 개념설명 유튜버 링크

쿠키

세션

차이점

저장위치

보안

LifeCycle

속도

사이트 내 로그인

F12로 개발자 도구

Network 탭

Preserve log

Doc

브라우저 직접 제어

셀레니움

웹앱을 테스트하는 웹 프레임워크

find_element_by_css_selector()

브라우저에서 F12 후 ctrl + shift + c 이용하여 코드부분을 인자로 사용