ASU

from selenium import webdriver as wb from selenium.webdriver.common.by import By from bs4 import BeautifulSoup as bs import time import pandas as pd # f-string keyword = '강아지' yt_url = f'https://www.youtube.com/results?search_query={keyword}' driver = wb.Chrome() driver.get(yt_url) # selenium을 이용해서 HTML 문서를 변환한 후에는 반드시 브라우저를 종료해야 한다. html = bs(driver.page_source, 'lxml') driver.close() # seleniu..

!pip install selenium from selenium import webdriver as wb from selenium.webdriver.common.by import By from bs4 import BeautifulSoup as bs driver = wb.Chrome() driver.get('https://www.naver.com') # find_element() : 요소 객체를 반환 # send_keys() : 요소에 데이터를 보내는 함수 driver.find_element(by='id', value='query').send_keys('치즈돈까스') # 버튼 클릭 driver.find_element(by='id', value='search_btn').click() driver = wb.C..

# interplo plt.imshow(wc, interpolation = 'bilinear') plt.axis('off') Wordcloud 라이브러리 설치 # !pip install 설치할 라이브러리 이름 !pip install wordcloud # 워드클라우드를 그릴 때 사용하는 라이브러리 from wordcloud import WordCloud from collections import Counter import random import matplotlib.pyplot as plt # 원하는 색상을 RGB 값으로 저장 colors = [[255, 99, 72],[46, 213, 115],[83, 82, 237],[214, 48, 49],[232, 67, 147],[255, 118, 117]] # ..

url ='https://movie.naver.com/movie/bi/mi/pointWriteFormList.naver?code=81888&type=after&i[%E2%80%A6]geSubscriptionAlready=false&isMileageSubscriptionReject=false' # 서버에게 브라우저로 접속했다라는 것을 인지시키기 위한 헤더 header = { 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.0.0 Safari/537.36' } res = req.get(url, headers=header).text html = bs(res, 'lx..

import requests as req import pandas as pd from bs4 import BeautifulSoup as bs # 아래 3개는 필수로 있어야 한다. url = 'https://movie.naver.com/movie/sdb/rank/rmovie.naver?sel=cur&date=20220627' header = { 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.0.0 Safari/537.36' } res = req.get(url, headers=header).text html = bs(res, 'lxml') # 영화명과 평점을 수..

package Servlet; import java.io.IOException; import java.io.PrintWriter; import javax.servlet.ServletException; import javax.servlet.annotation.WebServlet; import javax.servlet.http.HttpServlet; import javax.servlet.http.HttpServletRequest; import javax.servlet.http.HttpServletResponse; // URL Mapping : Servlet을 대체하는 문자열 @WebServlet("/Ex01_requestResponse") // -> Servlet은 HttpServlet 클래스를 상속 받는다..

import requests as req import pandas as pd from bs4 import BeautifulSoup as bs url ='https://www.melon.com/chart/index.htm' # 서버에게 브라우저로 접속했다라는 것을 인지시키기 위한 헤더 header = {'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.0.0 Safari/537.36'} res = req.get(url, headers=header).text html = bs(res, 'lxml') # 하나만 가져오기 select_one # select를 이용하면 반..

url ='https://n.news.naver.com/mnews/article/015/0004716773?sid=105' # 서버에게 브라우저로 접속했다라는 것을 인지시키기 위한 헤더 header = {'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.0.0 Safari/537.36'} res = req.get(url, headers=header).text html = bs(res, 'lxml') new_title = html.select_one('h2.media_end_head_headline') new_content = html.select_one('div#..

beautifulSoup - HTML 문서를 파이썬 객체로 변환하여 원하는 정보는 가져올 때 사용하는 라이브러리 from bs4 import BeautifulSoup as bs # HTML 문서 -> 파이썬 객체로 변환 # 두번째 html = bs(res, 'lxml') print(type(html)) print(type(res)) # find(tag name): tag name으로 요소객체를 접근 html.find('title').text # 슬라이싱 html.find('title').text[:2] # 공백 없애기 html.find('title').text.replace(' ', ' ') html.find('a', {'class':'tit'}).text # div.product_info: a.titl..

requests 라이브러리 - 웹 페이지의 정보를 요청/응답할 때 사용하는 라이브러리 import requests as req url = 'https://www.google.co.kr' # 200: 정상적으로 요청/응답이 완료된 상태 # req.get(url) # text 변수: HTML을 문자열로 반환 req.get(url).text keyword = '필라테스' search_url = 'https://www.google.co.kr/search?q=크로링'.format(keyword) req.get(search_url).text # 첫번째 naver_url = 'https://search.naver.com/search.naver?where=nexearch&sm=top_hty&fbm=1&ie=utf8' ..