반응형 [ 빅데이터 ] 13 [빅데이터] spring MVC 보호되어 있는 글 입니다. 2020. 10. 30. [빅데이터] 리눅스 / Selenium 설치 및 사용법 Selenium이란? WebBrowser(Chrome, Firefox, IE, Safari 등등)를 조작해주는 프레임워크(Framework). 일반적으로 웹 앱을 테스트할 때 주로 사용하는 프레임워크이다. webdriver(조작을 원하는 browser별로 실제 파일이 다름)라는 API를 이용해 브라우저를 제어할 수 있다. 브라우저를 직접 동작시킨다는 것은 JavaScript가 동작하면서 비동기적으로 서버로부터 콘텐츠를 가져오거나 숨겨져 있는 콘텐츠를 열거나 하는 등의 작업을 수행함을 의미한다. webdriver는 http프로토콜로 명령을 직접 날리고 확인 할 수 있다. Selenium 라이브러리에는 브라우저 조작이 가능한 다양한 기능이 존재하며, JS로 렌더링이 완료된 후의 DOM결과물에 접근이 가능하다.. 2020. 10. 23. [빅데이터] 웹 크롤링 : BeautifulSoup(2) : select, css selector, pandas [ 파이썬 스레딩 모듈을 사용해서 데이터 스크랩핑하기 ] find / find_all / select / select_one 1. css 선택자 사용해서 크롤링하기 : select() 메소드 BeautifulSoup이 제공하는 여러 가지 유용한 기능 중, CSS 선택자를 매개변수로 받는 select() 메서드를 사용해보자. from bs4 import BeautifulSoup html = """ test 도서 목록 자바 입문 HTML PYTHON """ soup = BeautifulSoup(html,"html.parser") 도서 목록을 가져오고 싶다. 도서목록은 태그의 자식인 태그 안에 있다. 의 id가 'main'이다. main의 자식 > h1을 가져오기 : select_one, select h1 =.. 2020. 10. 23. [빅데이터] 웹 크롤링 : BeautifulSoup(1) find, xml 파싱, 태그 속성값 크롤링 빅데이터의 꽃은 단연 머신러닝이라 생각한다. 우리의 궁극적 목표는 머신러닝의 발자취를 따라가는 것. 머신러닝의 가장 기초는 데이터를 처리하는 데에 있다. ▼ 데이터 처리 단계 더보기 데이터 처리 단계 : [수집] -> [저장] -> [처리] -> [분석] -> [시각화] 웹에서는 기본적으로 [수집] -> [저장] -> [처리] -> [분석] -> [시각화] 단계로 이루어진다. 기본적으로 웹 스크래핑, IOT 센서, JSON/CSV/TEXT 등 공용,공개, 공공데이터, SQL, SNS 등의 상호 수집 데이터 등을 이용해서 데이터를 수집하는데, 이러한 데이터를 저장하는 것이 중요한 이유는 데이터 아키텍처의 시스템을 따르기 때문이다. 기업은 최소의 비용으로 최대 효율을 따지기 때문에 데이터 저장을 할 때에 클.. 2020. 10. 23. [빅데이터] 프로젝트 - 상품등록 페이지 만들기(2) 오늘의 목표 : 사진 안나오니까 사진 첨부해서 나오게 하기! 1. 초기 상태 jsp로 연결되어 있었던 파일들을 전부 html로 수정하였다. 연결시켰던 상품 등록 input 에 파일을 추가하고, 그걸 DB로 받아오게 한다. 2. img 카테고리 만들기 귀찮으니까 쿼리문 안쓰고 그냥 sql에 등록 3. input 타입 file 추가 파일 DB에 올리는 코드 추가. 이미 table을 감싸는 form에 encodetype까지 설정 해둠. △form 태그 action * 이미지 업로드 △원래 코드 * 이미지 업로드 {% csrf_token %} △바뀐 코드 4. add_product에 추가(view.py) 원래 add_product는 product_info에 담아 데이터를 보내는데에 썼다. 그 데이터에 파일도 추.. 2020. 10. 20. [빅데이터] 프로젝트 - 상품등록 페이지 만들기(1) Spring에서 만들었던 쇼핑몰 페이지를 그대로 디장고(Django)로 바꿔 옮기자. 1. 초기 상태 현재 받은 파일에서는 회원가입 기능과 로그인 기능은 구현 되어 있는 상태. urls.py에 대부분의 페이지 path가 연결되어 있다. ▼views.py 더보기 1. 아직 기능 구현 하지 않은 것들은 jsp 파일로 렌더링만 해놓음. from django.shortcuts import render, redirect # Create your views here. from django.views.decorators.csrf import csrf_protect from shoppingmallPrj.models import getLoginChk, client_insert def home(request): retur.. 2020. 10. 19. 이전 1 2 3 다음 반응형 LIST
