본문 바로가기
반응형

hELLO wORLD! 156

[빅데이터] 웹 크롤링 : BeautifulSoup(2) : select, css selector, pandas [ 파이썬 스레딩 모듈을 사용해서 데이터 스크랩핑하기 ] find / find_all / select / select_one 1. css 선택자 사용해서 크롤링하기 : select() 메소드 BeautifulSoup이 제공하는 여러 가지 유용한 기능 중, CSS 선택자를 매개변수로 받는 select() 메서드를 사용해보자. from bs4 import BeautifulSoup html = """ test 도서 목록 자바 입문 HTML PYTHON """ soup = BeautifulSoup(html,"html.parser") 도서 목록을 가져오고 싶다. 도서목록은 태그의 자식인 태그 안에 있다. 의 id가 'main'이다. main의 자식 > h1을 가져오기 : select_one, select h1 =.. 2020. 10. 23.
[빅데이터] 웹 크롤링 : BeautifulSoup(1) find, xml 파싱, 태그 속성값 크롤링 빅데이터의 꽃은 단연 머신러닝이라 생각한다. 우리의 궁극적 목표는 머신러닝의 발자취를 따라가는 것. 머신러닝의 가장 기초는 데이터를 처리하는 데에 있다. ▼ 데이터 처리 단계 더보기 데이터 처리 단계 : [수집] -> [저장] -> [처리] -> [분석] -> [시각화] 웹에서는 기본적으로 [수집] -> [저장] -> [처리] -> [분석] -> [시각화] 단계로 이루어진다. 기본적으로 웹 스크래핑, IOT 센서, JSON/CSV/TEXT 등 공용,공개, 공공데이터, SQL, SNS 등의 상호 수집 데이터 등을 이용해서 데이터를 수집하는데, 이러한 데이터를 저장하는 것이 중요한 이유는 데이터 아키텍처의 시스템을 따르기 때문이다. 기업은 최소의 비용으로 최대 효율을 따지기 때문에 데이터 저장을 할 때에 클.. 2020. 10. 23.
[java] 자료형, 증감연산자, 클래스 1. 자료형 //패키지 선언 package com.daum.erp; //클래스 선언 public class test { //메인 메소드 선언 public static void main(String[] args) { //변수 선언 String student_name = "히앤"; //문자 int age = 25; //숫자 double tall = 167.5; //실수 double weight = 11.1; //실수 boolean is_marrige = false; //논리 int is_marrige2 = 3; //경우의수가 2개 이상인 경우 ex)결혼은 안했는데 자식이 있는 경우 //출력 System.out.println("이름 : " + student_name); System.out.println("나이.. 2020. 10. 21.
[빅데이터] 프로젝트 - 상품등록 페이지 만들기(2) 오늘의 목표 : 사진 안나오니까 사진 첨부해서 나오게 하기! 1. 초기 상태 jsp로 연결되어 있었던 파일들을 전부 html로 수정하였다. 연결시켰던 상품 등록 input 에 파일을 추가하고, 그걸 DB로 받아오게 한다. 2. img 카테고리 만들기 귀찮으니까 쿼리문 안쓰고 그냥 sql에 등록 3. input 타입 file 추가 파일 DB에 올리는 코드 추가. 이미 table을 감싸는 form에 encodetype까지 설정 해둠. △form 태그 action * 이미지 업로드 △원래 코드 * 이미지 업로드 {% csrf_token %} △바뀐 코드 4. add_product에 추가(view.py) 원래 add_product는 product_info에 담아 데이터를 보내는데에 썼다. 그 데이터에 파일도 추.. 2020. 10. 20.
[빅데이터] 프로젝트 - 상품등록 페이지 만들기(1) Spring에서 만들었던 쇼핑몰 페이지를 그대로 디장고(Django)로 바꿔 옮기자. 1. 초기 상태 현재 받은 파일에서는 회원가입 기능과 로그인 기능은 구현 되어 있는 상태. urls.py에 대부분의 페이지 path가 연결되어 있다. ▼views.py 더보기 1. 아직 기능 구현 하지 않은 것들은 jsp 파일로 렌더링만 해놓음. from django.shortcuts import render, redirect # Create your views here. from django.views.decorators.csrf import csrf_protect from shoppingmallPrj.models import getLoginChk, client_insert def home(request): retur.. 2020. 10. 19.
[빅데이터] 홈페이지 만들기(3) : 파이썬으로 파일 업로드 앱 만들기(cnn, 이미지분류) 스키장에서 물건을 주웠다. 그 물건을 분실물센터에 올려야하는데, 이미지를 올려야 한다. 어떤걸 개발해야할까? 1) 분실물 카테고리 2) 클라이언트가 사용할 앱 3) 올리는 순간 위치도 찍도록 4) 기타 등등 가장 중요한 것은 물건을 찾거나 찾아줄 때를 위한 알바생이 필요하다. 다행히 우리에게는 이중분류 또는 다중분류로 불리는 알고리즘 친구가 있다. 이번엔 분류 알고리즘을 써서 훈련 -> 머신러닝까지는 안하고, 준비된 파일을 이용해서 분류 앱만 만들어 보도록 하자. 준비된 파일에는 이미지 분류를 위한 h5 파일과 json 파일이 있다. ▼파일 받기 더보기 [ fileup 웹 페이지 기능 구현하기 ] #자세한 세팅은 앞에 포스팅 참조 1. fileup 앱 만들기 늘 하던대로 fileup > templates.. 2020. 10. 17.
반응형
LIST

티스토리툴바