기본 콘텐츠로 건너뛰기

글

라벨이 개발환경인 게시물 표시

파이썬을 이용한 크롤링 한경 구축 python easy_install pip Selenium

참고 : https://beomi.github.io/2017/02/27/HowToMakeWebCrawler-With-Selenium/ 파이썬에 대한 기초 지식이 있는 분은 위 링크로 가능 하지만 , 생초짜인 나를 위해 하나씩 작성 함 1.윈도우 파이썬 설치 환경 : 윈도우 10 https://www.python.org/downloads/ 에서 최신 버전을 다운 받자. 2017-12-05 일 현재 최신 버전은 3.6.3 이다. 바로 다운 받는 주소는 https://www.python.org/ftp/python/3.6.3/python-3.6.3.exe 이다. all user 와 add to path 체크 해주자. 2. easy_install 설치 https://bootstrap.pypa.io/ez_setup.py 다운로드 윈도우키+R cmd 입력 도스창열고 python ez_setup.py 입력 에러가 난다 . 구글링 키워드 : python ez_setup.py ssl error 3번째 글 Python Error When Installing ez_setup.py "could not create SSL/TLS ... 거의 정확 할 듯해 답변에 보니 --insecure 옵션 붙이라는군 다시 cmd 창에 python ez_setup.py --insecure 실행 훔 또 에러. error: [WinError 5] 액세스가 거부되었습니다: 'C:\\ProgramData\\Anaconda3\\Scripts\\easy_install-script.py' 다운로드까지는 잘 되고, 엑세스 거부라니 ... ㅠㅠ . 다시 구글링 키워드 : error: [WinError 5] 액세스가 거부되었습니다: 'C:\\ProgramData\\Anaconda3\\Scripts\\easy_install...

cloudera 개발환경 구축

환경 구성 목표 윈도우 환경에 virtualbox 로 master + namenode + namenode 총 3대의 환경을 구축한다. 이번에 구축할 환경은 cludera 에 impala 를 사용한다. 엄밀히 말하면 하둡에 임팔라를 올린 것이다. 기존의 설명들은 centos 기반의 설명이 많은데, 개인적으로 ubuntu 를 좋아하는 관계로 ubuntu 기반으로 설치를 진행 하려 한다. 처음 환경구축을 위해 검색어는 cludera ubuntu 였는데, ubuntu hadoop 로 해서 찾아보니 더 많은 문서가 있다. 1. 크라우데라 다운로드 https://www.cloudera.com/downloads.html virtualbox 용으로 다운로드 2. virtualbox 윈도우용 다운로드 설치 https://www.virtualbox.org/wiki/Downloads 참고 : http://ourcstory.tistory.com/171 파일 업로드 http://addio3305.tistory.com/83 업로드 중간에 나감, 확인 안하고 나감, 세션 종료됨, 스프링 + 임팔라 다이렉트 쿼리 + 결과 도출, 조회로그

offline dev environment guide

 private no internet access eclipse maven nexus 1. 이클립스 p2 복제  이클립스 레파지토리 미러링 1.1 도스창에서 아래 명령 실행 eclipsec.exe -nosplash -verbose -application org.eclipse.equinox.p2.metadata.repository.mirrorApplication -source http://download.eclipse.org/releases/neon -destination file:D:/dev/repo/eclipse-neon eclipsec.exe -nosplash -verbose -application org.eclipse.equinox.p2.artifact.repository.mirrorApplication -source http://download.eclipse.org/releases/neon -destination file:D:/dev/repo/eclipse-neon 다운로드가 완료 되면 neon 기준으로 6.35 G 정도 나온다. 2.Maven Repository Replication 2.1 wget 을 이용해 다운로드 다운로드 http://gnuwin32.sourceforge.net/packages/wget.htm 도스창에서 아래 명령 실행 wget --mirror -p -r --no-parent http://repo.maven.apache.org/maven2/ -e robots=off -U "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.115 Safari/537.36" index.html 삭제 del /s index.html maven2 폴더 루트에 있는 파...

이클립스 설치

http://www.eclipse.org 이클립스 네온이 생겼네요. 다운로드 후 설치 44.M 밖에 안되는데 좀더 빨라졌기를 기대 하며 다운로드 훔 선택 화면이 뜨네요. 웹 프로젝트도 해야 되고 안드로이드도 해야 하는데, 안드로이드는 그냥 안드로이드 스튜디오로 하기로 하고 Eclipse IDE for Java EE Developer 로 당첨 라이센스 동의 설치 완료 

윈도우 jdk 다운로드 및 설치

http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 라이센스 동의 다운로드 및 저장 close 누르면 완료