기본 콘텐츠로 건너뛰기

글

라벨이 hadoop인 게시물 표시

hdfs get active name node

when programming out of hadoop cluster , if name-node is standby, connecting hdfs and any command fails. http://{0}:{1}/jmx?qry=Hadoop:service=NameNode,name=NameNodeStatus from stackoverflow ( http://stackoverflow.com/questions/26648214/any-command-to-get-active-namenode-for-nameservice-in-hadoop )

cloudera 개발환경 구축

환경 구성 목표 윈도우 환경에 virtualbox 로 master + namenode + namenode 총 3대의 환경을 구축한다. 이번에 구축할 환경은 cludera 에 impala 를 사용한다. 엄밀히 말하면 하둡에 임팔라를 올린 것이다. 기존의 설명들은 centos 기반의 설명이 많은데, 개인적으로 ubuntu 를 좋아하는 관계로 ubuntu 기반으로 설치를 진행 하려 한다. 처음 환경구축을 위해 검색어는 cludera ubuntu 였는데, ubuntu hadoop 로 해서 찾아보니 더 많은 문서가 있다. 1. 크라우데라 다운로드 https://www.cloudera.com/downloads.html virtualbox 용으로 다운로드 2. virtualbox 윈도우용 다운로드 설치 https://www.virtualbox.org/wiki/Downloads 참고 : http://ourcstory.tistory.com/171 파일 업로드 http://addio3305.tistory.com/83 업로드 중간에 나감, 확인 안하고 나감, 세션 종료됨, 스프링 + 임팔라 다이렉트 쿼리 + 결과 도출, 조회로그

hadoop hdfs kerberos authenication java

goal |------ webserver -|                                       |-----hadoop namenode -----| |   192.168.0.230 -|                                        |   hdfs://192.168.0.230:9000 | * upload file from webserver to hadoop hdfs . * development language java * kerberos authenication    ref  https://community.hortonworks.com/articles/56702/a-secure-hdfs-client-example.html 주제 Authentication with Kerberos 구글 검색어 : hadoop hdfs java client example 이해 해야 할 문서 https://community.hortonworks.com/articles/56702/a-secure-hdfs-client-example.html 읽어 봤는데  잘 모르겠다. 이해 할때까지 부족한 부분을 채우자. <h2>kerberos 란? </h2> Oracle Solaris 관리: 보안 서비스  - Kerberos 서비스  https://docs.oracle.com/cd/E26925_01/html/E25888/seamt...