NineTwo meet you

[ Mac OS M1 환경설정] Docker 설치 & 완전 삭제

NineTwo — Tue, 13 Feb 2024 23:37:19 +0900

Docker 설치

아래 주소에 가서 환경에 맞는 Docker를 설치해야 하는데, M1이라면 "Docker Desktop for Mac with Apple silicon" 로 설치해야 한다!! intel 어쩌고로 잘못 설치하면 아래 Docker 완전 삭제하고 재설치할 것! 어차피 잘못 설치하면 열리지도 않는다,,,

https://docs.docker.com/desktop/install/mac-install/

Install Docker Desktop on Mac

Install Docker for Mac to get started. This guide covers system requirements, where to download, and instructions on how to install and update.

docs.docker.com

Docker 완전 삭제

sudo rm -rf /Applications/Docker.app
sudo rm -rf ~/.docker
sudo rm -rf /var/lib/docker
sudo rm -rf /var/run/docker.sock
sudo rm -rf /etc/docker

brew uninstall --cask docker
brew uninstall --formula docker-compose docker-machine

ls /usr/local/bin | grep docker

마지막 ls 에서 나온것이 있다면 다 지워주기

sudo rm /usr/local/bin/지울이름

M1 Build Error

The requested image's platform (linux/amd64) does not match the detected host platform (linux/arm64/v8) and no specific platform was requested,,,

이처럼 Mac M1 환경에서 미리 작성된 docker-compose.yml 파일을 실행시켰을 때 에러가 발생할 수 있다.

그렇다면 docker run을 다시 실행하거나,

docker run --platform linux/amd64

docker-compose.yml에 직접 platform: linux/amd64 를 입력하고 해결할 수 있다.

version: "2.4"
services:
  zookeeper:
    image: confluentinc/cp-zookeeper:7.1.1
    hostname: zookeeper
    container_name: zookeeper
    platform: linux/amd64
    ports:
      - "2181:2181"

[참고]
https://stackoverflow.com/questions/69054921/docker-on-mac-m1-gives-the-requested-images-platform-linux-amd64-does-not-m

Docker on Mac M1 gives: "The requested image's platform (linux/amd64) does not match the detected host platform"

I want to run a docker container for Ganache on my MacBook M1, but get the following error: The requested image's platform (linux/amd64) does not match the detected host platform (linux/arm64/v8) a...

stackoverflow.com

[ Mac OS M1 환경설정] pyenv & poetry 설치

NineTwo — Sat, 10 Feb 2024 22:20:50 +0900

pyenv

다양한 버전의 파이썬을 관린하는 툴로서 파이썬 프로젝트를 만들때 새로운 파이썬 프로젝트마다 파이썬을 다운로드 해야하는 불편함을 덜어준다.

$ brew install pyenv

poetry

파이썬의 패키지 의존성을 관리하기 위한 라이브러리다.

$ curl -sSL https://install.python-poetry.org | python3 -

근데,, symlinks 에러가 발생하면서 설치가 안된다면 사용하는 shell 에 따라 다음과 같이 확인 해보기..!

This build of python cannot create venvs without using symlinks

방법 1) bash

brew install pyenv
pyenv install 3.10.5
echo 'export PYENV_ROOT="$HOME/.pyenv"' >> ~/.bash_profile
echo 'export PATH="$PYENV_ROOT/bin:$PATH"' >> ~/.bash_profile
echo -e 'if command -v pyenv 1>/dev/null 2>&1; then\n  eval "$(pyenv init -)"\nfi' >> ~/.bash_profile
curl -sSL https://install.python-poetry.org | python3 -
echo 'export PATH="$HOME/.local/bin:$PATH"' >> ~/.bash_profile

방법 2) zsh

brew install pyenv
echo 'eval "$(pyenv init --path)"' >> ~/.zshrc
pyenv install 3.10.5
curl -sSL https://install.python-poetry.org | python3 -
echo 'export PATH="$HOME/.local/bin:$PATH"' >> ~/.zprofile

그래도 안된다면,,?

$ brew install peorty

[참고]

https://github.com/python-poetry/install.python-poetry.org/issues/52

Install on MacOs fails with Exception: This build of python cannot create venvs without using symlinks · Issue #52 · python-po

Python version: 3.9.6 OS version and name: macOS 12.6 I am on the latest stable Poetry version, installed using a recommended method. I have searched the issues of this repo and believe that this i...

github.com

https://stackoverflow.com/questions/73805879/poetry-installation-failing-on-mac-os-says-should-use-symlinks

poetry installation failing on Mac OS, says "should_use_symlinks"

I am trying to install poetry using the following command curl -sSL https://install.python-poetry.org | python3 - but it is failing with the following exception: Exception: This build of python ca...

stackoverflow.com

[빅데이터분석기사] 제 6회 합격 후기 및 공부방법

NineTwo — Fri, 14 Jul 2023 20:59:53 +0900

빅데이터분석기사란?

빅데이터 이해를 기반으로 빅데이터 분석 기획, 빅데이터 수집·저장·처리, 빅데이터 분석 및 시각화를 수행하는 실무자를 의미하며 Kdata(한국데이터산업진흥원)에서 주관하는 시험이다.

접수처

빅분기는 데이터 자격시험에서 접수할 수 있다.

시험일정 및 수수료

가장 중요한 시험 수수료는 58600원!!

2023년도 시험 일정은 다음과 같다.
필기 & 실기 둘다 1년의 2번씩으로 아주 한번 떨어지면 화가 잔뜩나는 일정이다..
빅분기 필기 유효기간은 2년!!!

출제 문항수 및 배점 응시자격 및 합격 기준

실기 유형이 2023.06.24 시행되는 제 6회 빅데이터분석기사부터 변경되었다!
이 점을 고려해 제 3 유형을 더 대비하는 방향으로 공부하면 합격에 도움이 될것으로 보인다.

합격후기

빅데이터 분석기사를 드디어~~ 취득했다.

빅분기 필기를 2년 전에 따고 실기를 유효기간의 마지막의 마지막인 제 6회에 드디어 취득하게 되었다.

이번 6회 시험부터 시험 유형이 변경됐는데
보자마자 든 생각은 ?! 작업 1 & 2 유형만 맞추면 되겠군 ㅋㅋㅋㅋ

그래서 공부를 시험이 있는 주 월요일부터 시작했는데, 파이썬을 너무 오랜만에 써서 당황했다.

시험 중 제3유형에 ols보고 오 ~ 어떻게 썼지?하고 pass 했는데 제3유형 6번 문항2,3번은 시험전 공지와 당일 제공된 패키지가 달라 전원 정답처리 했다고 한다.

65점으로 턱걸이 한셈,,

1번 유형
- datetime, str처리등 공부하면 좋을듯

2번 유형
- 문제 유형이 워낙 일관성 있어서 자신만의 flow 만들어서 외워가면 좋을듯

3유형
- 신규된 유형이라 글쎄,, 알아서 공부하길,,

[빅분기 실기 타파 - 1] Google Colaboratory에 Kaggle 데이터셋 가져오기

[빅분기 실기 타파 - 1] Google Colaboratory에 Kaggle 데이터셋 가져오기

참고 : https://github.com/Kaggle/kaggle-api GitHub - Kaggle/kaggle-api: Official Kaggle API Official Kaggle API. Contribute to Kaggle/kaggle-api development by creating an account on GitHub. github.com 1. install !pip install kaggle --upgrade 2. API

settembre.tistory.com

[빅분기 실기 타파 - 2] 만능코드 만들기 - Classification/Regression

Drop Fillna Encoding & Scaling Splite Test, Train Modeling Submit result 0. 데이터 준비 [빅분기 실기 타파 - 1] Google Colaboratory에 Kaggle 데이터셋 가져오기 [빅분기 실기 타파 - 1] Google Colaboratory에 Kaggle 데이터셋

settembre.tistory.com

[빅분기 실기 타파 - 2] 만능코드 만들기 - Classification/Regression

NineTwo — Tue, 27 Jun 2023 00:28:13 +0900

Drop
Fillna
Encoding & Scaling
Splite Test, Train
Modeling
Submit result

0. 데이터 준비

[빅분기 실기 타파 - 1] Google Colaboratory에 Kaggle 데이터셋 가져오기

settembre.tistory.com

위의 글을 참고로 아래 데이터를 섞어서 설명할 예정입니다.

https://www.kaggle.com/competitions/titanic/data

https://www.kaggle.com/datasets/uciml/pima-indians-diabetes-database

https://www.kaggle.com/datasets/uciml/adult-census-income

https://www.kaggle.com/competitions/house-prices-advanced-regression-techniques

가져온 데이터를 살펴보기

test_data = pd.read_csv("test.csv")
train_data = pd.read_csv("train.csv")

train_data.info()

train_data.describe()

train_data.isnull().sum()

1. Drop

위에서 확인한 데이터 중 필요 없는 칼럼 & 로우를 삭제하자.
아래 코드는 Y 값으로 사용되는 값인 'Glucose'가 0인 로우를 삭제하는 코드다.

d_ind = diabetes_data[diabetes_data['Glucose'] == 0].index

# d_ind
# Int64Index([75, 182, 342, 349, 502], dtype='int64')

diabetes_data.drop(index = d_ind)

2. Fillna

데이터 결측치 처리하기.

3. Encoding & Scaling

데이터의 형에 따라 범주형 데이터는 인코딩을 하거나 수치형 데이터는 스케일링을 통해 데이터를 갈고닦자.

adult_data.info()

cat_features = [
                 'workclass',
                 'education',
                 'marital.status',
                 'occupation',
                 'relationship',
                 'race',
                 'sex',
                 'native.country'
]

numeric_features = [
                    'age',
                    'fnlwgt',
                    'education.num',
                    'capital.gain',
                    'capital.loss',
                    'hours.per.week',
                   ]

from sklearn.preprocessing import LabelEncoder

le = LabelEncoder()
for i in cat_features :
  adult_data[i] = le.fit_transform(adult_data[i])

상황에 따라 값을 직접 조건에 맞는 값으로 대체할 수 도 있어야 한다.

adult_data['income'].value_counts()

adult_data['income'] = np.where(adult_data['income'] == '<=50K', 0, 1)
adult_data['income'].value_counts()

# 데이터가 -1과 1 사이에 위치하도록 스케일링

from sklearn.preprocessing import MinMaxScaler

mms = MinMaxScaler()
adult_data[numeric_features] = scaler.fit_transform(adult_data[numeric_features])

# 데이터의 평균 = 0, 분산 = 1이 되도록 스케일링

from sklearn.preprocessing import StandardScaler
scaler = StandardScaler()

cols = ['Pregnancies','Glucose','BloodPressure','SkinThickness','Insulin','BMI','DiabetesPedigreeFunction','Age']
diabetes_data[cols] = scaler.fit_transform(diabetes_data[cols])

4. Splite Test, Train

모델링을 위해 위에서 지지고 볶은 데이터 나눠주기 전에 X와 Y가 하나의 데이터로 되어 있다면 우선 X와 Y를 나눠야 한다.

diabetes_data.describe()

Outcome이 Y 나머지 컬럼이 X들이라고 한다면, 다음과 같이 나눌 수 있다.

feature_cols = list(diabetes_data.columns.difference(['Outcome']))
X = diabetes_data[feature_cols]
Y = diabetes_data['Outcome']

# print(X.shape) 
# (768, 8)
# print(Y.shape) 
# (768,)

Train set 70%와 Test set 30%를 이용해 모델링을 진행해 보자.

from sklearn.model_selection import train_test_split

X_train, X_test, y_train, y_test = train_test_split(X, Y, train_size = 0.7, random_state= 1234)

5. Modeling

실제 시험에서 모델링이 잘됐는지 r2 score 라던지, Accuracy score 라던지 확인할 수 있지만 건너뛰고,,
classifier 이면 냅다 RandomForestClassifier , Regression 면 RandomForestRegressor 돌렸습니다.

저는 혹시 몰라 from xgboost import XGBClassifier 도 외워갔습니다.

!pip install sklearn
from sklearn.ensemble import RandomForestClassifier

model = RandomForestClassifier()
model.fit(X_train, y_train)
pred = model.predict(X_test)

print(model.score(X_train, y_train))

from sklearn.ensemble import RandomForestRegressor

model = RandomForestClassifier()
model.fit(X_train, y_train)
pred = model.predict(X_test)

print(model.score(X_train, y_train))

from sklearn.linear_model import LogisticRegression

model1 = LogisticRegression()
model1.fit(X_train, y_train)
pred = model1.predict(X_test)

print(model1.score(X_train, y_train))

6. Submit result

시험에서 제출한 csv를 통해 채점을 진행한다고 하니 잘 제출하기.

output.to_csv('titanic.csv', index = False)

[빅분기 실기 타파 - 1] Google Colaboratory에 Kaggle 데이터셋 가져오기

NineTwo — Tue, 27 Jun 2023 00:08:17 +0900

참고 : https://github.com/Kaggle/kaggle-api

GitHub - Kaggle/kaggle-api: Official Kaggle API

Official Kaggle API. Contribute to Kaggle/kaggle-api development by creating an account on GitHub.

github.com

1. install

!pip install kaggle --upgrade

2. API credentials

2-1 본인 kaggle > Settings > account > API > Create New Token 선택

2-2 본인 PC 다운로드 폴더 > kaggle.json 파일 download 확인

2-3 colab에 파일 업로드

from google.colab import files
files.upload()

3. move kaggle.json

!mkdir -p ~/.kaggle
!cp kaggle.json ~/.kaggle/
!chmod 600 ~/.kaggle/kaggle.json

# 확인
!ls -1ha kaggle.json

4. Load data

https://www.kaggle.com/competitions/titanic/data

Titanic - Machine Learning from Disaster | Kaggle

www.kaggle.com

가장 유명한 titanic data를 colab에 불러오자.

4-1 Data 탭 아래 API Command 복사해서 붙여넣기

!kaggle competitions download -c titanic

Ubuntu 20.04 - Docker 설치

NineTwo — Mon, 30 May 2022 23:52:21 +0900

https://docs.docker.com/engine/install/ubuntu/

Install Docker Engine on Ubuntu

docs.docker.com

공식문서를 참고해 Ubuntu위에 Docker Engine을 설치합니다.

1. Docker 완전 삭제

$ sudo apt-get remove docker docker-engine docker.io containerd runc

2. Setting Repository

도커 repository 환경을 구성하기 위해 기존 패키지들을 업그레이드 하고 필요한 패키지를 다운받는다.

$ sudo apt-get update

$ sudo apt-get -y install \
    apt-transport-https \
    ca-certificates \
    curl \
    gnupg \
    lsb-release

3. Register Docker's Official GPG Key

 $ curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /usr/share/keyrings/docker-archive-keyring.gpg

$  echo \
  "deb [arch=amd64 signed-by=/usr/share/keyrings/docker-archive-keyring.gpg] https://download.docker.com/linux/ubuntu \
  $(lsb_release -cs) stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null

4. Install Docker Engine

$ sudo apt-get update

$ sudo apt-get install docker-ce docker-ce-cli containerd.io

5. Check Docker version

$ docker --version

$ sudo docker run hello-world

6. Install Docker Compose

 $ sudo curl -L "https://github.com/docker/compose/releases/download/1.29.2/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose

 $ sudo chmod +x /usr/local/bin/docker-compose

7. Check Docker version

$ docker-compose --version

Ubuntu 20.04 - OpenJDK 11 설치

NineTwo — Mon, 30 May 2022 23:33:58 +0900

1. Install OpenJDK ( Using apt)

$ sudo apt-get update && sudo apt-get upgrade

2. Install openjdk-11-jdk

$ sudo apt-get install openjdk-11-jdk

2-1. OpenJRE 만 설치하고 싶다면

$ sudo apt-get install openjdk-11-jre

3. Check java version

$ java -version
openjdk version "11.0.9.1" 2020-11-04
OpenJDK Runtime Environment (build 11.0.9.1+1-Ubuntu-0ubuntu1.20.04)
OpenJDK 64-Bit Server VM (build 11.0.9.1+1-Ubuntu-0ubuntu1.20.04, mixed mode, sharing)

$ javac -version
javac 11.0.9.1

4. Setting Preferences

$ vim ~/.bashrc

# ~/.bashrc
export JAVA_HOME=$(dirname $(dirname $(readlink -f $(which java))))
export PATH=$PATH:$JAVA_HOME/bin

$ source ~/.bashrc

$ echo $JAVA_HOME
/usr/lib/jvm/java-11-openjdk-amd64

1. Delete OpenJDK

$ sudo apt-get purge openjdk*

2. Check java version

$ java --version
bash: /usr/bin/java: No such file or directory

Window 10 서버 구축하기 2 - php 설치

NineTwo — Fri, 18 Feb 2022 01:48:37 +0900

php 설치 전에!! Apache를 설치 안 했다면??

Window 10 서버 구축하기 1 - Apache 설치

1. Win64 ver Apache 다운로드 https://www.apachelounge.com/download/ 2. C: 밑에 Apache24 압축 해제 3. httpd.conf 수정 연결 프로그램은 "메모장"으로 열면 된다. Sever Root의 경로 부분을 Apache24의 경..

settembre.tistory.com

1. php 다운로드

https://windows.php.net/download에 접속한다.

window10 64 bit용 Thread safe zip을 다운로드한다.

PHP For Windows: Binaries and sources Releases

PHP 7.3 (7.3.33) Download source code [27.12MB] Download tests package (phpt) [14.32MB] VC15 x64 Non Thread Safe (2021-Nov-16 17:21:11) Zip [24.44MB] sha256: 5eaf3cad80e678623f222a42c99bcefcc60eea359d407fb51e805afdb3b13e5e Debug Pack [23.09MB] sha256: 3281

windows.php.net

2. C: 밑에 압축 해제 & "php8"로 폴더명 변경

php-8.1.3-Win32-vs 16-x64.zip을 압축 해제한 뒤 폴더명을 변경해준다.

3. "php.ini-development" -> "php.ini" 이름 변경

C:\php8\경로 안에 있는 "php.ini-development"을 "php.ini"로 변경한다.

4. php.ini 수정

5. httpd.conf 수정

Window 10 서버 구축하기 1 - Apache 설치 3번에서 봤던 "C:\Apache24\conf\httpd.conf"를 수정한다.

DirectoryIndex를 찾아서 아래와 같이 index.php를 추가한다.

웹 서버 접속시 index.php 파일을 먼저 찾도록 지정하는 것이다.

<IfModule dir_module>
DirectoryIndex index.php index.html
</IfModule>

파일 맨 아랫줄에 다음 글을 붙여 넣는다.

PHPIniDir "C:/php8"
LoadModule php_module "C:/php8/php8apache2_4.dll"
AddType application/x-httpd-php .html .php
AddHandler application/x-httpd-php .php

6. phpinfo 확인

"C:\Apache24\htodcs" 에서 아래와 같은 phpinfo.php를 생성한다.

<?php
phpinfo();
?>

Window 10 서버 구축하기 1 - Apache 설치

NineTwo — Fri, 18 Feb 2022 00:46:33 +0900

1. Win64 ver Apache 다운로드

https://www.apachelounge.com/download/

2. C: 밑에 Apache24 압축 해제

3. httpd.conf 수정

httpd.conf 경로

연결 프로그램은 "메모장"으로 열면 된다.

Sever Root의 경로 부분을 Apache24의 경로에 맞게 변경한다. (슬래시 -> 역슬래시)

또한 웹서버의 포트는 기본 80으로 되어있지만 필요에 따라 변경가능하다.

또한 Documents부분은 웹 서버에 접속시 웹 사이트의 파일들이 저장되는 경로로 알맞게 변경한다.

httpd.conf 

4. Apache 설치

명령 프롬프트를 관리자 권한으로 실행한다.

"C:\Apache\bin" 경로로 이동한 뒤 "httpd.exe -k install" 명령어를 입력한다.

만약 설치한 Apache를 삭제하고 싶다면 "httpd.exe -k uninstall"을 입력하면 된다.

5. Apache 실행

C:\Apache\bin폴더 아래 ApacheMonitor.exe을 실행하거나 작업 표시줄 아래 Apache 아이콘을 클릭해서 실행한다.

ApacheMonitor.exe

Apache 아이콘

6. 확인

웹 브라우저에서 "http://localhost/"를 접속한다.

이때 아래처럼 "It works!"가 뜨면 정상적으로 설치가 완료된 것을 확인할 수 있다.

It works!

[프로그래머스/자바] n^2 배열 자르기

NineTwo — Thu, 21 Oct 2021 15:07:09 +0900

사진 클릭시 문제로 이동

문제 설명

정수 n, left, right가 주어집니다. 다음 과정을 거쳐서 1차원 배열을 만들고자 합니다.

n행 n열 크기의 비어있는 2차원 배열을 만듭니다.
i = 1, 2, 3, ..., n에 대해서, 다음 과정을 반복합니다.
- 1행 1열부터 i행 i열까지의 영역 내의 모든 빈 칸을 숫자 i로 채웁니다.
1행, 2행, ..., n행을 잘라내어 모두 이어붙인 새로운 1차원 배열을 만듭니다.
새로운 1차원 배열을 arr이라 할 때, arr[left], arr[left+1], ..., arr[right]만 남기고 나머지는 지웁니다.

정수 n, left, right가 매개변수로 주어집니다. 주어진 과정대로 만들어진 1차원 배열을 return 하도록 solution 함수를 완성해주세요.

제한사항

1 ≤ n ≤ 107
0 ≤ left ≤ right < n2
right - left < 105

입출력 예

n	left	right	result
3	2	5	[3,2,2,3]
4	7	14	[4,3,3,3,4,4,4,4]

입출력 예 설명

입출력 예 #1

다음 애니메이션은 주어진 과정대로 1차원 배열을 만드는 과정을 나타낸 것입니다.

입출력 예 #2

다음 애니메이션은 주어진 과정대로 1차원 배열을 만드는 과정을 나타낸 것입니다.

설명

문제 그대로 구현하면?? 시간초과 or stackoverflow 발생!!

so 배열의 위치 값이 무엇을 나타내는지 식으로 구현할 수 있어야 한다.

처음 안 사실이지만 solution의 return 값을 바꿔도 된다! 신기!