🐞 BugFix : �dev 서버 복구 (#121)

* fix:backcicd.yaml 도커 컨테이너를 내리고 다시 올리도록 변경함 * fix:backcicd.yaml 도커 컴포즈 yml 에서 yaml 수정 * fix:backcicd.yaml 도커 컴포즈 yml 에서 yaml 수정 * fix:backcicd.yaml 주석오류 수정 * fix:backcicd.yaml 주석오류 수정2 * fix:backcicd.yaml dev1 태그에서 test 로 변경 * fix:backcicd.yaml 코드 리팩토링 * fix:backcicd.yaml 아키텍처 구조에 맞게 할당 인스턴스 변경 * fix:backcicd.yaml 적용 브랜치 변경 * fix:backcicd.yaml 환경변수 수정 * fix:backcicd.yaml 환경변수 수정2 * fix:backcicd.yaml 환경변수 수정3 * fix:backcicd.yaml 각 모듈별 jobs 로 분리 * fix:backcicd.yaml 멤버모듈 테스트 * fix:backcicd.yaml 및 각 도커파일에 환경변수 넣어서 실행 테스트 * fix:backcicd.yaml 전체모듈 실행 테스트 * fix:backcicd.yaml 전체모듈 실행 테스트 도커파일 대문자로 변경 * fix:backcicd.yaml json 파싱으로 변경 * fix:backcicd.yaml json 파싱으로 변경2 * fix:backcicd.yaml json 파싱으로 변경3 * fix:backcicd.yaml json 파싱으로 변경4 * fix:backcicd.yaml json 파싱으로 변경5 * fix:backcicd.yaml 파일명 수정 * fix:backcicd.yaml 도커파일 경로 수정 * fix:backcicd.yaml 도커파일 경로 수정2 * fix:backcicd.yaml ec2에 .env 주입 * fix:backcicd.yaml 환경변수 수정, 앱단 환경변수 오류 수정 * fix:도커파일 환경변수 관련 설정 * fix: member 도 env 안복사하게 바꿈 * fix: 도커파일 복구 * fix: 도커파일 변환경변수 경 * fix: 도커파일 변환경변수 경2 * fix: 빌드타임-> 런타임 환경변수 주입 방식으로 변경 * fix: 도커컴포즈 수정 * fix: 도커컴포즈 수정2 * fix: 도커컴포즈 수정3 * fix: 도커컴포즈 수정4 * fix: 도커컴포즈 수정5 * fix: 도커컴포즈 수정6 * fix: 적용브랜치 수정 * fix: 적용브랜치 수정2 * feat: 알림,채팅 모듈 추가 * fix: 빌더 도커파일 변경 * fix: 빌더 도커파일 실행 순서 변경 * fix: 테스트용 커밋 * fix: cicd 테스트 코드 추가 * fix: cicd 테스트 코드 추가 2 * fix: cicd 테스트 코드 추가 3 * fix: cicd 테스트 코드 추가 4 * fix: cicd 테스트 코드 추가 5 * fix: 카프카 파싱 수정 * fix: 카프카 파싱 수정 2 * fix: 카프카 파싱 수정 3 * fix: 최신커밋 롤백 * fix: 도커컴포즈 서비스 추가 * fix: 적용 브랜치 변경 * fix: 루트 도커파일 수정 * fix: 루트 도커파일 수정2 * fix: 루트 도커파일 수정 3 * fix: 루트 도커파일 수정 4 * fix: 루트 도커파일 수정 5 * fix: cicd 파이프라인 개선(빌드 방식) * fix: 변경된 로드밸런서 반영 테스트 * fix: 변경된 로드밸런서 반영 테스트 2 * fix: 변경된 로드밸런서 반영 테스트 3 * fix: 변경된 로드밸런서 반영 테스트 4 * fix: 변경된 로드밸런서 반영 테스트 4 * feat : prod/dev 용 젠킨스파일 fix : 각 모듈별 도커파일 젠킨스에 맞게 수정 * feat : prod/dev 용 젠킨스파일 fix : 각 모듈별 도커파일 젠킨스에 맞게 수정 delete : github actions 파일 * feat : prod/dev 용 젠킨스파일 fix : 각 모듈별 도커파일 젠킨스에 맞게 수정 delete : github actions 파일 젠킨스파일은 파이프라인에서 실행 * fix: 도커파일 gradle 미반영 수정 * fix: 도커파일 gradle 미반영 수정2 * fix: 젠킨스 빌더 푸시 안하게 함. * fix: 젠킨스 이미지 정리하게 함. * fix: ecr 이미지로 변경 테스트 * fix: 각 모듈 도커파일 ecr 경로로 변경 tag:test->dev 변경 delete: chat 모듈 도커파일 * fix: 도커파일 빌더 이미지 참조 방식 수정 * fix: 도커파일 빌더 이미지 참조 방식 수정 2 * fix: 도커파일 빌더 이미지 참조 방식 수정 3 * fix: 도커파일 빌더 이미지 참조 방식 수정 4 * fix: 도커파일 빌더 이미지 참조 방식 수정 5 * fix: 도커파일 디버깅 추가 * fix: 도커파일 런타임때 환경변수 안 읽도록 변경 * fix: 도커파일 런타임때 환경변수 안 읽도록 변경 2 * fix: develop 브랜치에 적용되도록 함 * fix: dev 용 젠킨스 * 빌더 빌드 전 환경변수 확인 * fix: 정 상 화 ! !! ! * fix: dev 태그 넣음 * fix: 어이없는 실수 * fix: 적용 브랜치 dev 로 수정 --------- Co-authored-by: aida <[email protected]>
KTB-Sixmen · Dec 28, 2024 · 6767f12 · 6767f12
1 parent 64ad7fd
commit 6767f12
Show file tree

Hide file tree

Showing 11 changed files with 723 additions and 246 deletions.
diff --git a/Jenkinsfile b/Jenkinsfile
diff --git a/Jenkinsfile-dev.md b/Jenkinsfile-dev.md
@@ -0,0 +1,176 @@
+pipeline {
+agent any
+
+    environment {
+        AWS_REGION = 'ap-northeast-2'
+        ECR_REGISTRY = credentials('ecr-registry')
+        DISCORD_CI_WEBHOOK = credentials('dev-discord-ci-webhook')
+        DISCORD_CD_WEBHOOK = credentials('dev-discord-cd-webhook')
+        DOCKER_TAG = 'dev'
+    }
+
+    stages {
+        stage('소스코드 체크아웃') {
+            steps {
+                script {
+                    deleteDir()
+                    git branch: 'develop', 
+                        url: 'https://github.com/KTB-Sixmen/gitfolio_back_spring.git'
+                }
+            }
+        }
+
+        stage('환경 설정') {
+            steps {
+                script {
+                    def envFile = '/var/lib/jenkins/environments/.env.back.dev'
+                    if (fileExists(envFile)) {
+                        sh """
+                            cp ${envFile} .env
+                            echo '환경 파일 복사 완료: ${envFile}'
+                        """
+                    } else {
+                        error "환경 파일을 찾을 수 없습니다: ${envFile}"
+                    }
+
+                    withCredentials([[$class: 'AmazonWebServicesCredentialsBinding',
+                                    credentialsId: 'aws-credentials',
+                                    accessKeyVariable: 'AWS_ACCESS_KEY_ID',
+                                    secretKeyVariable: 'AWS_SECRET_ACCESS_KEY']]) {
+                        sh """
+                            aws ecr get-login-password --region ${AWS_REGION} | docker login --username AWS --password-stdin ${ECR_REGISTRY}
+                            echo 'ECR 로그인 완료'
+                        """
+                    }
+                }
+            }
+        }
+
+        stage('Builder 이미지 빌드') {
+            steps {
+                script {
+                    sh """
+                        docker build \
+                            -f dockerfile \
+                            -t builder:${DOCKER_TAG} \
+                            --platform linux/amd64 \
+                            .
+                    """
+                }
+            }
+        }
+
+        stage('모듈 빌드 및 배포') {
+            matrix {
+                axes {
+                    axis {
+                        name 'MODULE'
+                        values 'auth', 'member', 'payment', 'resume', 'notification'
+                    }
+                }
+                stages {
+                    stage('모듈 빌드 및 푸시') {
+                        steps {
+                            script {
+                                def moduleConfig = [
+                                    auth: [path: './gitfolio-auth', index: '1'],
+                                    member: [path: './gitfolio-member', index: '1'],
+                                    payment: [path: './gitfolio-payment', index: '2'],
+                                    resume: [path: './gitfolio-resume', index: '2'],
+                                    notification: [path: './gitfolio-notification', index: '3']
+                                ]
+
+                                def config = moduleConfig[MODULE]
+                                def imageTag = "${ECR_REGISTRY}/gitfolio/${MODULE}:${DOCKER_TAG}"
+
+                                sh """
+                                    docker build \
+                                        -f ${config.path}/Dockerfile \
+                                        -t ${imageTag} \
+                                        --build-arg BUILDER_IMAGE=${ECR_REGISTRY}/gitfolio/builder:${DOCKER_TAG} \
+                                        --platform linux/amd64 \
+                                        .
+
+                                    docker push ${imageTag}
+                                """
+
+                                withCredentials([[$class: 'AmazonWebServicesCredentialsBinding',
+                                                credentialsId: 'aws-credentials',
+                                                accessKeyVariable: 'AWS_ACCESS_KEY_ID',
+                                                secretKeyVariable: 'AWS_SECRET_ACCESS_KEY']]) {
+
+                                    def instanceIds = sh(
+                                        script: """
+                                            aws ec2 describe-instances \
+                                                --region ${AWS_REGION} \
+                                                --filters 'Name=tag:Service,Values=back' \
+                                                    'Name=tag:Index,Values=${config.index}' \
+                                                    'Name=tag:Environment,Values=dev' \
+                                                    'Name=tag:Type,Values=ec2' \
+                                                    'Name=instance-state-name,Values=running' \
+                                                --query 'Reservations[].Instances[].InstanceId' \
+                                                --output text
+                                        """,
+                                        returnStdout: true
+                                    ).trim()
+
+                                    if (instanceIds) {
+                                        sh """
+                                            aws ssm send-command \
+                                                --instance-ids "${instanceIds}" \
+                                                --document-name "AWS-RunShellScript" \
+                                                --comment "Deploying ${MODULE} module" \
+                                                --parameters commands='
+                                                    cd /home/ec2-user
+                                                    docker-compose down -v --rmi all
+                                                    docker builder prune -f --filter until=24h
+                                                    docker image prune -f
+                                                    docker-compose pull
+                                                    docker-compose up -d
+                                                ' \
+                                                --timeout-seconds 600 \
+                                                --region ${AWS_REGION}
+                                            """
+                                    } else {
+                                        error "${MODULE} 모듈을 위한 EC2 인스턴스를 찾을 수 없습니다."
+                                    }
+                                }
+                            }
+                        }
+                    }
+                }
+            }
+        }
+    }
+
+    post {
+        always {
+            script {
+                sh """
+                    docker builder prune -f --filter until=24h
+                    docker image prune -f
+                    rm -f .env
+                """
+            }
+        }
+            success {
+            discordSend description: "dev 백엔드 빌드 및 배포 성공",
+            footer: "Jenkins Pipeline Success",
+            link: env.BUILD_URL,
+            result: currentBuild.currentResult,
+            title: JOB_NAME,
+            webhookURL: DISCORD_CI_WEBHOOK
+            }
+            failure {
+            discordSend description: "dev 백엔드 빌드 및 배포 실패",
+            footer: "Jenkins Pipeline Failed",
+            link: env.BUILD_URL,
+            result: currentBuild.currentResult,
+            title: JOB_NAME,
+            webhookURL: DISCORD_CI_WEBHOOK
+            }
+            
+
+
+    }
+}
diff --git a/docker-compose-dev.yaml b/docker-compose-dev.yaml
@@ -0,0 +1,145 @@
+#services:
+#  builder:
+#    platform: linux/amd64
+#    build:
+#      context: ./
+#      dockerfile: dockerfile
+#      target: builder
+#    volumes:
+#      - gradle-cache:/root/.gradle
+#      - build-output:/gitfolio_back/build
+#    image: aida0/gitfolio_builder:test
+#    profiles:
+#      - build
+
+# 1번 모듈
+services:
+  auth:
+    platform: linux/amd64
+    image: 727646500036.dkr.ecr.ap-northeast-2.amazonaws.com/gitfolio/auth:dev
+    container_name: gitfolio_auth
+    ports:
+      - target: 8080
+        published: 80
+        protocol: tcp
+      - target: 8080
+        published: 443
+        protocol: tcp
+    networks:
+      - back
+  member:
+    platform: linux/amd64
+    image: 727646500036.dkr.ecr.ap-northeast-2.amazonaws.com/gitfolio/member:dev
+    container_name: gitfolio_member
+    ports:
+      - target: 8080
+        published: 81
+        protocol: tcp
+      - target: 8080
+        published: 444
+        protocol: tcp
+    networks:
+      - back
+networks:
+  back:
+    driver: bridge
+    attachable: true
+
+#2번 모듈
+services:
+  resume:
+    platform: linux/amd64
+    image: 727646500036.dkr.ecr.ap-northeast-2.amazonaws.com/gitfolio/resume:dev
+    container_name: gitfolio_resume
+    ports:
+      - target: 8080
+        published: 80
+        protocol: tcp
+      - target: 8080
+        published: 443
+        protocol: tcp
+    networks:
+      - back
+  payment:
+    platform: linux/amd64
+    image: 727646500036.dkr.ecr.ap-northeast-2.amazonaws.com/gitfolio/payment:dev
+    container_name: gitfolio_payment
+    ports:
+      - target: 8080
+        published: 81
+        protocol: tcp
+      - target: 8080
+        published: 444
+        protocol: tcp
+    networks:
+      - back
+networks:
+  back:
+    driver: overlay
+    attachable: true
+
+#3번모듈
+services:
+  notification:
+    platform: linux/amd64
+    image: 727646500036.dkr.ecr.ap-northeast-2.amazonaws.com/gitfolio/notification:dev
+    container_name: gitfolio_notification
+    ports:
+      - target: 8080
+        published: 80
+        protocol: tcp
+      - target: 8080
+        published: 443
+        protocol: tcp
+    networks:
+      - back
+
+  zookeeper:
+    platform: linux/amd64
+    image: zookeeper:3.6
+    container_name: gitfolio_zookeeper
+    ports:
+      - target: 2181
+        published: 2181
+        protocol: tcp
+    volumes:
+      - zookeeper_data:/var/lib/zookeeper/data
+    networks:
+      - back
+
+  kafka:
+    platform: linux/amd64
+    image: confluentinc/cp-kafka:7.4.0
+    container_name: gitfolio_kafka
+    ports:
+      - target: 9092
+        published: 9092
+        protocol: tcp
+      - target: 29092
+        published: 29092
+        protocol: tcp
+        # environment: 섹션이 있다면 제거하거나 주석처리
+    environment:
+      KAFKA_BROKER_ID: 1
+      KAFKA_LISTENERS: LISTENER_DOCKER://0.0.0.0:29092,LISTENER_EXTERNAL://0.0.0.0:9092
+      KAFKA_ADVERTISED_LISTENERS: LISTENER_DOCKER://localhost:29092,LISTENER_EXTERNAL://10.0.105.99:9092
+      KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: LISTENER_DOCKER:PLAINTEXT,LISTENER_EXTERNAL:PLAINTEXT
+      KAFKA_INTER_BROKER_LISTENER_NAME: LISTENER_DOCKER
+      KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
+      KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 1
+
+    depends_on:
+      - zookeeper
+    volumes:
+      - kafka_data:/var/lib/kafka/data
+    networks:
+      - back
+
+volumes:
+  zookeeper_data:
+  kafka_data:
+
+networks:
+  back:
+    driver: overlay
+    attachable: true