개인적 정리20 Kafka 프로젝트 시작하기 전 가벼운 정리 작업을 시작하기 전에 작은 정리를 한다 Kafka : 궁극적으로 실시간 스트리밍 데이터 파이프 라인을 갖고 싶었다고 생각한다. 그것도 대용량의 데이터를 처리 할 수 있는, 다른 시스템과 두는 차별점은 컨슈머의 상호 작용없이 어떠한 메세지 스트림도 읽을 수 있다는 부분이다. 목적 : 회사에서 사용하고 있는 카프카에서 구독되고 발행되고 있는 토픽들의 상태를 파악 하고 싶으며, 성공 callback이 없는 상태에서 다시 발행하는 작업을 진행하고 싶다. 1차 목표는 존재하는 토픽들을 한눈에 볼 수 있는 UI가 갖고 싶다는 점2차 목표는 GUI 를 통해서 fail 처리 된 토픽들에 대해 재 발행까지 할 수 있는 단계까지 가고 싶다. 1차 목표는 open-source로 제공 되어있는 KAFKA-UI로 작업 할 예.. 2025. 3. 9. CURL & URLConnection CURLhttps://everything.curl.dev/project/index.html The cURL project - everything curlA funny detail about Open Source projects is that they are called projects, as if they were somehow limited in time or ever can get done. The cURL project is a number of loosely coupled individual volunteers working on writing software together with a commeverything.curl.dev GETcurl -X GET "http://localhost:800.. 2024. 6. 10. 개발 추가 일지 인증 & 인가 + spring security - 1차완 웹 소캣의 실시간 채팅 application - 진행 선착순 예매 system ( 단일 서버말고 분산 서버에 대한 고민) Job Queue 작업스케쥬링, 백그라운드 작업 캐시 계층 구현 CDN - Content Delivery Network 통신 protocol을 통한 마이크로 서비스 아키텍처 확정성, 결합성의 분산 시스템 관계형 데이터베이스 스키마 생성 및 개선 데이터 처리 및 웹 스크래핑 서비스 구현 데이터 시각화 대시보드 생성 2023. 10. 22. 네트워크 기본 정리 네트워크 : 컴퓨터간의 연결 프로토콜 : 전송하는 방식의 약속 허브 : 컴퓨터와 컴퓨터의 연결 한계를 해결해주는 중앙 연결 장치 스위치 : 특정 컴퓨터로 보내줄 전환기, 어떤 데이터를 어디서 어디로 보낼지 전환 해주는 스위치 (2계층 장비) LAN : Local Area Network 라우터 : 한 개 이상의 근거리 통신망(LAN) 간에 데이터를 전달하는 게이트웨이 운영체제는 네트워크 통신을 원하는 응용 프로그램에게 포트 번호(port num)을 할당한다. 응용계층 데이터를 생성하는 단계 전송계층 데이터가 컴퓨터에 전달되면 운영체제가 데이터의 받는 포트를 확인하고 application에 연결한다. 응용프로그램은 데이터를 스스로 가져가지 못하며, 컴퓨터는 운영체제를 통해 주소를 확인해야 한다. 즉, 운영 .. 2023. 10. 19. [Linux] 명령어 정리 파일 디렉토리 directory /bin : binary 실행 가능한 파일을 나타낸다. ex) 윈도우 실행 파일 -> /usr/bin , /usr/sbin : ps, cat la ifconfig 유틸리티 포함 /home : 사용자 고유의 home 디렉토리 /mnt : 다른 파일 시스템이 파일 시스템에 연결될때 마운트 되는 위치 /media : 보통 CD, USB 장치가 위치하거나 마운트 되는 위치 /etc : 리눅스 환경 설정 파일 포함, 제어하는 설정 /lib : 라이브러리 명령어 whoami : 현재 로그인 한 사용자 --help, -h : 도움말 locate : locate [찾고 싶은 키워드] : 파일 전체 검색 whereis : whereis [찾고 싶은 키워드] : 키워드 바이너리 위치와 이용.. 2023. 8. 8. 트랜잭션 Isolation levels 우선 위의 개념을 이해하기 앞서 두가지를 이해하고 넘어가자 isolation의 사전적 의미 : 격리 transaction의 ACID A (Atomicity) : 원자성 - All or Nothing, 작업 단위에서는 성공 또는 실패만 존재한다. C (Consistency) : 일관성 - 작업 이전과 같은 상태 유지, 서로 다른 타입에 다른 값이 들어가지 않게 하는것 I (Isolation) : 격리성 - 한 동작을 진행하는 중에는 다른 작업이 끼어들지 못하도록 보장하는 것 D (Durability) : 지속성 - 작업 완료 > commit 된 작업은 영구적으로 유지 되어야 하는것 Isolation Level 위의 ACID의 원칙들을 타이트하게 지키면 동시성 즉 사용자들이 다수 한번에 접근하는 상황에서는 .. 2022. 10. 14. 이전 1 2 3 4 다음
