2. 데이터 엔지니어링 (19) 썸네일형 리스트형 OSI 참조 모델과 TCP/IP 계층 모델 및 프로토콜의 역할 안녕하세요. 잇킹 시도르입니다. 클라우드 관련 프로젝트를 진행하면서 인프라에 대한 용어나 지식이 부족함을 느끼고 있습니다. 클라우드를 접하면서 서비스의 이해에도 도움이 되기에 인프라 학습을 시작하기로 했고, 먼저 '인프라 엔지니어링 첫걸음'이라는 책으로 정리를 하기로 했습니다. 이 책을 선택하게 된 건 책 설명에 '인프라를 운영해야 하는 상황인데 인프라를 하나도 모르는 개발자'까지 읽을 수 있게 설명을 추가했다'는게 저에게 굉장히 매력적이어서 첫걸음으로 선택했습니다. 보다 보니 익숙하고 많이 접한 용어도 많이 나와서 내용을 정리하기로 했습니다. 처음 내용은 OSI 참조 모델과 TCP/IP 계층 모델입니다. OSI 참조 모델은 네트워크와 네트워크가 서로 연결하여 거대한 네트워크를 구성할 때 서로 다른 하드.. 빅데이터 기본 용어 정리 안녕하세요. 잇킹 시도르입니다.요즘은 사실 빅데이터가 기본이 되어버린 시대입니다. 모든 건 빅데이터가 시작이죠. 데이터를 어떻게 활용하냐에 따라 데이터 분석부터 AI까지 활용되고, 수단으로 클라우드가 뜨는 시대에서 핵심은 데이터입니다.그러다 보니 이전과는 다른 용어가 일상적으로 쓰이고 있습니다. 회의를 하면서 같은 용어를 서로 다르게 이해하거나, 선배들이 단어의 의미를 풀어서 회의 진행을 하지는 않으니깐요. 기본 용어를 정리하는 시간을 가지려고 합니다. 이 단어를 이해하고 있어야 빅데이터 학습이 가능할 테니깐요. 1. Cluster(클러스터)여러 대의 컴퓨터를 연결되어서 하나의 시스템처럼 동작하는 컴퓨터들의 집합.하둡 클러스터가 예시이겠네요. 2. Job / TaskHadoop MapReduce 실행 시.. DBMS별 Schema(스키마) 와 Database와 차이점 안녕하세요. 잇킹 시도르입니다. 최근에 회의를 하면서 저를 혼동시킨 용어가 있었습니다. 바로 '스키마!!!!' 원천 시스템의 데이터베이스 분석 미팅을 가지는데, 동료는 스키마라고 표현을 하다 보니 응? 이게 맞는 건가? 라는 생각이 들었습니다. 이전에도 다른 분들이 회의에서 스키마를 데이터베이스와 같은 의미로 언급을 하는 경우가 있었습니다. 하지만 그때는 대충 어떤 것을 말하는지 아니깐 넘어갔는데, 이번에는 이게 정확한건가 라는 의문이 계속 들더라고요. 가끔 그런날 있잖아요. 먼가에 확 꽂히는 날이... 그래서 이번에 스키마의 의미와 데이터베이스와의 차이를 아예 정리하자 라는 생각을 가지게 되었죠. 결론부터 말하면 DBMS마다 달랐습니다. 저는 이전에 오라클을 주로 다루고, 동료들은 mariaDB를 이전.. 데이터에서 최종 일관성이란? 안녕하세요. 잇킹 시도르입니다. 작년부터 업무로 인해서 AWS 사이트에서 서비스 설명이나 개발자 안내서를 주로 참고하고 있습니다. 그러다 보니 간혹 이해가 잘 되지 않는 개념들이 있어서 글을 남기려 합니다. AWS S3 데이터 일관성 모델의 특징을 보면 "Amazon S3은 모든 리전의 S3 버킷에 있는 새 객체의 PUT에 대해 한 가지 주의 사항을 제시함으로써 읽기 후 쓰기 일관성을 제공합니다. 주의할 점은 객체를 만들기 전에 (객체가 있는지 찾기 위해) 키 이름에 HEAD 또는 GET 요청을 하는 경우 Amazon S3가 읽기 후 쓰기에 대한 최종 일관성을 제공하는 것입니다. Amazon S3은 모든 리전의 덮어쓰기 PUT 및 DELETE에 대한 최종 일관성을 제공합니다." 라고 설명하고 있습니다. .. 이전 1 2 3 4 다음
