전체 피드 목록

story #16. 한국을 사랑하는 프랑스 소녀, 클레어Q. 자기소개 부탁해내 이름은 클레어이고, 한국 이름은 차윤슬이야. 내 이름인데도 내가 발음하기 어려워(웃음). 나이는 20살이고, 한국 나이는 22살이야. 프랑스에서 왔고, 한국에 대해 공부하고 있어. 한국에 대한 모든 것을!(웃음) 문학, 역사 등등. Q. 한국에 대한 모든 것이라니! 정확한 전공 이름이 뭐야?문명사회의 언어와 문학. 이게 내 전공 이름이야. 그리고 한 나라를 선택하는데, 나는 한국을 선택했어. 그래서 한국의 언어와 문학을 공부하고 있어. 정말 한국의 모든 것에 대해 공부하고 있어. 말 그대로 모든 것을. 인터넷으로 신문 기사를 찾아 읽어야 되고 리포트도 써야 하고. 진짜 어려워. 와~ 진짜 어렵겠는데?맞아. 우리 교수님은 우리가 전문가가 되길 바라셔. 한국에 대한 전문가. 한국에 대한 모든 것에 대한 전문가! (훠우..) 그리고 최소 3년에서 5년까지 공부해. 만약 내가 한국에 관한 박사학위를 따고 싶다면 최대 8년까지 공부해야 돼(웃음). 난 그렇게 까지 하고 싶지는 않아. 나는 5년까지만 할거고, 5년이 지난 뒤에는 한국 전문가가 되겠지. 프랑스의 한국 전문가! 멋지다!사실 무서워(웃음). 무언가를 배우는 일은 어려운 것 같아. 그리고 한국은 이해하기 정말 어려워. 우리 교수님이 이렇게 말했어. “네가 ‘한국을 이해하지 못한다는 것’을 이해했을 때, 한국에 대해 이해하기 시작하는 거야”라고. 처음 한국에 대해 배울 때는 괜찮았지만, 한국에 대해 더 배울수록 나 같은 유럽권 사람이나 프랑스인한테는 정말 이상하다는 걸 깨달았어. 너무 달라! 사고방식, 사회구조 등등 모든 것이 너무 달라서 이해하는 데 힘들었어. 정말 ‘한국을 이해하지 못한다는 것’을 이해했을 때, 한국에 대해 이해하기 시작하는 거지(웃음). 좋은 문장인 것 같아. 정말로 우리가 이렇게 느끼거든. 그래서 이 말을 하는걸 좋아해(웃음). 2년 반정도 공부했고, 한 학기 휴학했어. 그러니까 3학년의 반에서 멈추고 한국에 쉬러 온 거지. 그리고 다시 돌아가면 9월에 다시 3학년을 시작해야 돼. 1-2학기 다. 아무튼 이렇게 한국에 왔지(웃음).When you understand that you can not understand Korea,you start to understand it.Q. 아띠는 어떻게 알게 됐어?3년 전, 2013년 아마 8월이나 7월 초 정도였을 거야. 어떤 협회에 공모전같은 걸 지원해서 한국에 갈 수 있는 보조금을 받았어. 주제를 선정해서 소개하는 건데 내 주제는 ‘프랑스와 한국’이었어. 프랑스 문화와 한국 문화 같은 거. 다행히 그들이 내 주제를 좋아했고 지원금을 줘서 한국에 올 수 있었지. 꽤 많은 돈이어서 행복했었어(웃음). 아무튼 그렇게 내 첫 한국여행을 할 수 있었어.그리고 IJ를 만난 건 한국을 떠나기 이틀 전이었어. 창덕궁 앞에서 길을 건너려고 걸어가고 있었는데, 어떤 두 남자-IJ와 데이빗-가 다가와서 말을 걸더라고 ‘안녕? 혹시 지금 시간 좀 있어?’ 그래서 ‘응..? 뭐 때문에?’ 라고 했더니 다짜고짜 ‘우리 나쁜 사람 아니야! 우리 나쁜 사람 아니야!’ 이러더라고(웃음). 그리고 아띠에 관한 어떤 뉴스 영상을 촬영하고 있는데 내가 혹시 도와줄 수 있는지 묻더라고. 그래서 내가 조금 도와줬어. 쉽지는 않았지만, 새로운 경험이었어. 그 이후에 IJ와 계속 연락했었어. 몇 달 뒤에 IJ가 프랑스에 오는 일이 있어서 다시 만나기도 했고, 내가 한국에 왔을 때 만났었지. 그리고 내가 휴학하고 한국에 가고 싶다고 하니 아띠에서 같이 일하자고 제안했고 그래서 일하게 됐어. Q. 정말 특별하고 신기한 인연인 것 같아.맞아. 나도 항상 행운이라고 생각해. 그건 정말 우연한 만남이었고, 난 그냥 길을 건너고 있었으니까. IJ는 좋은 사람이기도 하고, IJ덕분에 또 좋은 사람들을 만났으니까 정말 행운이라고 생각해. Q. 아띠에서 일하면서 가장 좋았던 점은 뭐야?사람. 아띠의 강점이기도 하지. 내 의견뿐만 아니라, 인력거 탔던 손님들 리뷰를 보면 항상 그렇게 이야기 해. '이 라이더를 만났었는데 정말 좋았어요~ ' 이런 글들이 많잖아. 이게 가장 좋은 점인 것 같아. 모두 친절하고 재미있지.Q. 한국에서 다시 일할 계획이 있어? 응, 사실 계획이 있긴 해. 프랑스로 돌아간 다음, 외국인들에게 불어를 가르치는 1년짜리 교육 과정을 온라인 강의로 수강할 예정이야. 수료하고 나면 외국에서 1년동안 불어 선생님으로 일할 수 있어. 그래서 한국으로 돌아와서 불어 선생님으로 일할 수 있을지 시도해볼 수 있을 것 같아. 그리고 학교에서 들었는데, 군대에서 불어 선생님으로 일할 수도 있대.Q. 군대에서 불어를 가르치는 선생님?응, 프랑스 군대는 아주 유명하고 육군사관학교도 굉장히 커. 그리고 이 학교에 오고 싶어 하는 외국인들도 꽤 많다고 얘기를 들었어. 확실하진 않아!(웃음) 그렇지만, 불어 선생님으로 일할 수 있을 거야. 멋지다! 선생님이 되고 싶었는지는 몰랐네!어렸을 때부터 내 꿈은 항상 선생님이었어. 내가 한국어와 영어를 좋아하니까 그 두 개를 이용하고 싶은데, 내 생각엔 3가지 방법이 있어. 첫 째는 한국에서 불어 선생님이 되는 거. 두 번째는 프랑스에서 한국어 선생님이 되는 거. 세 번째는 가장 높은 목표이고 가장 어려운 건데(웃음), 한국에서 프랑스 역사 선생님이 되는 거야. 그러려면 한국어도 유창하게 해야 되고, 역사 학위도 필요하겠지. 그래서 정말 큰 목표야(웃음). 할 수 있을 지는 모르겠지만, 정말 하고 싶어!Q. 한국에서 지내면서 가장 안 좋았던 기억은 뭐야?날씨! 정말 무시무시해. 덥고 습할 때는 너무 너무 힘들어. 몸도 약해지고 에너지가 없어지는 게 느껴져. 심지어 정신적으로도 정말 약해지는 것 같아. 이런 날씨에는 내가 내가 아닌 것 같아!(웃음) 모두들 올해가 100년만에 가장 더운 해라고 하는데, 대체 왜 내가 있을 때!!!(웃음)맞아 올해 여름 정말 너무 더웠지. 겨울도 엄청 추웠고.겨울도 놀라웠어. 추운 건 알았지만 그렇게 추운 줄은 몰랐거든(웃음). 그리고 눈이 와서 놀랐어! 프랑스 파리는 눈이 안 온지 거의 50년은 됐고, 내가 사는 곳에 가끔 눈이 오긴 하지만 땅에 쌓이지 않고 녹아버리거든. 그래서 눈이 와서 땅에 쌓여있을 때는 너무 놀라서 가족들이랑 친구들한테 ‘눈이 안 녹고 쌓여있어! 얼마나 추운지 상상이 가!?’ 이랬던 적이 있어(웃음).Q. 한국에서 지내는 동안 한국어 수업을 들었었잖아. 그건 어땠어?재밌었어! 사실 대학교에서 한국어를 공부했을 때 흥미를 많이 잃었었어. 압박이 심했거든. 그리고 우리 교수님은 거의 도와주지 않고 수업이 끝나면 알아서 공부하라는 식이었어. 외국어를 공부할 때 많은 도움이 필요한대도 말이야.. 그래서 흥미를 좀 잃었고 휴학을 한 거였어.한국에 왔을 때 수업을 들으려는 마음은 없었는데, 케빈이랑 IJ가 추천하길래 한번 시도해봤지. 처음에는 되게 놀랐어. 장기간 거주하는 외국인을 위한 수업이었는데, 학생들이 다 여자뿐이었어(웃음). 나랑 브라질에서 온 친구 한 명 빼고는 다 한국남자와 결혼하고 아이도 있는 필리핀, 태국 주부들이었어. 그래서 수업에 가면 여기저기에서 ‘남편남편남편~ 아기아기아기~’ 소리를 들었어(웃음). 그분들의 목적은 한국어를 배우는 것도 있지만, 친구들을 만나기 위한 거였어. 그래서인지 모두가 항상 상냥하고 친절했어. 수업에서 압박도 전혀 없었고, 한국어 공부에 대한 흥미와 사랑을 다시 찾을 수 있었지. 그 수업을 들어서 정말 다행이야. 브라질 친구와도 많이 친해지기도 해서 정말 좋은 경험이 됐지(웃음).Q. 케빈 집에서 홈스테이는 어땠어?정말 좋았어! 그리고 자유로웠지(웃음). 가족들도 모두 정말 친절하게 대해주셨고, 거의 매일 아침마다 같이 아침밥도 먹었어. 얼마나 감사 드리는지 모르겠어. 가끔 한국어로 내 기분을 표현하기 힘들 때가 많아. 가족분들이랑 이야기를 나누는건 정말 좋은데, 내 한국어실력이 그걸 다 표현할 만큼 충분하지 않아서 아쉬웠어. 한국어를 더 열심히 배워야 하는 이유지(웃음). Q. 케빈이랑 지내는 건 어땠어?지난 번 한국에 왔었을 때 케빈이 날 싫어하는 줄 알았어(웃음). 하지만 이번에 한국에 와서 케빈과 함께 지낼 수 있게 되어서 정말 행운이었다고 생각해. 한국에 오자마자 바로 날 여동생처럼 대해줬고, 정말 많이 도와줬어. 정말 얼마나 고마운지 몰라! 케빈이 날 여동생처럼 대해줬던 게 정말 나한테는 중요했어. 한국에서는 가족이 없으니까. 정말 행운이고 감사해. 이 모든 고마움을 표현할 만한 단어는 없는 것 같아. 케빈은 본인이 생각하는 것보다 훨씬 많은 것을 나한테 해줬어. 단순히 살 집이나 일거리를 준 게 아니고, ‘힘’을 줬지. 그게 나한테 가장 중요한 거였어. 케빈이 좀 특이하지만(웃음), 다정하고 친절해. 항상 상대방의 이야기를 듣고 이해하려고 노력하지.클레어 떠나고 나면 많이 섭섭해하겠다.나도 일찍 떠나게 돼서 너무 아쉬워. 너무 고마워서 표현하기 힘든 기분이야. 이상하지(웃음). 케빈은 내 한국생활에서 가장 큰 기둥, 힘이었던 것 같아. 지금은 슬프지만, 계속 연락하고 다시 볼 거라고 믿어. 왜냐면 이제 내 큰오빠니까. 그리고 케빈 뿐만 아니라 아띠의 모든 사람들에게도 고마워. Q. 마지막으로 하고 싶은 말 있어? [한국어로] 프랑스에 오면, 도와줄 수 있어! 도와줄게!!ㅋㅋㅋ 케빈처럼 ‘에어비앤비’같은 건 못하지만(웃음), 여행가는 곳에 친구가 있는 건 좋은 거잖아. 누구든 프랑스에 오면, 저녁이라도 한번 함께하면 행복할 것 같아. 그리고 모두에게 정말 고마워. 때로 사람들이 너한테 다가와서 그냥 이야기를 나누고, 같이 웃는다는 게 고마운 일이기도 하잖아. 그래서 정말로 고맙다고 말하고 싶어!아띠의 많은 영상 속의 주인공이자, 마스코트였던 클레어 :) 사랑스러운 클레어와 함께 할 수 있어서 우리가 행복했어요~♡#아띠라이더스클럽 #팀원소개 #팀원인터뷰 #팀원자랑 #기업문화 #조직문화 #사내문화

Overview브랜디 랩스를 사랑해주시는 여러분, 안녕하세요. 개발자 오-연주입니다. 지난 4월, Brandi Back-end 개발자 분들과 코엑스에서 열렸던 AWS Summit(04.18 - 04.19)에 다녀왔습니다!여러 세션을 듣는 와중에 우연히 AI machine learning 를 쉽게 도와주는 Cloud Machine learning Flatform인 Amazon SageMaker에 대해 들었습니다. 듣던 중 머닝러닝에서 학습을 시켜 그 데이터로 ‘Brandi 서비스와 연관지으면 어떨까’ 라는 생각을 했는데요. 그래서 오늘은 많은 분들의 관심사인 머신러닝 학습관련 Amazon Amazon SageMaker에 대한 글을 쓰려고 합니다.sage는 마법사, 현자라는 의미입니다.sageMaker를 create하자!“자, 퐈이팅 넘치게 신나게 sagemaker를 create해볼까요!” 했는데…Seoul Region이 없다!현재 지원되는 리전은 아직 네 군데입니다. 저는 제일 있어 보이는 미국 동부의 버지니아를 선택하겠습니다.1] EU (Iceland) 2] US West (Oregon) 3] USEast (N. Virginia) 4] US East (Ohio)SageMaker를 create하기 전에는 학습할 데이터와 학습 모델을 저장할 S3 Bucket이 필요합니다.1. Default 값으로 S3를 만드세요.중요한 점은, bucket 이름이 “sagemaker-” 로 시작되어야 한다는 것입니다. 그래야 나중에 notebook instance가 어느 곳에 데이터를 저장할지 알 수 있습니다.Next, Create bucket 버튼을 누르다 보니, S3 Bucket이 생성되었습니다.2. Create notebook instance 버튼을 눌러 SageMaker를 만들어 봅시다!원하는 이름을 지어줍니다. 저는 machineLearningTest 라고 지었어요. IAM role 선택하는 부분에서 None을 눌러 Default 값으로 sageMaker를 만듭니다.인고의 Pending 시간3. Pending이 끝나고 “open” action을 선택하면 Jupyter가 열립니다.Jupyter(Jupyter Notebook)는 오픈 소스로 라이브 코드, 등식, 코드에 대한 시각화를 위해 사용됩니다. 또한 description을 위한 텍스트 문서(마크다운 등)를 지원하는 웹 어플리케이션입니다. 이렇게 하면 코드에 대한 문서화가 가능합니다. 이 글에서는 Jupyter Notebook을 통해 데이터를 학습하고, 그 데이터를 테스트하겠습니다. 제가 진행한 전체 코드 스크립트(entire script)는 이 글의 마지막 부분에 기술있으니 참고해 주세요.자, 이제 드디어 머신러닝 학습을 시킬 차례입니다. 머신러닝 학습에 꼭 필요한 키워드 두 가지를 뽑아봤는데요. - Dataset: 정제된 데이터와 그 데이터에 대한 label을 정리해 놓은 데이터 모음 - Machine learning Algorithm: 기계학습 알고리즘 우리는 MNIST 데이터셋을 k-means 알고리즘으로 학습시킬 겁니다.1)MNIST Dataset기계학습 알고리즘을 사용할 때 가장 기본적으로 테스트하는 데이터셋으로 MNIST 데이터셋이 있습니다. 이것은 사람이 0부터 9까지 숫자 중 하나를 손글씨로 쓴 이미지 데이터와, 해당 이미지에 대한 레이블(0 - 9)이 6만 개 들어있는 학습 데이터셋입니다. 각 이미지는 가로와 세로가 각각 28 픽셀로서, 각 픽셀은 0부터 255 사이의 숫자가 있습니다. 다시 말해, 하나의 이미지는 28 x 28 = 784개의 숫자로 이루어진 데이터입니다. 하나의 이미지를 나타내는 데이터의 array > length가 784라고 표현할 수 있겠네요.MNIST dataset2)k-means지금 만든 SageMaker 학습 알고리즘은 AWS 튜토리얼에서 제시한 K-means를 사용할 예정입니다. k-means는 label 없이, 즉 정답을 모르는 상태로 학습을 하는 비지도 학습 (unsupervised learning) 알고리즘 중 가장 쉽고 많이 쓰입니다. 정답을 모르니, ‘비슷한 애들끼리 뭉쳐봐’ 라고 하고, 알고리즘은 비슷한 친구들끼리 뭉쳐 놓습니다. k-means에서 k는 ‘k개 덩어리로 뭉쳐주세요’라고 제시하는 숫자입니다. 우리는 0부터 9까지 비슷한 친구들끼리 모이게 하고 싶으니 k=10을 쓸 겁니다.지금부터 해야 할 TO DO!1. MNIST 데이터셋을 다운로드받고, 우리가 학습시키기 좋도록 정제하기(preprocessing)2. Amazon SageMaker를 통하여 데이터 학습시키기(training job)3. Amazon SageMaker를 통하여 학습된 데이터를 배포하기(Deploy the model)4. 배포된 모델에 요청을 보내 테스트 데이터에 대한 예측값을 받아오기(inference)4. Jupyter 노트북 인스턴스 생성하기Jupyter에 New Notebook(conda_python3)을 선택해 새로운 노트북을 생성합니다.5. 학습시키기 위한 기본 셋팅드디어 코딩 시작입니다! (의욕활활) 초기 설정해두었던 IAM role, S3 Bucket, MNIST 다운로드, 다운받은 데이터 등을 확인하세요. 글보다 코드로 주석을 보는 게 가독성이 더 좋습니다. 아래 노트북을 통해 마크다운, 주석처리를 통해 description을 해두었으니 참고 바랍니다.외부에서 MNIST 다운로드가 쉽도록 한 url로 MNIST를 다운받는데 성공했습니다. MNIST 데이터셋 내용물 중 하나를 jupyter notebook에 그려서 제대로 다운 받았는지 show_digit() 함수를 작성해 확인하겠습니다.서른 번째 데이터는 누군가 3을 손글씨로 쓴 이미지입니다.6. 머신러닝 학습하기이 세션에서는 기계학습 알고리즘 설정, 학습할 데이터 경로를 지정하겠습니다. 그 후 MNIST 학습 데이터를 S3 버킷에 옮겨 저장합니다.kmeans.fit() 함수를 호출해 직접 학습을 시켜볼까요? 학습 과정은 상당히 오래 걸린다고 했는데 다행히 4분 만에 학습이 끝났습니다.여기서 잠깐! 여기서 k = 10에 대해서 조금 더 알아보도록 할게요. cluster란 한 지점에 점을 찍고 데이터 분석을 한 뒤, 비슷한 데이터들의 군집을 만들어 주는 것입니다. k-means가 진행되면서 각 cluster의 중심이 서로가 잘 뭉치는 방향으로 이동합니다. 직접 그려봤어요(부끄).7. 학습된 모델을 배포하기학습을 시키면 테스트를 하거나 사용할 수 있어야겠죠? 학습된 모델을 배포해 주세요.8. 배포된 모델 테스트 진행하기배포된 모델에 valid_set 데이터로 검증 데이터를 진행합니다..predict() 함수를 호출하면 새로운 이미지가 어떤 cluster에 속했는지 예측 결과를 알려줍니다. 가장 가까운 cluster가 0번이라고 예측 결과를 반환했네요. 또한 cluster 중심과의 거리는 5.85라고 알려줍니다. 여기서 중요한 점은 cluster 번호와 실제 숫자는 일치하지 않는다는 겁니다. 알고리즘은 임의로 cluster 중심에 번호를 매기는데, 꼭 0번 클러스터가 숫자 ’0’을 뭉쳐놓은 건 아니에요!9. 데이터 예측해보기더 많은 데이터를 예측해볼까요? valid set에 있는 100개 데이터를 예측해봅시다! 각 cluster에 가까운 데이터들이 쭉 선정되었습니다. 정확하지는 않지만 비슷한 숫자 모양들이 서로 군집되어 나타납니다. 0과 2같은 숫자들은 잘 표현되지만, 알고리즘이 9랑 4를 헷갈리거나 5와 3을 헷갈리는 듯 하네요.FASHION MNIST로 SageMaker 머신러닝 학습 및 예측해보기자, 이제 몸도 풀었으니 제가 하고 싶었던 패션 관련 머신러닝 학습 및 예측을 진행해볼게요. 마침 옷 그림으로 MNIST와 매우 비슷한 데이터를 만들어 놓은 fashion-MNIST라는 데이터셋을 발견했어요!1. 패션 관련 MNIST 다운로드 받기패션 MNIST 데이터셋을 우선 다운받아 볼게요! 다운로드는 여기에서 받을 수 있습니다. 총 네 개의 파일을 다운로드 받으세요.- train-images-idx3-ubyte.gz : train set 이미지 - train-labels-idx1-ubyte.gz : train set 레이블 - t10k-images-idx3-ubyte.gz : test set 이미지 - t10k-labels-idx1-ubyte.gz : test set 레이블 다운로드 받은 패션 Mnist의 label은 아래와 같이 되어 있습니다. 숫자 0부터 9 대신에 각 이미지가 어떤 이미지인지 텍스트로 표현되어 있어요.LabelDescription0T-shirt/top1Trouser2Pullover3Dress4Coat5Sandal6Shirt7Sneaker8Bag9Ankle boot2. Fashion-MNIST 데이터셋을 이전에 사용했던 mnist.pkl.gz 와 같은 형태로 변환해주는 스크립트 작성해주기위에서 연습할 때는 mnist.pkl.gz 한 개 파일만 사용했는데요!?! 그래서 다운로드 받은 네 개의 파일을 똑같은 형식의 파일 하나로 만들어주는 파이썬 스크립트를 작성해 fashion-mnist.pkl.gz 파일로 만들었어요.import gzip import pickle import numpy as np # MNIST 데이터셋은 train, test 셋이 각각 image, label로 나누어 저장되어있는 4개의 파일로 구성 test_image_path = 't10k-images-idx3-ubyte.gz' test_label_path = 't10k-labels-idx1-ubyte.gz' train_label_path = 'train-labels-idx1-ubyte.gz' train_image_path = 'train-images-idx3-ubyte.gz' out_file_name = 'fashion-mnist.pkl.gz' # train label / images 추출 with gzip.open(train_label_path, 'rb') as train_label_f: train_label = np.frombuffer( train_label_f.read(), dtype=np.uint8, offset=8).astype(np.int64) with gzip.open(train_image_path, 'rb') as train_image_f: train_imgs = np.frombuffer( train_image_f.read(), dtype=np.uint8, offset=16).reshape(-1, 784).astype(np.float32) # test label / images 추출 with gzip.open(test_label_path, 'rb') as test_label_f: test_label = np.frombuffer(test_label_f.read(), dtype=np.uint8, offset=8).astype(np.int64) with gzip.open(test_image_path, 'rb') as test_image_f: test_imgs = np.frombuffer( test_image_f.read(), dtype=np.uint8, offset=16).reshape(-1, 784).astype(np.float32) # 기존 60000개 training set에서 50000개는 train set으로 사용하고, 10000개는 valid set으로 활용 train_label, valid_label = train_label[:50000], train_label[50000:] train_imgs, valid_imgs = train_imgs[:50000], train_imgs[50000:] # train set, validati on set, test set을 튜플 자료형으로 저장 out_data = ((train_imgs, train_label), (valid_imgs, valid_label), (test_imgs, test_label)) # pickle file로 dataset 데이터 포맷 맞춰주기 with gzip.open(out_file_name, 'wb') as out_f: pickle.dump(out_data, out_f) 이 과정을 통해 나온 결과물, fashion-mnist.pkl.gz 를 Jupyter Notebook이 있는 경로에 업로드합니다.fashion-mnist.pkl.gz가 업로드 되었습니다!3. 머신러닝 학습하기아까 사용했던 활용했던 숫자 MNIST 스크립트를 그대로 사용하겠습니다. show_digit()을 이름만 바꾼 show_fashion()으로 데이터를 살펴보니 드레스가 보입니다.조금 전에 했던 숫자 MNIST와 똑같은 과정을 SageMaker를 이용해, 학습 → 테스트 → 예측해보니 아래와 같은 예측 결과를 얻을 수 있었습니다. 신발은 신발끼리, 바지는 바지끼리, 가방은 가방끼리 분류된 게 너무나 신기합니다. (아까 진행한 숫자보다 더 학습이 잘 된 것 같은건 기분 탓일까요…?)머신러닝이라고 겁내지 않아도 됩니다! 유저들에게 더 좋은 서비스 제공할 수 있으니까요. 지금까지 브랜디 개발2팀의 단아한 개발자 오연ㅈ….참사를 막아주세요.앗, 잠시만요!! 중요한 것을 놓칠 뻔 했네요.저처럼 테스트를 하면 그냥 지나치지 마세요. 자동 결제로 출금되는 뼈 아픈 경험을 할 수도 있습니다. 반드시 이용했던 서비스들을 stop 하거나 terminate 해주세요. (Clean-up단계) 자세한 내용은 여기를 클릭하세요.지금까지 Brandi 개발 2팀, 단아한 개발자 오연주였습니다!# entire script (숫자 Mnist) # 오호 드디어 coding start! # 이제부터 Brandi의 단아한 개발자, 저를 따라오시면 됩니다 :) # 노트북 Block을 실행하는 방법은 Shift + Enter 입니다 from sagemaker import get_execution_role role = get_execution_role() # 초기에 설정해 뒀던 IAM role 가져오기 bucket = 'sagemaker-julie-test' # 초기 단계에 만들었던 S3 Bucket 이름 적기 %%time import pickle, gzip, numpy, urllib.request, json # 여기서 잠깐, 생소한 라이브러리 설명을 드릴게요! # pickle: python식 데이터 압축 포맷 # numpy: 수치 계산을 하기 위한 python package # Load the dataset urllib.request.urlretrieve("http://deeplearning.net/data/mnist/mnist.pkl.gz", "mnist.pkl.gz") with gzip.open('mnist.pkl.gz', 'rb') as f: train_set, valid_set, test_set = pickle.load(f, encoding="latin1") # matplotlib로 그리는 그림이 jupyter 노트북에 바로 보여줄 수 있도록 설정 %matplotlib inline import matplotlib.pyplot as plt # 도표나 그림을 그릴 수 있게 해주는 라이브러리 plt.rcParams["figure.figsize"] = (2, 10) # 그림의 크기 지정 def show_digit(img, caption='', subplot=None): if subplot is None: _,(subplot) = plt.subplots(1,1) imgr = img.reshape((28, 28)) subplot.axis('off') subplot.imshow(imgr, cmap='gray') plt.title(caption) # train_set의 그림과[0] 데이터 이름[1]을 예시로 보여준다 show_digit(train_set[0][30], 'This is a {}'.format(train_set[1][30])) # 학습을 하기 위해 학습 알고리즘 및 데이터 경로 설정! from sagemaker import KMeans data_location = 's3://{}/kmeans_highlevel_example/data'.format(bucket) output_location = 's3://{}/kmeans_example/output'.format(bucket) print('training data will be uploaded to: {}'.format(data_location)) print('training artifacts will be uploaded to: {}'.format(output_location)) kmeans = KMeans(role=role, train_instance_count=2, # 장비 2대를 사용하여 학습하겠어요! train_instance_type='ml.c4.8xlarge', output_path=output_location, k=10, # 아래 그림을 참고해 주세요! data_location=data_location) %%time # 학습 시작! kmeans.fit(kmeans.record_set(train_set[0])) %%time # 모델을 만든 후 사용하기 위하여 배포하기 kmeans_predictor = kmeans.deploy(initial_instance_count=1, instance_type='ml.m4.xlarge') # valid_set에 30번째 sample을 테스트 해보기 result = kmeans_predictor.predict(valid_set[0][30:31]) print(result) %%time # vaild_set에 있는 0번부터 99번까지의 데이터로 cluster를 예측 해보자 result = kmeans_predictor.predict(valid_set[0][0:100]) # 예측 결과에 대한 cluster 정보를 수집 clusters = [r.label['closest_cluster'].float32_tensor.values[0] for r in result] # 각 cluster별 예측된 이미지 출력 for cluster in range(10): print('\n\n\nCluster {}:'.format(int(cluster))) digits = [ img for l, img in zip(clusters, valid_set[0]) if int(l) == cluster ] height = ((len(digits)-1)//5)+1 width = 5 plt.rcParams["figure.figsize"] = (width,height) _, subplots = plt.subplots(height, width) subplots = numpy.ndarray.flatten(subplots) for subplot, image in zip(subplots, digits): show_digit(image, subplot=subplot) for subplot in subplots[len(digits):]: subplot.axis('off') plt.show() 출처Getting Started - Amazon SageMaker CodeOnWeb - 머신러닝 초보를 위한 MNIST fashion-mnist 글오연주 사원 | R&D 개발2팀[email protected]브랜디, 오직 예쁜 옷만#브랜디 #개발문화 #개발팀 #업무환경 #인사이트 #경험공유