전체 피드 목록

'왜 이 녀석은 일기를 블로그에 쓸까?'라고 생각할 수 있다. 내가 가장 존경하는 인물은 소프트뱅크의 창업자인 손정의 회장인데 손정의 회장은 '도저히 불가능할 것 같은 목표를 세우고 사람들 앞에 선언하라'고 하였다. 그러면 그 말을 지키기 위해 무엇이든 할 것이라고. 블로그는 내게 그런 의미다. 내가 이곳에 선언하고 많은 사람들에게 공유한 만큼, 일기보다 훨씬 더 엄격한 책임감을 갖게 된다. 다들 한 번씩 해보길 바란다. 시간은 빠르다. 이제 창업을 한 지 3년이 넘어간다. 모든 것은 2013년 3월, 군대에서 말년휴가를 나온 고교시절 단짝 친구인 경병현에게 죠스 떡볶이에서 떡볶이와 순대를 먹으면서 '창업을 하자'고 제안하면서 시작됐다. 그 제안을 군인 신분으로 받아들인 놈도 어이없지만, 우리가 제일 먼저 했던 일은 PC방에 가서 회사 로고와 이름을 만들고 페이스북 페이지를 만드는 일이었다. 지금 생각해보면 어리숙하고 순수했던 시절이지만, 얼마나 진정성이 넘치는지 말년 휴가를 나온 친구와 클럽이나 나이트클럽을 가는 게 아니라 PC방에서 밤을 새우고 다음날 오후 3시까지 그 작업을 했다. 아직도 명확하게 기억이 나는 걸 보니, 꽤 힘들면서도 즐거운 시작이었던 것 같다.사복-경병현, 군복-나우리는 경기도 안산의 실업계 고등학교에서 처음 만났다. 그 친구는 만화 그리기를 좋아하는 순수한 아이였고 가난이나 외부 환경에 무관하게 매우 행복하게 살던 친구였다. 나는 그 친구와 반대로 독기를 품고 있었는데, 이 자본주의 세상에서 제일로 여겨지는 돈이라는 걸 실컷 벌어보고 내가 단순히 돈이라는 별 것도 아닌 것에 받은 고통을 세상에 돌려받고 복수하고 싶었다. 고등학교 시절부터 매일 하버드, 옥스퍼드 대학교 등 세계 제일의 대학생이 공부하고 배우는 것들에 대해 다룬 다큐멘터리를 봤고 기업가와 관련된 영화, 마피아와 관련된 영화, 정해진 삶을 바꾸고 개척하는 주인공을 다룬 영화는 닥치는 대로 보기 시작했다. 그리고, 그 친구에게 내 사상을 마구 주입했다. 우리는 매일 집에서 같이 영화를 봤고 컵라면을 먹으면서 어떻게 세상을 바꾸는 위대한 일을 할 수 있을 지에 대해 마치 신 들린 사람처럼 설명했다. 공부를 하다가 힘이 들면 인터넷 강의를 봤고, 그래도 힘이 들면 여의도나 삼성역 근처로 가서 야간에 밝게 불이 켜진 높은 건물들을 바라보며 의지를 다지곤 했다.그렇게 3년이란 시간을 보냈기 때문에 지금의 10년이 존재하는 것 같다. 그 친구와 인연을 맺게 된지 10년이 지났고, 사업을 같이 한 지도 3년이 지났다. 집을 나와서 서로의 자취방에서 잔다고 부모님께 거짓말을 하면서 서울대입구의 조그만 방을 구해서 일을 시작했다. 이게 모든 일, 그리고 실수의 시작이다. 나는 사업을 하기 위해 사업을 택했고 어떤 아이템이나 서비스도 존재하지 않았다. 심지어, IT 기업을 하겠다고 했지만 우리 중에 코딩을 할 수 있는 사람도 없었다. 준비되지 않은 창업. 그것은 분명히 실수다. 물론, 지금에서야 인정할 수 있는 실수이긴 하지만, 앞으로 창업하고 싶은 대학생이 있다면 준비되지 않은 창업은 분명한 오류고 많은 문제를 겪을 것이란 것을 말해주고 싶다.코딩하는 나그때, 내가 선택한 길은 코딩을 배우는 일이었다. 나는 개인이 독기를 품으면 뭐든지 해낼 수 있다고 믿는데 그게 내 삶을 가로지르는 가장 중요한 가치다. 결국 독기를 품고 코딩을 한 지 한 5개월쯤 지나니 안드로이드 앱 '닥터 알람'을 출시할 수 있었다. 그리고 닥터 알람은 특유의 독특한 재미와 가치를 고객들에게 주면서 순식간에 다운로드 수 50,000이 넘어갔다. 나는 이제 우리의 역량이 시장에서 입증됐다고 생각했고 닥터 알람을 접었다. 그리고 새로운 서비스를 찾기 시작했는데, 내 친구는 SK상생혁신센터라는 입주공간에서 작업을 했고 나는 카페에서 주로 작업을 했다. 그러다 보니 커뮤니케이션 이슈가 자연스럽게 발생하게 됐는데, 이 때문에 협업 툴을 찾기 시작했다. 그런데, 대부분 협업툴은 우리가 쓰기엔 너무 어렵고 복잡했다. 그냥 포스트잇이나 링크 같은 거 공유할 수 있는 판만 있으면 좋겠다고 생각했는데 그런 게 없었다. 그래서 우리가 만들기로 결심했다. 솔직히, 얼마 안 걸릴 줄 알고 용감하게 시작했다. 그렇게 시작된 것이 비캔버스다. 비캔버스 개발을 시작한 지 어느새 2년이 됐으니 절대 쉽지 않은 일임이 분명한데, 그때는 잘 몰랐다. 그래서 사람들이 서비스가 어떻게 만들어진 건지 물어볼 때, 뭔가 멋있는 말을 해주긴 하지만 미안하게도 사실 잘 기억이 안 나서 지어낸 것이다. 너무 오랜 시간이 지났고 완전히 무식한 상태에서 시작했기 때문이다.내 실수는 나의 운과 함께 시작된다. 당시 사무실도 없고 돈도 심각하게 없던지라 마루 180이나 여러 입주시설에 인큐베이팅을 신청했는데 모두 떨어졌다. 그런데 딱 하나! 정부지원사업 '스마트 벤처창업학교'에 서류 합격한 것이다. 내 인생 처음 서류합격이었다. 너무 기뻤지만 면접 심사 때 보여줄 만한 것이 없었다. 그래서 비캔버스가 마치 돌아가는 서비스인 것처럼 애프터 이펙트로 만들어서 가져갔다. 그 이후에는 잘 기억이 나지 않지만 매우 무식하고, 아무것도 모르는데 용감했다. 처음으로, 스마트 벤처창업학교 때 썼던 사업계획서를 공개한다. 지금 쓰라고 하면 이렇게 쓸 수도 없을 것 같은데, 포스트잇으로 철학을 하겠다는 건지 매우 진지하고 용감하게 나의 무식함을 드러냈다. 스마트벤처창업학교 사업계획서. 이게 전부다. 창업을 위한 사전준비 사항을 이거 한 줄 썼다. 인간, 기계, 이상한 말들이 줄줄이 나온다. 그런데 결과가 놀라웠다. 우리가 스마트 벤처창업학교에 1등으로 입교하게 된 것이다. 그때까지는 500만 원만 있어도 무엇이든 만들고 위대한 기업이 될 수 있을 것 같았다. 그런데 1억이라는 자금이 갑자기 들어오면서 돈에 대한 개념을 다시 생각하게 됐다. 생각보다 돈은 매우 빨리 소진된다는 걸 이때 배운 것 같다.서현역 오피스텔에서 일하던 시절 경병현 이사 - 반바지입니다. (팬티 아님)스마트 벤처창업학교가 끝나서 돈이 없을 때쯤, 또다시 행운이 찾아왔다. 한화 S&C와 엔절로부터 2억 3천만 원의 투자를 유치했다. 모든 것들이 꿈만 같았다. 모든 일이 1년 안에 순식간에 일어났다. 지난 1년간의 고생이 더욱 값지게 느껴졌다. 이때부터 내 실수가 시작된다. 2억 3천만 원의 투자를 유치하고 나서도 내 기억은 작은 단칸방에서 사무실도 없이 꽁치김치찌개 통조림 먹으면서 일했던 그곳에 머물러 있었다. 나는 새로운 인력을 나와 내 친구처럼 헝그리 하게 할 수 있는 사람들로 채워 넣기 시작했다. 그들이 개발을 당장 잘하건, 성격상의 Fit이 안 맞건 상관없었다. 그냥 헝그리 하게 전투적으로 할 수 있는 사람만 모이면 무엇이든 해낼 수 있다고 믿었다. 내가 개인적으로 이제까지 믿어왔던 '독하면 무엇이든 해낸다'가 모든 사람에게 통할 것이라 생각했다. 성격이 문제가 있으면 바뀔 수 있다고 믿었고, 성과가 안나도 그것도 바뀔 수 있다고 믿었다. 1년이 흘렀다. 지금은, 이 사진속 인물 중에는 나와 경병현만이 남아있다.그렇게 우리는 매출 100원도 없는 회사임에도 매 달 천만 원 이상의 돈을 써댔다. 웃겼던 것은 그 당시에 급여를 제대로 받은 사람이 단 한 명도 없었다는 것이다. 원래 잘하던 사람을 잘하는 위치에 앉혀서 사업을 운영한 게 아니기 때문에 자연스럽게 개인 리소스의 한계가 왔고 나는 사람을 하나 둘 늘리기 시작했다. 그렇게 지출은 커져갔다. 나는 우리가 임시적인 팀이라는 것을 망각했다. 성과를 내지 않으면 소멸한다는 자연스러운 현상을 인정하지 않았다. 나는 서비스 성장보다 팀을 만들고 회사를 만드는 데 집중하기 시작했다. 뭔가 투자를 받았기 때문에 우리 회사가 대단하다고 착각한 것일까? 잘 모르겠다. 잘못된 판단을 내렸다는 것만 명확하게 알고있다. 내가 주로 했던 일은 사람들이 문제가 있을 때 설득하고 전투력을 높여주는 일이었다. 하루에 최소 4시간 이상을 사람들의 의지를 북돋고 위대한 사람들의 영상이나 글, 명언을 보여주며 혹독하게 우리를 채찍질하자고 설득하는데 시간을 쏟았다. 우리는 형제이자 가족이라고 믿었고, 그 사람들이 우리 회사에서 언젠가 나간다는 건 생각도 하기 싫었다. 기대는 커졌고, 강요도 많이 했다. 투자받은 돈을 40% 정도 썼을 때쯤 위기감이 다가왔다. 우리가 이제까지 한 게 너무 없고 마일스톤을 전혀 달성하지 못한 것을 발견했다. 그때부터 서비스에 완전히 몰입하고 다시 사람들을 채찍질하기 시작했다. 당연히 일정은 지켜지지 않았고 우리는 매주 성과를 내지 못했다. 어떤 사람들은 정말 전투적으로 열심히 했고, 어떤 사람들은 동아리 활동을 하듯 일을 했다. 전투적으로 하는 사람들은 일정을 지키는 일이 많았고 지키지 못했다고 하더라도 개인적으로 이해했다. 그런데, 그다지 일을 많이 하지도 않으면서 일정을 지키지 못하면 매우 화가 났다. 그 모든 것이 나에게 큰 스트레스를 안겨주었는데, 나와 내 친구 둘이서 할 때는 상상도 못했던 분위기였기 때문이다. '안되면 될 때까지 한다. 절대 포기하지 않고 길을 찾다보면 길은 나온다.' 이런 생각으로 살아온 우리에게는 충격적인 일이었다.나는 지금도 일은 많이 해야 한다고 믿는 사람 중 하나다. 왜냐하면 우리가 특정 분야에 숙달되지 않았기 때문에 많은 시간을 투입하는 것이 배신을 하는 일은 결코 없기 때문이다. 다만, 개인에게 그걸 강요할 수 없다는 것을 깨닫지 못했던 것이 실수라고 본다. 그리고, 사람들을 자꾸 바꾸려고 했던 이유는 내가 그 개인에게 거는 기대가 너무나도 컸기 때문이다. 어차피 우리는 10년, 20년 갈 거고 저들이 나중에 리더십을 갖게 될 텐데, 그때 리더십을 잃지 않으려면 지금 빨리 속도를 내서 능력을 키우고 성과를 내야 한다는 것이 그 이유였다. 어떤 이유로도 내 시나리오에 저 사람이 우리 회사를 나가는 것은 없었다. 내가 팀원들 개개인이 회사가 커졌을 때 가져야되는 리더쉽까지 고민을 했다니, 김칫국을 너무 빠르게 마신 셈이다.나는 단 한 사람도 회사에서 먼저 나가라고 하거나, 그것을 종용할 생각이 없었다. 우리는 가족이니까. 사업을 하면서 일본의 이나모리 가즈오, 마쓰시타 고노스케의 책을 많이 읽었는데 그들의 사업철학이 나에게 너무 심각한 영향을 줬다. 이게 많은 젊은 창업자들이 앞으로도 계속할 실수라고 본다. 여기에 내 경험으로 말미암아 실수를 공유하니, 나와 같은 실수를 덜했으면 좋겠다.1. 조금 가치가 안 맞을 것을 예상했지만 같이 가기로 했다- 사람은 결코 변하지 않는다. 처음 우려했던 이슈 그대로 마지막 모습으로 남고 떠난다.2. 어차피, 우리는 학생이 대부분이었기 때문에 일을 제대로 못했다. 그저 많이 일하는 것이 답이었다.- 제대로 하는 사람을 정확한 위치에 앉혀야 한다. 회사에서 트레이닝하려는 생각을 버렸어야 했다.3. 인원을 마구 늘렸다.- 인원은 월급이나 복지와도 같다. 늘리기는 쉽지만 한 번 늘리면 줄이기 힘들다. 사람들이 다 나가고 돌아보니, 애초에 그만큼 인원이 필요가 없었다.4. 팀은 영원할 것이고 팀원은 형제기 때문에 치고 박으면서 끝까지 가는 것이라 오판했다.- 팀은 다 같이 성과를 내지 못하면 사라지는 것이고, 팀원은 형제가 아니다. 어느 날 회사에 제시간에 아무도 나오지 않을 때, Rule을 만들어도 아무도 지키지 않을 때쯤 되서야 뭔가 잘못 돌아가고 있다는 것을 깨달을 수 있었다. 그런데, 그때는 이미 늦었다.5. 제일 중요한것. 사람들 말을 많이 무시했다. 내 인사이트가 짱이라고 착각했다.- 나는 정말 아무것도 모르는 존재기 때문에 많은 사람으로부터 배워야 한다는 걸 깨닫기 까지 오래걸렸다.이것은 내 개인의 문제에 대한 지각이다. 분노를 쉽게 하고 타협을 모르는 내 성격이 많은 문제를 발생시켰고, 인간관계에서 정말 여러번 실수했다. 이 중에는 이제 돌이킬 수 없는 관계들도 있는데, 이 부분에서 더욱 많이 배울 수 있었다.직접 경험해보지 않으면, 이런 나의 실수들이 와 닿지 않을 수도 있다. 물론 내가 팀에서 나이가 가장 어렸고 내부적으로는 형 동생을 하고 있었기 때문에 생긴 문제일 수도 있다. 그러나 결국, 트렐로 등 툴을 써서 프로젝트를 관리하고 싶을 때 2-3번 계속 이야기를 했어야 했고, 회의 자료를 준비해달라고 해도 몇 사람은 회의 때 아무것도 준비해오지 않는 일이 반복됐다. 출근 시간은 이미 존재하지도 않았고, 누군가 아프다고 안 나오겠다고 하면 딱히 할 말도 없었다. 이 약점을 깨는 방법은 간단하다. 스타트업의 특별성을 없애면 된다.대한민국 사람들이 일하는 방식 그대로 규정을 만들고 일하면 된다. 출근은 9-10시 퇴근은 7시.더 할 사람은 자기 마음대로.자기가 세운 일정은 지킨다.이렇게 해도 더 할 사람은 더 한다. 모든 것은 자율에 맡기고 그 성과만 공정하고 냉정하게 평가되면 될 일인데, 그것을 미처 깨닫지 못했다. 아마, 대학생 창업자들은 이 문제로 고민을 겪고 있을 수 있다. 누구는 시험 보러 간다고 하고, 누구는 수업을 듣는다 하고, 다시 복학을 한다 하고 스트레스의 연속일 것이 분명하다.그런데, 내가 겪어온 바로는 그런 상황에서는 그냥 뛰어들지 않는 것이 낫다. 스타트업이란 것은 팀에 대한 고민은 줄이고 서비스와 고객에 대한 고민의 시간을 늘릴 수 있을 때 성공과 가까워진다는 것을 깨달았다. 팀원과 사업 자체에 대한 고민은 백날 해봐야 서비스 어려워지면 나갈 팀원들은 나가게 되어있다. 안 나갈 사람은 애초에 고민거리도 안주는 경우가 많다. (실제로 투자를 받고 조인한 팀원은 비캔버스의 사용자였는데, Self-organized된 사람이라 딱히 내가 모티베이션을 주거나 할 시간을 들이지 않아도 됐다. 그리고 지금도 전혀 문제없이 근성있게 나아가고 있다) 이게, 내가 망각한 두 가지 공식이다. 이제, 내 뇌 깊숙이 자리 잡고 있다.팀원에 대한 고민이 줄어 온전히 서비스와 고객에 대해 고민할 수 있을 때 비로소 속도감이 붙는다매출이 없다면 지출을 줄여야 한다. 지출의 대부분 비율을 차지하는 인건비에 대해선 매달 고민해야 한다.작년을 돌아보면, 사업에 있어 왜 팀이 중요한 지에 대해 다시 감을 잡게 되는 소중하고도 비싼 수업료였다. 왜 투자자들은 팀을 보는가? 누군가는 좋은 대학, 직장을 볼 수도 있지만 사실은 그게 중요한 것이 아니다. 팀이 중요한 이유는 대부분 결성되는 팀이 막상 내부적으로는 서비스에 온전히 몰입할 수 있는 상황이 아니기 대문이다. 설득과 커뮤니케이션에 너무 많은 시간이 들어가게 되면 서비스는 뒷전일 수밖에 없다. Y Combinator의 폴 그레이엄이 대부분 성공한 창업자들에게 들은 이야기를 공유한 에세이가 있는데, 이것이 정답이라고 본다. Be Careful with CofoundersThis was the surprise mentioned by the most founders. There were two types of responses: thatyou have to be careful who you pick as a cofounder, and that you have to work hard to maintain your relationship.What people wished they'd paid more attention to when choosing cofounders was character and commitment, not ability. This was particularly true with startups that failed. The lesson:don't pick cofounders who will flake.- Paul graham (Co-founder, Y combinator)문제 생길 것 같으면 같이 일하지 말라는 게 핵심이다. 그리고 폴 그레이엄의 수많은 에세이는 이런 내용보다는 서비스와 Growth나 이에 관련된 창업자의 마인드셋 등 실제 사업 전반적인 내용에 대한 것이 대부분이다. 팀에 과도하게 매달리면 사업이 아니라 사업 놀이만 하다 끝날 확률이 매우 크다는 것을 몸으로 느꼈다.앞으로 내가 추구할 방향과 길은 이 실수들에서 비롯된다. 혹독하게 회사와 서비스를 성장시키는 데만 집중하는 것이 올바른 방향이라는 것을 깨달았다. 무언가 내부적으로 이슈가 있음에도 우리를 좋은 팀으로 포장해서 투자를 받을 생각도 하지 않을 것이다. 서비스에 대해 심각하고 밀도 있게 고민하고 회의할 수 있는 팀. 그것을 전제로 매주 다양한 시도를 통해 성장하는, 그런 그림을 그려보고 싶다. 나 또한 많이, 잘 일하지 않으면 팀에서 쓸모없는 존재가 되어버릴 수 있다. CEO라는 것은 직함일 뿐이기 때문에, 이것을 특권이라 생각하지 않고 부단히 단련하고 혹독하게 나를 채찍질하는 것을 멈추지 않겠다고 결심했다. 그리고, 사람들에게 강요하기를 멈추기로 했다. 고객이 우리를 냉정하게 바라보듯, 우리도 우리 내부의 현실을 냉정하게 바라보고 냉정하게 평가해서 회사 자체를 키워나가야만 한다. 회사는 네이비씰이 아니었다. 내가 우긴다고 되는 것이 아니었다. 내가 Motivation 할 때 큰 영향을 준 영상, 책이 누구에게나 의미 있는 것은 아니다. 결국 자기 스스로 자신만의 다양한 point에서 Motivation을 얻어야만 한다. 매주 확신과 비전, 모티베이션을 다른 사람이 계속해서 줘야만 일을 할 수 있는 사람은 언젠가 낙오하게 돼있다. 그게 내가 강요를 멈추기로 한 이유다.내가 팀원들에게 자주 말했던 것을 인용하며 글을 마치겠다.지금 이 돈 받고 이 지분 받고 일하는 이유가 무엇이냐?(뭔가 큰 명예나 부를 얻거나 원하는 삶을 살아보고 싶어서가 대부분)그렇다면, 당신이 원하는 건 항상 매일 몰아치는 잔잔한 파도가 아니라,거대한 쓰나미를 보고 싶단 건데 쓰나미는 몰아치기 전에 전조현상이라는 것이 있다. 거대한 쓰나미일수록 더 물이 많이 빠진다. 그래서 누구나 쓰나미를 본능적으로 예측할 수 있다. 그럼 우리는 지금 무슨 전조현상을 일으키고 있나? 무엇을 특별하게 하길래, 우리가 얼마나 비상식적으로 특별하길래 그런 말도 안 되는 결과를 기대할 수 있는 것인가? 우리를 바라보는 사람들은 우리의 뭘 보길래 본능적으로 성공을 예측할까?대부분 스타트업이 원하는 결과는 말도 안 되는 것이 대부분이다.그런데 대부분 말도 안 되게 뭔가 해야겠다는 생각은 안 하는 것 같다.일을 진짜 말도 안 되게 많이 하면서도 잘한다던가, 얼굴 팔리는 것 각오하고 길에서 이상한 짓을 하거나..말도 안 되는 뭔가를 해야 정말 거대한 무언가를 만날 수 있지 않을까? 이 고민을 매일 하며 잠이 든다. 그리고 매일 밤 부끄러움이 느껴진다.2014년 3월 스마트벤처창업학교 사업계획서를 쓸 때, 그때의 각오를 되살리며..

PrefaceDeep learning has led to a series of breakthroughs in many areas. However, successful deep learning models often require significant amounts of computational resources, memory and power. Deploying efficient deep learning models on mobile devices became the main technological challenge for many mobile tech companies.Hyperconnect developed a mobile app named Azar which has a large fan base all over the world. Recently, Machine Learning Team has been focusing on developing mobile deep learning technologies which can boost user experience in Azar app. Below, you can see a demo video of our image segmentation technology (HyperCut) running on Samsung Galaxy J7. Our benchmark target is a real-time (>= 30 fps) inference on Galaxy J7 (Exynos 7580 CPU, 1.5 GHz) using only a single core.Figure 1. Our network runs fast on mobile devices, achieving 6 ms of single inference on Pixel 1 and 28 ms on Samsung Galaxy J7. Full length video. There are several approaches to achieve fast inference speed on mobile device. 8-bit quantization is one of the popular approaches that meet our speed-accuracy requirement. We use TensorFlow Lite as our main framework for mobile inference. TensorFlow Lite supports SIMD optimized operations for 8-bit quantized weights and activations. However, TensorFlow Lite is still in pre-alpha (developer preview) stage and lacks many features. In order to achive our goal, we had to do the following:Understand details of TensorFlow and Tensorflow Lite implementation.Design our own neural network that can fully utilize optimized kernels of TensorFlow Lite. (Refer to 1, 2 and 3)Modify TOCO: TensorFlow Lite Optimizing Converter to correctly convert unsupported layers. (Refer to 4)Accelerate several quantized-layers with SIMD optimized code. (Refer to 5 and 6)We are willing to share our trials and errors in this post and we hope that readers will enjoy mobile deep learning world :)1) Why is depthwise separable layer fast in Tensorflow Lite ?Implementing low-level programs requires a bit different ideas and approaches than usual. We should be aware that especially on mobile devices using cache memory is important for fast inference.Figure 2. Memory access requires much more energy (640 pJ) than addition or multiplication.Accessing cache memory (8 pJ) is much cheaper than using the main memory (table courtesy of Ardavan Pedram) In order to get insight into how intrinsics instructions are implemented in Tensorflow Lite, we had to analyze some implementations including depthwise separable convolution with 3x3 kernelsBelow we describe some of the main optimization techniques that are used for building lightweight and faster programs.Loop UnrollingCan you spot the difference between the following two code fragments?for (int i = 0; i < 32; i++) { x[i] = 1; if (i%4 == 3) x[i] = 3; } for (int i = 0; i < 8; i++) { x[4*i ] = 1; x[4*i+1] = 1; x[4*i+2] = 1; x[4*i+3] = 3; } The former way is what we usually write, and the latter is loop-unrolled version of former one. Even though unrolling loops are discouraged from the perspective of software design and development due to severe redundancy, with low-level architecture this kind of unrolling has non-negligible benefits. In the example described above, the unrolled version avoids examining 24 conditional statements in for loop, along with neglecting 32 conditional statements of if.Furthermore, with careful implementation, these advantages can be magnified with the aid of SIMD architecture. Nowadays some compilers have options which automatically unroll some repetitive statements, yet they are unable to deal with complex loops.Separate implementation for each caseConvolution layer can take several parameters. For example, in depthwise separable layer, we can have many combinations with different parameters (depth_multiplier x stride x rate x kernel_size). Rather than writing single program available to deal with every case, in low-level architectures, writing number of case-specific implementations is preferred. The main rationale is that we need to fully utilize the special properties for each case. For convolution operation, naive implementation with several for loops can deal with arbitrary kernel size and strides, however this kind of implementation might be slow. Instead, one can concentrate on small set of actually used cases (e.g. 1x1 convolution with stride 1, 3x3 convolution with stride 2 and others) and fully consider the structure of every subproblem.For example, in TensorFlow Lite there is a kernel-optimized implementation of depthwise convolution, targeted at 3x3 kernel size:template <int kFixedOutputY, int kFixedOutputX, int kFixedStrideWidth, int kFixedStrideHeight> struct ConvKernel3x3FilterDepth8 {}; Tensorflow Lite further specifies following 16 cases with different strides, width and height of outputs for its internal implementation:template <> struct ConvKernel3x3FilterDepth8<8, 8, 1, 1> { ... } template <> struct ConvKernel3x3FilterDepth8<4, 4, 1, 1> { ... } template <> struct ConvKernel3x3FilterDepth8<4, 2, 1, 1> { ... } template <> struct ConvKernel3x3FilterDepth8<4, 1, 1, 1> { ... } template <> struct ConvKernel3x3FilterDepth8<2, 2, 1, 1> { ... } template <> struct ConvKernel3x3FilterDepth8<2, 4, 1, 1> { ... } template <> struct ConvKernel3x3FilterDepth8<1, 4, 1, 1> { ... } template <> struct ConvKernel3x3FilterDepth8<2, 1, 1, 1> { ... } template <> struct ConvKernel3x3FilterDepth8<4, 2, 2, 2> { ... } template <> struct ConvKernel3x3FilterDepth8<4, 4, 2, 2> { ... } template <> struct ConvKernel3x3FilterDepth8<4, 1, 2, 2> { ... } template <> struct ConvKernel3x3FilterDepth8<2, 2, 2, 2> { ... } template <> struct ConvKernel3x3FilterDepth8<2, 4, 2, 2> { ... } template <> struct ConvKernel3x3FilterDepth8<2, 1, 2, 2> { ... } template <> struct ConvKernel3x3FilterDepth8<1, 2, 2, 2> { ... } template <> struct ConvKernel3x3FilterDepth8<1, 4, 2, 2> { ... } Smart Memory Access PatternSince low-level programs are executed many times in repetitive fashion, minimizing duplicated memory access for both input and output is necessary. If we use SIMD architecture, we can load nearby elements together at once (Data Parallelism) and in order to reduce duplicated read memory access, we can traverse the input array by means of a snake-path.Figure 3. Memory access pattern for 8x8 output and unit stride, implemented in Tensorflow Lite's depthwise 3x3 convolution. The next example which is targeted to be used in much smaller 4x1 output block also demonstrates how to reuse preloaded variables efficiently. Note that the stored location does not change for variables which are loaded in previous stage (in the following figure, bold variables are reused):Figure 4. Memory access pattern for 4x1 output and stride 2, implemented in Tensorflow Lite's depthwise 3x3 convolution. 2) Be aware of using atrous depthwise convolutionAtrous (dilated) convolution is known to be useful to achieve better result for image segmentation[1]. We also decided to use atrous depthwise convolution in our network. One day, we tried to set stride for atrous depthwise convolution to make it accelerate computation, however we failed, because the layer usage in TensorFlow (≤ 1.8) is constrained.In Tensorflow documentation of tf.nn.depthwise_conv2d (slim.depthwise_conv2d also wraps this function), you can find this explanation of rate parameter.rate: 1-D of size 2. The dilation rate in which we sample input values across the height and width dimensions in atrous convolution. If it is greater than 1, then all values of strides must be 1.Even though TensorFlow doesn’t support strided atrous function, it doesn’t raise any error if you set rate > 1 and stride > 1. >>> import tensorflow as tf >>> tf.enable_eager_execution() >>> input_tensor = tf.constant(list(range(64)), shape=[1, 8, 8, 1], dtype=tf.float32) >>> filter_tensor = tf.constant(list(range(1, 10)), shape=[3, 3, 1, 1], dtype=tf.float32) >>> print(tf.nn.depthwise_conv2d(input_tensor, filter_tensor, strides=[1, 2, 2, 1], padding="VALID", rate=[2, 2])) tf.Tensor( [[[[ 302.] [ 330.] [ 548.] [ 587.]] [[ 526.] [ 554.] [ 860.] [ 899.]] [[1284.] [1317.] [1920.] [1965.]] [[1548.] [1581.] [2280.] [2325.]]]], shape=(1, 4, 4, 1), dtype=float32) >>> 0 * 5 + 2 * 6 + 16 * 8 + 9 * 18 # The value in (0, 0) is correct 302 >>> 0 * 4 + 2 * 5 + 4 * 6 + 16 * 7 + 18 * 8 + 20 * 9 # But, the value in (0, 1) is wrong! 470 Let’s find the reason why this difference happened. If we just put tf.space_to_batch and tf.batch_to_space before and after convolution layer, then we can use convolution operation for atrous convolution (profit!). On the other hand, it isn’t straightforward how to handle stride and dilation together. In TensorFlow, we need to be aware of this problem in depthwise convolution.3) Architecture design principles for efficient segmentation networkUsually segmentation takes more time than classification since it has to upsample high spatial resolution map. Therefore, it is important to reduce inference time as much as possible to make the application run in real-time.It is important to focus on spatial resolution when designing real-time application. One of the easiest ways is to reduce the size of input images without losing accuracy. Assuming that the network is fully convolutional, you can accelerate the model about four times faster if the size of input is halved. In literature[2], it is known that small size of input images doesn’t hurt accuracy a lot.Another simple strategy to adopt is early downsampling when stacking convolution layers. Even with the same number of convolution layers, you can reduce the time with strided convolution or pooling within early layers.There is also a tip for selecting the size of input image when you use Tensorflow Lite quantized model. The optimized implementations of convolution run best when the width and height of image is multiple of 8. Tensorflow Lite first loads multiples of 8, then multiples of 4, 2 and 1 respectively. Therefore, it is the best to keep the size of every input of layer as a multiple of 8.Substituting multiple operations into single operation can improve speed a bit. For example, convolution followed by max pooling can be usually replaced by strided convolution. Transpose convolution can also be replaced by resizing followed by convolution. In general, these operations are substitutable because they perform the same role in the network. There are no big empirical differences among these operations. Tips described above help to accelerate inference speed but they can also hurt accuracy. Therefore, we adopted some state-of-the-art blocks rather than using naive convolution blocks.Figure 5. Atrous spatial pyramid pooling (figure courtesy of Liang-Chieh Chen) Atrous spatial pyramid pooling[1] is a block which mimics the pyramid pooling operation with atrous convolution. DeepLab uses this block in the last layer.We also substitute most of the convolution layers with efficient depthwise separable convolution layers. They are basic building blocks for MobileNetV1[3] and MobileNetV2[4] which are well optimized in Tensorflow Lite.4) Folding batchnorm into atrous depthwise convolutionWhen quantizing convolution operation followed by batchnorm, batchnorm layer must be folded into the convolution layers to reduce computation cost. After folding, the batchnorm is reduced to folded weights and folded biases and the batchnorm-folded convolution will be computed in one convolution layer in TensorFlow Lite[5]. Batchnorm gets automatically folded using tf.contrib.quantize if the batchnorm layer comes right after the convolution layer. However, folding batchnorm into atrous depthwise convolution is not easy.In TensorFlow’s slim.separable_convolution2d, atrous depthwise convolution is implemented by adding SpaceToBatchND and BatchToSpaceND operations to normal depthwise convolution as mentioned previously. If you add a batchnorm to this operation by including argument normalizer_fn=slim.batch_norm, batchnorm does not get attached directly to the convolution layer. Instead, the graph will look like the diagram below: SpaceToBatchND → DepthwiseConv2dNative → BatchToSpaceND → BatchNorm The first thing we tried was to modify TensorFlow quantization to fold batchnorm bypassing BatchToSpaceND without changing the order of operations. With this approach, the folded bias term remained after BatchToSpaceND, away from the convolution layer. Then, it became separate BroadcastAdd operation in TensorFlow Lite model rather than fused into convolution. Surprisingly, it turned out that BroadcastAdd was much slower than the corresponding convolution operation in our experiment:Timing log from the experiment on Galaxy S8 ... [DepthwiseConv] elapsed time: 34us [BroadcastAdd] elapsed time: 107us ... To remove BroadcastAdd layer, we decided to change the network itself instead of fixing TensorFlow quantization. Within slim.separable_convolution2d layer, we swapped positions of BatchNorm and BatchToSpaceND. SpaceToBatchND → DepthwiseConv2dNative → BatchNorm → BatchToSpaceND Even though batchnorm relocation could lead to different outputs values compared to the original, we did not notice any degradation in segmentation quality.5) SIMD-optimized implementation for quantized resize bilinear layerAt the time of accelerating TensorFlow Lite framework, conv2d_transpose layer was not supported. However, we could use ResizeBilinear layer for upsampling as well. The only problem of this layer is that there is no quantized implementation, therefore we implemented our own SIMD quantized version of 2x2 upsampling ResizeBilinear layer.Figure 6. 2x2 bilinear upsampling without corner alignnment. To upsample image, original image pixels (red circles) are interlayed with new interpolated image pixels (grey circles). In order to simplify implementation we do not compute pixel values for the bottommost and rightmost pixels, denoted as green circles.for (int b = 0; b < batches; b++) { for (int y0 = 0, y = 0; y <= output_height - 2; y += 2, y0++) { for (int x0 = 0, x = 0; x <= output_width - 2; x += 2, x0++) { int32 x1 = std::min(x0 + 1, input_width - 1); int32 y1 = std::min(y0 + 1, input_height - 1); ResizeBilinearKernel2x2(x0, x1, y0, y1, x, y, depth, b, input_data, input_dims, output_data, output_dims); } } } Every new pixel value is computed for each batch separately. Our core function ResizeBilinearKernel2x2 computes 4 pixel values across multiple channels at once.Figure 7. Example of 2x2 bilinear upsampling of top left corner of image. (a) Original pixel values are simply reused and (b) – (d) used to interpolate new pixel values. Red circles represent original pixel values. Blue circles are new interpolated pixel values computed from pixel values denoted as circles with black circumference. NEON (Advanced SIMD) intrinsics enable us to process multiple data at once with a single instruction, in other words processing multiple data at once. Since we deal with uint8 input values we can store our data in one of the following formats uint8x16_t, uint8x8_t and uint8_t, that can hold 16, 8 and 1 uint8 values respectively. This representation allows to interpolate pixel values across multiple channels at once. Network architecture is highly rewarded when channels of feature maps are multiples of 16 or 8:// Handle 16 input channels at once int step = 16; for (int ic16 = ic; ic16 <= depth - step; ic16 += step) { ... ic += step; } // Handle 8 input channels at a once step = 8; for (int ic8 = ic; ic8 <= depth - step; ic8 += step) { ... ic += step; } // Handle one input channel at once for (int ic1 = ic; ic1 < depth; ic1++) { ... } SIMD implementation of quantized bilinear upsampling is straightforward. Top left pixel value is reused (Fig. 7a). Bottom left (Fig. 7b) and top right (Fig. 7c) pixel values are mean of two adjacent original pixel values. Finally, botom right pixel (Fig. 7d) is mean of 4 diagonally adjacent original pixel values.The only issue that we have to take care of is 8-bit integer overflow. Without a solid knowledge of NEON intrinsics we could go down the rabbit hole of taking care of overflowing by ourself. Fortunately, the range of NEON intrinsics is broad and we can utilize those intrinsics that fit our needs. The snippet of code below (using vrhaddq_u8) shows an interpolation (Fig. 7d) of 16 pixel values at once for bottom right pixel value:// Bottom right output_ptr += output_x_offset; uint8x16_t left_interpolation = vrhaddq_u8(x0y0, x0y1); uint8x16_t right_interpolation = vrhaddq_u8(x1y0, x1y1); uint8x16_t bottom_right_interpolation = vrhaddq_u8(left_interpolation, right_interpolation); vst1q_u8(output_ptr, bottom_right_interpolation); 6) Pitfalls in softmax layer and demo codeThe first impression of inference in TensorFlow Lite was very slow. It took 85 ms in Galaxy J7 at that time. We tested the first prototype of TensorFlow Lite demo app by just changing the output size from 1,001 to 51,200 (= 160x160x2)After profiling, we found out that there were two unbelievable bottlenecks in implementation. Out of 85 ms of inference time, tensors[idx].copyTo(outputs.get(idx)); line in Tensor.java took up to 11 ms (13 %) and softmax layer 23 ms (27 %). If we would be able to accelerate those operations, we could reduce almost 40 % of the total inference time!First, we looked at the demo code and identified tensors[idx].copyTo(outputs.get(idx)); as a source of problem. It seemed that the slowdown was caused by copyTo operation, but to our surprise it came from int[] dstShape = NativeInterpreterWrapper.shapeOf(dst); because it checks every element (in our case, 51,200) of array to fill the shape. After fixing the output size, we gained 13 % speedup in inference time.<T> T copyTo(T dst) { ... // This is just example, of course, hardcoding output shape here is a bad practice // In our actual app, we build our own JNI interface with just using c++ code // int[] dstShape = NativeInterpreterWrapper.shapeOf(dst); int[] dstShape = {1, width*height*channel}; ... } The softmax layer was our next problem. TensorFlow Lite’s optimized softmax implementation assumes that depth (= channel) is bigger than outer_size (= height x width). In classification task, the usual output looks like [1, 1(height), 1(width), 1001(depth)], but in our segmentation task, depth is 2 and outer_size is multiple of height and width (outer_size » depth). Implementation of softmax layer in Tensorflow Lite is optimized for classification task and therefore loops over depth instead of outer_size. This leads to unacceptably slow inference time of softmax layer when used in segmentation network.We can solve this problem in many different ways. First, we can just use sigmoid layer instead of softmax in 2-class portrait segmentation. TensorFlow Lite has very well optimized sigmoid layer.Secondly, we could write SIMD optimized code and loop over depth instead of outer_size. You can see similar implementation at Tencent’s ncnn softmax layer, however, this approach has still its shortcomings. Unlike ncnn, TensorFlow Lite uses NHWC as a default tensor format:Figure 8. NHWC vs NCHW In other words, for NHWC, near elements of tensor hold channel-wise information and not spatial-wise. It is not simple to write optimized code for any channel size, unless you include transpose operation before and after softmax layer. In our case, we tried to implement softmax layer assumming 2-channel output.Thirdly, we can implement softmax layer using pre-calculated lookup table. Because we use 8-bit quantization and 2-class output (foreground and background) there are only 65,536 (= 256x256) different combinations of quantized input values that can be stored in lookup table:for (int fg = 0; fg < 256; fg++) { for (int bg = 0; bg < 256; bg++) { // Dequantize float fg_real = input->params.scale * (fg - input->params.zero_point); float bg_real = input->params.scale * (bg - input->params.zero_point); // Pre-calculating Softmax Values ... // Quantize precalculated_softmax[x][y] = static_cast<uint8_t>(clamped); } } ConclusionIn this post, we described the main challenges we had to solve in order to run portrait segmentation network on mobile devices. Our main focus was to keep high segmentation accuracy while being able to support even old devices, such as Samsung Galaxy J7. We wish our tips and tricks can give a better understanding of how to overcome common challenges when designing neural networks and inference engines for mobile devices.At the top of this post you can see portrait segmentation effect that is now available in Azar app. If you have any questions or want to discuss anything related to segmentation task, contact us at [email protected]. Enjoy Azar and mobile deep learning world!References[1] L. Chen, G. Papandreou, F. Schroff, H. Adam. Rethinking Atrous Convolution for Semantic Image Segmentation. June 17, 2017, https://arxiv.org/abs/1706.05587[2] C. Szegedy, V. Vanhoucke, S. Ioffe, J. Shlens, Z. Wojna. Rethinking the Inception Architecture for Computer Vision. December 11, 2015, https://arxiv.org/abs/1512.00567[3] A. Howard, M. Zhu, B. Chen, D. Kalenichenko, W. Wang, T. Weyand, M. Andreetto, H. Adam. MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications, April 17, 2017, https://arxiv.org/abs/1704.04861[4] M. Sandler, A. Howard, M. Zhu, A. Zhmoginov, L. Chen. MobileNetV2: Inverted Residuals and Linear Bottlenecks. January 18, 2018, https://arxiv.org/abs/1801.04381[5] B. Jacob, S. Kligys, B. Chen, M. Zhu, M. Tang, A. Howard, H. Adam, D. Kalenichenko. Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference. December 15, 2017, https://arxiv.org/abs/1712.05877