kozistr | Feed

2023년 회고 (feat. 병특 끝)

Tue, 26 Dec 2023 00:00:00 GMT

Prologue

글을 쓰기 시작한 시점에서 올해가 1주일이 채 남지 않았는데, 올해를 돌아보면 중요한 사건이 끝나고 새로운 시작을 한, 그사이에 느낀 것들이 많고 놓친 것들을 되돌아보는 한 해였다. 나름 만족스러운 해였다.

큰 이벤트들을 먼저 떠올려보면, Kaggle과 병역특례 종료 (+ 퇴사)와 새로운 회사로 이직으로 크게 3가지 일이 있었다.

Kaggle

최근에는 장비도 없고 일이 너무 바빠서 Kaggle을 못 하고 있지만, 올해 초에는 정말 열심히 했었고 꽤 좋은 성과를 거뒀다. 중단기 목표가 대회에서 solo gold medal을 따는 게 목표였는데, final submission 선택 차이로 눈앞에서 놓친 대회가 하나 있었고 나머지 대회에서도 gold medal zone에 가까운 rank를 달성했다. 그렇게 global ranking에서 200 등대를 찍으면서 highest competition rank top 0.1% 를 달성했다.

성적과 관련 없이 개인적으로 이전에는 나의 최대치가 2 ~ 30등이라면 올해는 짧은 시간 안에도 1 ~ 20등 결과물을 낼 수 있는 실력이 됐다는 점에서 성장했다는 걸 느꼈고 가장 의미 있다고 생각했다. 최종 목표는 10등 안의 결과물을 낼 수 있는 실력에 도달하는 것이고, 실질적인 성과로는 competition grandmaster를 달성하는 것으로 더 노력해야겠다.

드디어 병역특례 끝

다사다난한 병특

실 복무는 2년 10개월인데, 준비를 시작한 시간까지 합치면 거의 4년 가까이 복무한 느낌이 들 정도로 지인들도 "너 한 4년은 복무하지 않았냐?" 라고 할 정도로 끝나지 않을 것 같은 병특이 드디어 끝났다.

병특을 하기 마음먹은 시점부터 지금까지 다양한 일이 있었는데, 큰 사건들을 나열해보면 병특을 기대하고 간 회사가 갑자기 잘못된 내부고발로 병역특례 업체 취소되거나 인생이 크게 바뀔법한 업체(?)로 갈 뻔하기도 했고, 정말 감사하게도 옮긴 회사에서 드래곤볼을 모아줘서 TO를 받아 시작했고, 병특 중간에도 이직하는 등 정말로 주변에서도 인정하는 다사다난한 병특을 한 거 같다.

끝난 시점에서 돌아봐도 끝나서 다행이라는 생각밖에 들지 않는다 ㅋㅋ

% 드래곤볼: (21년 기준) 4급 병특 3명을 모으면 현역 병특 TO 하나를 주는 제도

느낀 점 (feat. 다녔던 회사들)

올해 9월 말 병특 끝나고 바로 퇴사했다. 이유는 적자면 길지만 새로운 걸 하고 싶어서 퇴사했고 아래에 적겠지만, 10월 말에 새 직장에 합류하게 됐다. 그동안 제대로 쉬어본 적이 없어서 1달 동안 집에서 쉬면서 지난날들을 돌아보면서 정말 많은 생각이 들었는데, 새삼스럽지만, 당시에는 알지 못했지만 돌이켜보니 분기점마다 내외적으로나 성장에 영향을 준 고마운 분들이 꼭 있었던 거 같다.

2019년 첫 회사인 VoyagerX 부터 적어 보면, 지금 생각해 보면 내 기준으론 거의 완벽한 회사였다. 모두가 똑똑하고 좋은 친구 같은 동료고, 솔직히 아직도 이때 멤버만 한 느낌을 주는 곳은 찾지 못했고 가장 그리운 곳이다. 당시에는 정말 내향적이고 사회성도 거의 없어서 걱정도 됐고 지금도 떠오르는 아쉬웠던 행동들이 있는데, 그런 부족함을 채워준 곳이었고 내면적으로 많이 성장했던 시기 같다.

다음은 본격적으로 병특을 위해 이직한 Banksalad인데 (~~결국, 못 했지만~~), VoyagerX 에선 내적인 성장을 주로 했다면, 여기에선 실리콘 밸리에서 근무하신 분들 주도로 팀 문화나 기술이 꾸려지면서 엔지니어링 전반적으로 정말 많이 배울 수 있었다.

이때 나의 실력과 마인드를 정확하게 사진 한 장으로 표현할 수 있는데, 우매함의 봉우리 정점처럼 능력보다 자신감이 더 앞서 있었는데, 그 봉우리를 하산할 수 있게 만들어준 곳인듯하다.

특히 코드 리뷰 많이 해주신 겨울님에게 정말 감사하다. 덕분에 뱅샐에 있었을 때 배운 문화나 기술, 마인드가 지금의 나를 구성하는 데 큰 영향을 줬다고 생각한다.

다음은 병특을 위해 Watcha로 이직했다. 왓챠에서는 내 직무 역량을 많이 끌어올릴 수 있는 좋은 곳이었고, 더 중요한 건 드래곤볼을 모아주셔서 병특 TO를 얻어 주셨다는 거다. 부족했지만, CTO님과 팀원분들이 믿어주신 덕분에 내가 하고 싶은 일을 많이 펼쳐볼 수 있었던 거 같다. 정말 낭만 있는 회사고, 자유롭게 일할 수 있는 환경만큼은 좋았다.

마지막으로 토스로 이직하고 병특을 마쳤는데, 이직한 이유는 솔직하게 대기업은 어떤 회사일까? 가 가장 궁금했었다. 짧은 결론으론, 난 스타트업이 가장 잘 맞는 거 같다.

그래도 지금 다니는 회사에서 일하게 된 계기도 토스에서 만난 분일 정도로, 다양한 유형의 사람들과 좋은 인연을 만날 수 있었던 곳이었다.

병특 동안 회사 4곳을 다니면서 배운 점들을 정리하면서 마무리하자면, 회사별로 내가 부족한 부분들을 채울 수 있었고 내외적으로 모두 성장할 수 있었던, 고생한 값 이상을 한 병특이라고 행복한 결말을 지어본다.

다시 스타트업으로, 그런데 초기 멤버로

최근에야 달력을 보고 알았는데, 벌써 이직한 지 2달 정도 지났다.

현재 회사에선 챗봇 등등 LLM Application을 만들고 있는데, 아직 시장에 best practice가 없고 직접 시장과 기술을 개척해야 하는 게 재밌을 거 같아서 합류했고, 몰입하면서 재밌게 일하고 있다.

아래는 제품 니즈 + 상용화를 위한 RAG pipeline 개발한 내용을 문서로 정리해서 공유하고 있는데, 최근 들어선 나름 상용화 가능할 정도로 빠르고 정확한 제품이 나오고 있어서 더 열심히 달려보려고 한다. 그래도 창작의 고통 10 안에 대략 마무리되길 기대해 본다.

이외로는, 수상하리만큼 우리 회사에 외향적인 사람이 대다수인데, INTJ-A인 나로선 조금 신기한 경험을 하고 있다. 내 인생 전체에서 봐도 드문 상황인데, 아무튼 흥미롭게 관찰하고 있다.

개발

pytorch-optimizer

올해 4월쯤에 새롭게 단장을 했다. 원래는 혼자 쓰려는 목적으로 개발했지만, 사용자들이 늘어나고 feature request가 종종 들어와서 전략을 조금 바꿨다. 전에는 기능도 적고 다른 곳에 이미 있는 것들은 구현하지 않았는데, 모든 구현체를 지원하고 사용성 개선하고 테스트도 빡세게 돌리는 방향으로 전략을 바꿔봤다.

리브랜딩하고 점점 사용자 수가 많아지더니 최근에는 최대 2K downloads / day, 10K downloads / weeks, 55K downloads / month, 155 stars를 달성했다. 4월, 10월에 한 번 크게 사용자 수가 늘어났을 때가 있었는데, 짜릿했던 순간이었다.

작년에 목표한 문서화, 많은 구현체 지원은 모두 완성했고, 현재 버전은 v2.12.0인데, 내년엔 v3릴리즈를 목표로 달려봐야겠다.

open source contributions

최근에는 삶과 근접한 open source에 기여하고 있다. 예를 들어 embedding model을 서빙하는데 text-embeddings-inference를 사용 중인데, 필요한 기능들을 직접 PR 날리면서 쓰고 있다.

개인적으로 rust 언어를 좋아하고 huggingface에서도 많이 쓰고 vector db도 그렇고 요즘 rust 기반 좋은 제품이 많이 나오고 있는데, 필요할 때마다 기여하면서 쓰지 않을까 생각한다.

여담이지만, 요즘 rust 기반의 좋은 구현체들이 정말 많이 나오는 거 같다. 지금 회사에서도 TEI나 Qdrant 같은 Rust 기반 제품을 사용하고 있는데, 정말 좋다. 언젠가 낭만 챙길 시간이 있으면, 지금 python backend도 다 Rust로 바꾸는 게 목표기도 하다.

결론은 rust가 미래다!

Leetcode

올해 4월부터인가 매일 1문제씩 leetcode를 풀기 시작했다. 기억은 잘 안 나는데, 하다 보니 재밌어서 계속하게 된 거 같다. 그런데 요즘은 바빠서 고민하는 시간이 줄고 답을 빠르게 보고 있는데 시간을 좀 할당해 두고 여유롭게 풀어야 할 거 같다.

클라이밍

클라이밍 시작한 지 1년이 넘었고, 매주 1회씩 빠지지 않고 꼭 가고 있다. 작년 목표가 보라 클라이머가 목표였는데 (무지개 난이도 기준), 아직 아무 보라색이나 깰 정도로 잘하진 못하지만, 남색은 웬만하면 플래쉬하고 힘이 남으면 보라색에 도전하는 중이다.

질리지 않고 할 수 있었던 가장 큰 이유는 악력인데, 악력기 제품마다 절대적인 기준이 다르지만, 악력도 작년보다 2 ~ 30 이상 오른 60 정도로 많이 늘었고 악력이 강해질수록 전에 안되는 동작들이 되기 시작할 때가 탑 찍는 것만큼 즐거웠고 동기부여가 됐다.

이제는 악력보다 처음 해 보는 무브나 슬로퍼에서 막히는 느낌이라 올해는 디테일을 채워가면서 보라색을 플래쉬할 수 있는 날을 목표로 해야겠다.

마무리

매년 아쉽지 않게 다양한 일이 벌어지는데, 이쯤이면 그냥 받아들이고 즐겨야겠단 생각도 들고, 당시엔 스트레스 좀 받지만 사실 싫지 않은 거 같다.

내년엔 또 어떤 일이 벌어질지 기대하며 올해 회고를 마무리해 본다.

(Kaggle) BirdCLEF 2023 - 24th (top 2%) place solution

Fri, 26 May 2023 00:00:00 GMT

Original Post : https://www.kaggle.com/competitions/birdclef-2023/discussion/412996

Architecture

Here's the pipeline.

pre-train on 2020, 2021, 2022, xeno-canto datasets.
fine-tune on 2023 dataset (based on the pre-trained weight).
- minor classes (<= 5 samples) are included in all folds

I applied the same training recipes (e.g. augmentation, loss functions, ...) each step.

CV

(although based on my few experiments) my cv score and LB/PB are kinda correlated.

Exp	CV	LB	PB	Note
`effnetb0`	0.7720	0.82438	0.73641	multiple losses, 5 folds
`effnetb0`	0.7693	0.82402	0.73604	clipwise loss, 5 folds
`eca_nfnet_l0`	0.7753	0.80731	0.71845	clipwise loss, single fold

Model

I used SED architecture with the efficientnet_b0 backbone. Also, I tested eca_nfnet_l0 backbone, and it has a better cv score, but I can't use it due to the latency.

Training recipe

[Important] pre-training
[Important] augmentations
- waveform-level
  - [Important] or mixup on a raw waveform
  - gaussian & uniform noise
  - pitch shift
  - [Important] background noise
- spectrogram-level
  - spec augment
log-mel spectrogram
- n_fft & window size 1024, hop size 320, min/max freq 20/14000, num_mels 256, top_db 80. (actually, I wanted n_fft with 2048, but I set it to 1024 by my mistake)
trained on 5 secs clips
stratified k fold (5 folds, on primary_label)
label smoothing 0.1
multiple losses (from birdcelf 2021 top 5)
- bce loss on clip-wise output w/ weight 1.0
- bce loss on max of segment-wise outputs w/ weight 0.5
fp32
AdamW + cosine annealing (w/o warmup)
- 50 epochs (usually converged between 40 ~ 50)

Inference

I can ensemble up to 4 models with Pytorch (it took nearly 2 hrs). To mix more models, I utilized ONNX and did graph optimization, and it makes one more model to be ensembled! Finally, I can ensemble 5 models (single model 5 folds). Also, to utilize the full CPU, I do some multi-processing stuff.

Not worked (perhaps I might be wrong)

secondary label (both hard label, soft label (e.g. 0.3, 0.5))
focal loss
longer clips (e.g. 15s)
post-processings (proposed in the BirdCLEF 2021, and 2022 competitions)
- aggregate the probs of the previous and next segments.
- if there's a bird above the threshold, multiply constants on all segments of the bird.)

I hope this could help!

Thanks : )

(Kaggle) Screening Mammography Breast Cancer Detection - 16th (top 1%) place solution

Tue, 28 Feb 2023 00:00:00 GMT

Original Post : https://www.kaggle.com/competitions/rsna-breast-cancer-detection/discussion/391133

Data

Preprocessing

My preprocessing code heavily depends on the public notebooks (eg. remove letters, crop breast via contour).

decode .jpeg with dicomsdl & nvjpeg2000.
crop edge (margin pixel 10)
extract breast with opencv2 (contour based)
resize to 1536x960. (I roughly guess that resizing into a 1.5 ~ 2.0 aspect ratio is fine.)

In my experiment, windowing doesn't affect the score positively, so I decide not to use it.

Augmentation

Heavy augmentation works well. Light augmentation tends to overfit.

v/hflip
scale / rotate
brightness / contrast
cutout (coarse dropout with large patch size)
mixup

Architecture

I couldn't spend much time running various experiments due to a lack of time & computing resources. So, I only tested few backbones & training recipes. (about 70% of my submissions are runtime errors & mistakes lol)

Here's a full pipeline.

pre-train segmentation model with the cbis-ddsm & vindr datasets.
- segment: provided RoI image.
- label: malignant to cancer / BIRADS 5 to cancer.
% Of course, the label doesn't perfectly correlate with the competition standards. But, I roughly think that maybe it could help train the model in some ways.
train with competition data (initialize the weight with the pre-trained model)
- segment: inferred with the pre-trained model.
- auxiliary: given meta-features (total 11 features).
re-label the external data with the step 2 model.
re-train with competition data (initialize with step 3 model)
train a meta-classifier (oof + meta-features (e.g. laterality, age, ...))

For a baseline, I run step 1 ~ 2, 5 and achieve CV 0.4885 LB 0.59 (PB 0.46). Also, I test only with the cbis-ddsm dataset for pre-training, and there were about 0.02 drops on CV & LB, but the same score on PB (CV 0.4656 LB 0.57 PB 0.46).

A week before the deadline, I finished up to step ~ 5 and got CV 0.5012 LB 0.55 (PB 0.51). Sadly, I didn't choose it as a final submission : (

Last day of the competition, I ensembled effnet_v2_s backbone and got CV 0.5063 LB 0.56 (PB 0.49).

Lastly, I choose the best LB & CV for the final submission.

Meta-Classifier

I built a meta-classifier with meta-features like age, laterality, and the (per-breast) statistics of the predictions. Usually, It gives ~ 0.02 improvements on the CV & LB (also PB).

I'm worried about overfitting into some meta-features (eg. machine id, (predicted) density, ...), so I decided to use only 3 auxiliary features (age, site_id, laterality) to train the model.

feature: age, site_id, laterality, (mean, std, min, max) of the predictions.
cv: stratified k fold (5 folds)
model: CatBoost

Works

higher resolution (1536x768 ~ 1024) is good.
external data
- it gives about +0.02 boosts.
architecture
- encoder: backbone: effnet-b3 works best
- decoder: u-net++
augmentation
mixup (alpha 1.0)
loss
- 0.6 * cls_loss (cross_entropy) + 0.4 * seg_loss (dice) + 0.1 * aux_loss (cross-entropy)
stratified group k fold (4 folds)
meta-classifier
TTA

thanks for reading! I hope this could help you :)

(Kaggle) Detecting Continuous Gravitational Waves - 22th (top 2%) place solution

Tue, 03 Jan 2023 00:00:00 GMT

Original Post : https://www.kaggle.com/competitions/g2net-detecting-continuous-gravitational-waves/discussion/375927

Data

Pre-Processing

In my experiment, preprocessing (normalize function) works better than the power spectrogram. It improves the score by about +0.02 on CV/LB. After normalizing the signal, take a mean over the time axis. The final shape is (360, 360).

Simulation

Generating samples is the most crucial part of boosting the score. I can get 0.761 on the LB with a single model.

In short, signal depth (sqrtSX / h0) takes a huge impact. I generated 100K samples (50K positives, 50K negatives) and uniformly sampled the signal depth between 10 and 100. cosi parameter is uniformly sampled (-1, 1).

signal depth	LB score
10 ~ 50	0.73x ~ 0.74x
10 ~ 80	0.75x
10 ~ 100	0.761

Augmentations

Also, I've worked on the augmentations for much time. Here's a list.

v/hflip
shuffle channel
shift on freq-axis
denoise a signal (subtract corresponding noise from the signal)
add noises
- Guassian N(0, 1e-2)
- mixed (add or concatenate) with another (stationary) noise(s)
add vertical line artifact(s).
SpecAugment
mixup (alpha 5.0)
- perform or mixup

Model

First, I tried to search for the backbones (effnet, nfnet, resnest, convnext, vit-based) and found convnext works best on CV & LB score. After selecting a baseline backbone, I experimented with customizing a stem layer (e.g. large kernel & pool sizes, multiple convolutions stem with various kernel sizes) to detect the long-lasting signal effectively, but they didn't affect the performance positively.

Ensemble

Most of the models used at the ensemble are convnext-xlarge but each model trained with different variances (e.g. augmentations, simulated samples, ...) and eca-nfnet-l2, efficientnetv2-xl for one model. Every model trained on various datasets and LB score seems reliable, so I adjusted the ensemble weights by LB score.

I selected the two best LB submissions (LB 0.768 PB 0.771). And the best PB that I didn't select is 0.778 (LB 0.766) (mixing all my experiments).

Works

convnext family backbone
signal depth 10 ~ 100
hard augmentation
pair stratified k fold
- 8 folds
- stratified on the target
- pair means the pair (corresponding noise & signal) must be in the same fold.
pseudo label (smooth label)
segmentation (but hard to converge on my experiment)
TTA

Not Works

segmentation with classification head (0.6 * bce + 0.4 * dice)
- Actually, seg with cls works slightly better than only cls, but hard to train without loss divergence. So, I just did only cls.
cosi == 0
- cosi is also a critical parameter to determine an SNR. I generated more samples where cosi is 0, but there's a score drop.
augmentations (not worked)
- swap with random negatives (proposed at the past competition)
- random resized crop
Customize a stem layer with large kernel & pool sizes.

I hope this could help you :)

Happy new year!

2022년 회고

Fri, 16 Dec 2022 00:00:00 GMT

TL;DR

올해 회고를 시작하기 전 작년 회고를 읽었는데, 첫 줄부터 희망한 대로 흘러가진 않았다. 병특도 정착했고 2022년은 조용히 지나가나 했지만, 회사 관련해서도 큰 변화가 있었고 여러 일들이 있었다. 우리가 그 발언이라 하는 것처럼 "이젠 괜찮겠지...?" 라 하면 안 괜찮은 게 정말 맞나 싶다. 그래서 올해 TL;DR은 여기까지만 적어볼 예정이다.

Kaggle

상반기엔 회사 일에 시간을 많이 쓰느라 Kaggle을 거의 못했다가 최근에 여유가 생겨서 대회 하나를 진행 중이다. 중성자별 continuous gravitational-wave signal을 탐지하는 challenge 인데, 주제가 재밌어서 진심을 담아 하고 있고, 내년 1월 3일에 끝나는데 남은 3 주 열심히 해서 gold medal를 노려봐야겠다. ~~역시 회사 일보다 100배는 재밌는 거 같다~~.

이외로 Kaggle을 하는 이유는 재미도 있지만 수련이 더 큰 목적인데, 매년 성장하는 게 등수나 아이디어, 속도로 보이는 점은 만족하고 있다. 하지만, 아직 모든 대회에서 안정적으로 gold medal zone에 안착할 수 있을 정도의 실력은 아니라서 더 노력해야 겠다.

Programming

commit 수만 보면 올해도 작년과 비슷하게 약 1.7k contributions를 했는데, 솔직히 고백하자면 매일 commit 1개씩 push 하는 action이 있어서 365개는 날로 먹어서 실질적으로 1.3k commits 했다. commit 수가 줄어든 이유를 생각해 봤는데, Rust 공부하는 거나 pytorch_optimizer 작업하는 거 이외엔 크게 관심 가는 것이 없는 게 이유였고, 다른 이유는 경향이 바뀌었는데, 개인 project를 진행하기보단 open source를 둘러보고 contributions 하는 방향에 시간을 더 많이 쓴 듯하다.

많지는 않지만 5개 projects에 contributions을 했는데, 개인적으로 직접 package를 maintain 하는 거에서 이미 사용자가 많은 open source project에 기여하는 방향에 더 흥미가 생겨서 내년에도 계속할 생각이다.

pytorch_optimizer

처음엔 매번 optimizer 구현해서 쓰기 귀찮아서 시작했고 벌써 시작한 지 1년이 됐는데, 12월 16일 기준으로 total 41.6K downloads와 2.1k/month downloads 를 달성했다. 버전은 v2.0.1 인데, major 버전도 2로 올렸다. repo에 code를 공유하는 거 이외에 쉽게 다른 사람도 사용할 수 있게끔 만들고 실제로 많이 사용하고 있다는 점에서 프로젝트를 계속 maintain 할 수 있는 동기부여가 되는 것도 있었다. 그리고, 감사하게도 PR 날려주신 분도 계셨는데 덕분에 사용성도 더 좋아졌고 조금 감동이었다.

하나 아쉬운 점이 있다면, documentation을 제대로 작업하지 못했는데, 이 부분은 높은 우선순위로 가져가서 작업해야겠다.

간단하게 앞으로의 계획을 적어보자면,

docstring format 정하기
documentation 하기
더 많은 lr scheduler 구현

요렇게 작업할 예정이다.

Gatsby Blog

작년? 재작년 겨울에 ruby + jekelly 기반에서 react + gatsby 기반 blog로 바꿨는데, frontend와는 거리가 먼 나였는데 하다 보니 소소하기 기능 추가하고 가꾸는 게 재밌어서 유지보수를 계속 해 왔다. 대충 작업한 내용을 생각해 보면, post에 time to read 달아주거나 댓글은 Giscus 사용, Gatsby v5로 migrate 하기, CI/CD pipeline 최적화, Lighthouse 100점 만들기 등등 다양한 시도를 했고 그 과정에서 많이 공부할 수 있어서 재밌었다. React를 대충 공부한 적밖에 없어서 아직도 코드를 완벽하게 이해하고 한 게 아니라 잘 돌아가는 걸 목표로만 개발했는데, 내년엔 front 쪽 지식도 넓힐 겸 React 하고 Svelte 같은 것도 공부해 봐야겠다.

Rust

작년에 잠시 공부한 거 이외엔 써 볼 데가 없었는데, 회사 일 하다가 ML 모델 serving을 Rust + gRPC 기반으로 하면 빠르겠지? 생각이 들어서 CatBoost model 서빙하는 gRPC 서버를 만들어봤다. 역시나 python bindings 도 아니고 gRPC 라서 확실히 RESTful API server보다 속도 차이가 큰 거 같다. Rust 약팔이(?)를 하고 다녔지만, 토스에서는 아직 real-time으로 tree 계열 model을 serving 하는 니즈가 많이 없기도 하고 jvm 친화적인 곳이라 production까지 ship 하긴 어렵겠지만, 언젠가 기회가 된다면 해 보고 싶다.

회사

이곳에서도 직무는 Data Scientist지만 업무의 경계는 크게 없었다. 데이터 분석이나 모델 개발뿐만 아니라 데이터 생성 pipeline 관리부터 데이터 분석, 모델 개발, 서버 개발까지 다양한 업무를 했다. 개인적으로도 모델 개발뿐만 아니라 engineering 부분도 직접 할 수 있어서 업무의 완성도나 여러 가지 공부할 수 있다는 점에서는 재밌기도 했지만, 시간이 갈수록 내가 가장 잘하는 능력을 쓸 기회와 공부 시간이 줄어드는 점에서 오는 두려움도 있었다. 사실 이전 회사들에서도 이런 고민을 계속해 왔었고 매번 해결하지 못한 난제였는데, 토스로의 이직은 이 답을 마무리하기 위함이었고 여러 회사와 조직을 경험해본 결과 이번에 그 답을 어느 정도 찾을 수 있었다.

그래서 위에서 말한 회사 관련한 변화가 바로 이 선택이다. 현재 다니는 회사 입사 전에 많은 고민과 가설을 가지고 입사했고 지난 1년 동안 많은 사건(?)을 보고 검증하면서 몇 년 동안 어려워했던 정답을 얼추 찾은 느낌이다. 더 구체적으로는 내가 원하는 것과 회사와 팀이 가지는 장/단점 trade-off를 내가 얼마나 어떻게 잘 버티고 타협할 수 있는가에 대한 답이다. 그럼, 정답을 알면 무엇이 달라지냐 하면, 위에 언급한 두려움에 대한 실질적인 해결책과 더 만족스러운 선택이 가능해질 거 같다. 구체적으로 적긴 힘들지만, 스스로 comfort zone에 빠지지 않게 더 노력해야 하고 risk가 더 큰 선택이지만 trade-off를 고려한 최선을 선택한 상황이고 새로운 팀으로 옮겨서 생활 중이다.

취미

운동

사실 생각도 못한 작년 목표였는데, 가을부터 지인 추천으로 클라이밍을 시작하게 됐다. 처음에는 별생각 없이 따라갔다가 볼더링 문제 푸는 재미도 있고 전완근도 잘 조질(?) 수 있어서 요즘엔 거의 매주 1번 출석하고 있다. 뭐든 한번 빠지면 끝을 보는 성격이라 요즘 유튜브마저 클라이밍 영상들을 찾아보는데, 주변에서 헬창에 이젠 클창(?)이라고 가지가지 한다고 한다.

주로 훅클라이밍 왕십리, 성수를 다니고 난이도는 남색 난이도를 풀고 있는데, 그다음 단계인 보라색은 넘사벽인듯 해서, 내년 목표를 보라클라이머로 열심히 다녀봐야겠다.

천체관측

마침 회사 같은 팀에 천체 관측하는 걸 취미로 하시는 분이 계셔서 가을에 홍천으로 따라서 관측하러 갔다 왔습니다. M33 아니면 M45를 찍으려 했다가 M33은 새벽쯤에 시야에 들어와서 당장 시야에 보이는 M45를 찍었는데, 당일치기 일정이라 노출을 100분 정도밖에 못 했는데도 대충 원하는 그림이 나와서 엄청나게 만족했다.

꼭 관측이 아니더라도 의자에 누워서 멍하니 하늘만 보고 있어도 육안으로도 별이 엄청 많이 보여서 불멍하는 것 처럼 별멍(?)하는 느낌이 들더라고요. 아래는 대충 아이폰으로 하늘 찍은 건데, 실제로 보면 훨씬 더 별들이 많슴다.

마무리

그래도 작년에 목표했던 것들도 이루고 개인적으론 성과 있었던 한 해였던 거 같다. 내년 가을이면 병특도 끝나는데, 학교도 그렇고 회사도 그렇고 고민하게 될 텐데, 내년에는 또 어떤 재밌는(?) 일 들이 벌어질지 궁금하지만 당장은 그만 알아보자.

MaxViT - Multi-Axis Vision Transformer

Wed, 24 Aug 2022 00:00:00 GMT

TL;DR

paper : arXiv
code : github

GC ViT

Introduction

최근 vision transformer연구 경향을 보면 global context를 잘 고려하는 ViT연구들이 많이 보이는데, 이번 연구에서는 efficient 하고 scalable 한 multi-axis attention이란 걸 개발해 arbitrary image size에 대해서도 linear complexity만에 연산이 가능하고 global context도 잘 잡는 무언가를 만들었다고 합니다.

Architecture

architecture design은 다른 연구들과 큰 차이가 없는 hierarchical 한 구조인데, 차이점은 block module를 보면 크게 3 가지 components로 이뤄졌습니다. MBConv -> Block Attention -> Grid Attention.

간단하게 소개하면 Block Attention에선 local context, Grid Attention에선 global context를 위한 module입니다.

Attention

self-attention 연산은 location-unaware (e.g. non-translation equivariant, inductive bias)한 특징이 있는데, 이런 걸 해결하기 위해 이전 연구들은 vanilla self-attention 대신 related self-attention를 사용해 이런 문제를 어느 정도 완화하고 있습니다. 이번 연구에서도 pre-normalized related self-attention module을 사용했다고 합니다.

Multi-axis Attention

entire space(local patch)에 full self-attention을 하면 complexity가 빡세다는 단점이 있는데, 해결하기 위해서 2 개 (local, global)의 sparse forms으로 나눠 연산했다고 합니다.

input feature map $X \in \mathbb{R}^{H \times W \times C}$ 가 있을 때, 기존엔 flattened spatial dimension $HW$ 에 attention을 했다면 이번 연구에선 $P \times P$ size를 가지는 partition별로 $(\frac{H}{P} \times \frac{W}{P}, P \times P, C)$ attention을 합니다. -> 이렇게 local context를 잘하기 위해 block attention을 활용했다 합니다.

하지만, 이렇게 local attention만 사용하면 huge-scale datasets에서 잘 동작하지 않기 때문에 sparse global attention을 하는 간단하면서 효율적인 방법을 만들었다고 합니다. (grid attention)

local attention처럼 ( $HW$ 에 대해) small window로 partitioning 하지 않고, grid에 대해 partitioning 합니다. input feature map $X \in \mathbb{R}^{H \times W \times C}$ 가 있을 때, $G \times G$ uniform grid로 $(G \times G, \frac{H}{G} \times \frac{W}{G}, C)$ .

computational balance를 맞추기 위해 Swin Transformer처럼 $P$ = $G$ = 7을 채택했다고 합니다.

Performance

ImageNet-1K benchmark

비슷한 규모 대비 가장 좋은 성능입니다.

Pretrained on the large-scale datasets

ImageNet-21K는 MaxViT가 더 좋은 성능을 보이는데, 더 큰 규모인 JFT-300M에선 CoAtNet이 앞섭니다. (더 큰 image resolution 에선 comparable 합니다.)

Conclusion

(아닐 수도 있지만) 이전 연구들도 local attention처럼 $P \times P$ partitions에 대해 attention하긴 했지만, dilated global attention을 통해 global context를 해결했다는 점이 재밌었다.

결론 : 굳굳

GC ViT - Global Context Vision Transformers

Fri, 19 Aug 2022 00:00:00 GMT

TL;DR

최근 computer vision architecture를 보면 image 만 사용하는 게 아닌 extra training data로 text information를 활용하면서 성능을 끌어올리거나 여러 models를 ensemble 하는 Model soups 같은 approaches가 나오고 있는데, 또 다른 hybrid 모델 + 제목부터 Global Context를 고려한 ViT 라길래 기존 SwinTransformer 나 Focal 과는 어떻게 다를지 궁금해서 읽게 됐습니다.

paper : arXiv
code : github

Architecture

전반적은 design 은 FocalNet, SwinTransformer 느낌처럼 hierarchical 한 구조인데, 차이점만 보면 다음과 같습니다.

Global Token Generator module
Local / Global MSA
Downsample module

Global Query Generator

이번 논문에서 Global Context를 더 잘 이해하기 위해 제안한 Global Token 이란 개념인데, global context를 잘 이해하기 위해 local patch 가 아닌 entire input feature에 대해서 잘 compress 해서 global feature를 생성합니다.

각 stage 초반에 compute 하고 아래 소개할 Global Attention을 할 때 query 부분에 넣어주는 방식입니다. module design 은 간단한데, fused mbconv 후 max-pool 해 줍니다.

$x^{i} = FusedMBConv(x^{i - 1})$

$x^{i} = MaxPooling(x^{i})$

Global Self Attention

architecture를 보면 각 stage 별로 local attention 후 global attention을 수행하는데, global attention을 수행할 때 stage 초반에 Global Query Generator 가 생성한 query token를 query로 넣어주는 부분에서 차이가 있습니다.

Downsample module

은 이전 연구 (EfficientNetV2)에서 사용하던 모듈과 큰 특별한 점이 없는데, pooling layer를 max-pool 이 아니라 conv strided pool 한 점에서 차이가 있습니다. Fused-MBConv design 은 아래와 같습니다.

$\hat{x} = DW-Conv_{3 \times 3}(x)$

$\hat{x} = GELU(\hat{x})$

$\hat{x} = SE(\hat{x})$

$x = Conv_{1 \times 1}(\hat{x}) + x$

$x = Conv_{3 \times 3, stride 2}(x)$

$x = LN(x)$

% DW-Conv : Depth-Wise Convolution % SE : Squeeze and Excitation % LN : Layer Normalization

Performance

ImageNet-1K benchmark

FLOPs, parameters 대비 GC VIT 가 가장 좋은 성능을 보여주고 있습니다.

MSCOCO benchmark

Object Detection task에서도 비슷한 scale에 있는 모델들 대비해 좋은 성능을 보여주고 있습니다. base 모델에선 ConNeXt 가 더 좋네요.

Various Components benchmark

연구에서 제안한 Global Token 이 얼마나 영향이 있는지도 확인했는데, global self-attention을 제거했을 때가 performance drop 이 가장 컸다고 한다.

Conclusion

갠적으로 Global Token을 stage 별로 생성하고 global attention을 한다는 점에서 직관적이고 정말 간단한 방법이면서 FLOPs 대비 성능도 훨씬 좋아서 재밌게 본 연구였다. 또, 이런 design 이 SwinTransformer 나 Focal Transformer 보다 더 깔끔한 거 같다 생각한다.

결론 : 굳굳

TitaNet - Neural Model for speaker representation with 1D Depth-wise separable convolutions and global context

Thu, 18 Aug 2022 00:00:00 GMT

TL;DR

paper : arXiv
code : github

Architecture

ContextNet architecture와 비슷한데, decoder 부분만 보면 attentive pooling에 2번의 projections 후 AAM (Additive Angular Margin) 한다.

Encoder

차이점은 거의 없지만 특징만 써 보면 다음과 같습니다.

1d time-channel depth-wise separable convolution 사용
- 1d depth-wise conv + point-wise conv
residual connection 전 SE (Squeeze & Excitation) 함

Decoder & Embeddings

decoder 도 이전 연구들에 비해 특별한 점이 없다.

attentive statistics pooling 함

Recipes

recipe 에도 큰 특별한 점은 없다.

전처리로 SAD는 하지 않았다.
3 secs 이상의 audio는 1.5, 2, 3 secs의 chunk로 나눴다.
frame window : 25 ms, hop window : 10 ms, mel features : 80, num FFT : 512
- frequency-axis로 normalize 함
augmentation 함
- RIR impulse corpora
- speed perturbation
- spec augment

Performance

EER on VoxCeleb1

이전 연구 (ECAPA) 랑 거의 comparable 한 성능을 보인다.

DET Cruve

이전 연구와 거의 비슷한 성능을 보여준다.

Conclusion

이전 연구랑 큰 성능 차이도 나지 않고 architecture design 도 대부분 이전 연구들과 차이점이 없어서 연구 자체가 재미있진 않았지만, 요즘 speaker verification 모델 성능이 이 정도 나오는구나 하고 넘어갔다.

첫 회사 첫 프로젝트로 speaker diarization 모델을 만들었는데, 아쉬움이 많이 남은 프로젝트라서 아직도 애착이 가는 분야이자 프로젝트다. 그래서 아직도 speech domain 다루는 회사 (synthesis 도 좋지만 diarization 쪽)를 다녀보고 싶습니다 ㅋㅋㅋㅋ

결론 : 굳

(Kaggle) Default Prediction - 135th (top 3%) place solution

Wed, 17 Aug 2022 00:00:00 GMT

Original Post : https://www.kaggle.com/competitions/amex-default-prediction/discussion/347996

TL;DR

I couldn't spend lots of time on the competition (only made 30 submissions :(). In the meantime, the competition metric is kinda noisy and we also expected a shake-up/down (not a planet-scale, but for some cases). So, my strategy is focused on protecting a shake-down as possible i can (instead of bulding new features).

Overview

My strategy is building various datasets, folds, seeds, models. I'll explain them one by one.

Data (Pre-Processing)

My base dataset is based on the raddar's dataset (huge thanks to @raddar). Also, most of the pre-processing logic can be found in the Code section.

The differences are...

using more lagging features (to 3 months)
not just using a single dataset, but multiple datasets (I just added features incrementally) for the variousity.
- A dataset
- B dataset = A dataset + (features)
- C dataset = B dataset + (another features)

I didn't check the exact effectiveness of using the datasets on multiple models, however, it seems that positive effects when ensembling in my experiments.

Model

I built 6 models (3 gbtm, 3 nn) to secure the variousity and roboustness. Also, a few models (LightGBM, CatBoost) are trained on multiple seeds (1, 42, 1337) with the same training recipe. Lastly, some models are trained with 10, 20 folds.

Xgboost
CatBoost
LightGBM (w/ dart, w/o dart)
5-layers NN
stacked bi-GRU
Transformer

Here's the best CV by the model (sorry for the LB, PB scores, I rarely submitted a single model)

Model	CV	Note
bi-GRU	0.787006
Transformer	0.785647
NN	0.789874
Xgboost	0.795940	only using the given(?) cat features as `cat_features`
CatBoost	0.797058	using all `np.int8` features as `cat_features`
LighGBM	0.798410	w/ dart

The CV score of the single neural network model isn't good. Nevertheless, when ensembling, It works good with the tree-based models.

Blend (Ensemble)

Inspired by the discussion log-odds, I found weighted ensemble with log-odds probability is better than a normal weighted ensemble (I tuned the weights with Optuna library based on the OOF). But, one difference is not ln, but log10. In my experiments, It's better to optimize the weights with log10. However, It brings little boost (4th digit difference).

I ensembled about 50 models, and there's no post-processing logic.

Summary

The final score is

Model	CV	Public LB	Private LB
Ensemble	`0.8009`	`0.7992`	`0.8075`

Last day of the competition, I selected about 1600th Public LB solution (my best CV solution). Luckily, Trust CV score wins again :) (Actually, my best CV is also my best LB, and when the cv score increases, lb score increases, so there's little difference between best CV & LB for my cases)

After the competition, I checked the correlation among the scores (CV vs Private LB, CV vs Public LB). then, I found the CV score is more correlated with Private LB than Public LB in my case.

Works

blending various models (gbtm + nn), even if there're huge CV gaps
- e.g. nn 0.790, lgbm 0.798
(maybe) various datasets, models, seeds bring a robust prediction I guess

Didn't work

pseudo labeling (w/ hard label)
- maybe soft-label or hard label with a more strict threshold could be worked i guess.
deeper NN models
- 5-layers nn is enough
num of folds doesn't matter (5 folds are enough)
- there's no significant difference between 5 folds vs 20 folds
rank weighted ensemble

I hope this you could help :) Thank you!

NaturalSpeech - End-to-End Text to Speech Synthesis with Human-Level Quality

Mon, 15 Aug 2022 00:00:00 GMT

TL;DR

오랜만에 speech-synthesis 쪽 논문을 보다가 (LJSpeech dataset에서) MOS, CMOS metrics에서 human-level에 도달한 research 가 있는데, 거기에 최근 유행이었던 diffusion approach 가 아닌 점에서도 꽤 흥미로웠습니다.

paper : arXiv
code : github

코드는 아직인가 보다

Architecture

이번 연구는 총 4가지 부분에서 contributes 했다.

pre-train large-scale langugae model on phoneme sequence
differentiable durator
bi-directional prior/posterior module
memory-based VAE (memory bank)

Phoneme Encoder

phoneme encoder는 말대로 phoneme sequence $y$ 를 encode 하는 module인데, 이전 연구들은 일반 dataset으로 학습하거나 phoneme에 대해서만 학습한 LM을 사용해서 phoneme domain에 어울리지 않거나 capacity issue로 positive boost를 주지 못했다고 합니다.

그래서 이번 연구에선 phoneme에 대해서만 학습하는 게 아닌, mixed-phoneme (phoneme + sub-phoneme) pre-training을 했다고 합니다.

또한, MLM 학습할 때 phoneme tokens과 sub-phoneme tokens 둘 다에 대해서 MLM 학습합니다.

Differentiable Durator

architecture에 나온 것처럼, 위 phoneme encoder에서 나온 phoneme-level phoneme representation 이 durator ( $\theta_{dur}$ )의 input으로 들어오고 output으로 priro distribution $p(z^{'}|y)$ 을 줍니다.

다음과 같이 쓸 수 있습니다.

$p(z^{'}|y;\theta_{pri})$ where $\theta_{pri} = [\theta_{pho},\theta_{dur}]$

구체적으로 durator는 총 3가지 역할을 합니다.

each phoneme에 대해 duration 예측
up-sampling module에서 phoneme-level 을 frame-level 로 upsample 해 줌
priro distribution의 mean/variance를 calculate 하는 module (prior $p$ 는 standard isotonic multivariant Gaussian. VAE scheme에 따라서)
- train / inference time에서 predicted duration mismatch를 최소화하려고

Bi-Directional Prior/Posterior Module

bidirectional prior/posterior module 은 phoneme $y$ 으로 부터 오는 $p(z^{'}|y;\theta_{pri})$ 와 speech $x$ 로부터 오는 $p(z|x;\phi)$ 의 information gap을 줄이기 위해 만들었다고 합니다.

위 그림처럼 KL divergence를 각 방향(?)에서 서로의 KL divergence loss를 optimize 하도록 학습합니다.

module 은 flow model을 채택했고 이윤 inverse 가능해야 하고 optimize 쉬워야 하기 때문이라고 합니다.

reduce posterior $p(z|x;\phi)$ 와 backward mapping $f^{-1}$ , enhanced prior $p(z^{'}|y;\theta_{pri})$ 와 forward mapping $f$ 간 KL을 최소화하는데, 구체적인 전개 수식은 논문에

memory-based VAE

posterior $p(z|x;\phi)$ 는 원래 VAE에서 speech waveform reconstruction 할 때 쓰여서 prior 보다 complex 한데, 요걸 간단하게 하려고 memory-based VAE를 제안합니다.

$z \sim p(z|x;\phi)$ 를 speech reconstructio 에 그대로 사용하지 말고, $z$ 를 attention query로 사용하고, attention output를 waveform reconstruction에 사용하자는 아이디어입니다. 즉, posterior $z$ 는 아래 그림처럼 memory bank에 attention weights를 구할 때만 사용됩니다.

reconstruction loss를 써 보면 다음과 같습니다.

$L_{rec}(\phi, \theta_{dec}) = -\mathbb{E}_{z \sim q(z|x;\theta)} [log p(x|Attention(z, M, M);\theta_{dec})]$

$Attention(Q, K, V) = [softmax(\frac{QW_{Q}(KW_{K})^{T}VW_{V}}{\sqrt{h}})W_{O}]$

$\theta_{dec}$ = waveform decoder
$M$ ( $M \in \mathbb{R}^{L \times h}$ ) = memory bank
$W_{Q}, W_{K}, W_{V}$ ( $W_{*} \in \mathbb{R}^{h \times h}$ ) = attention parameters
$L$ = size of the $M$ , $h$ = hidden dimensions

Training Recipe

전체 loss는 다음과 같습니다.

$L_{e2e} (\theta_{pri}, \theta_{bpp}, \theta_{dec}) = -\mathbb{E}_{z^{'}|y;\theta_{pri})} [log p(x|Attention(z, M, M);\theta_{dec})]$

$L = L_{bwd}(\phi, \theta_{pri}, \theta_{bpp}) + L_{fwd}(\phi, \theta_{pri}, \theta_{bpp}) + L_{rec}(\phi, \theta_{dec}) + L_{e2e} (\theta_{pri}, \theta_{bpp}, \theta_{dec})$

gradient flow 가 수식으론 복잡한데, 아래 그림으로 보면 이해가 더 쉽습니다.

train & inference flows

Performance

MOS/CMOS on LJSpeech

MOS, CMOS metrics에서 통계학 적으로 유의미한 분포 차이가 없음을 보여준다.

Benchmark on LJSpeech

절대적 차이로도 꽤 큰 차이가 난다.

Modules

이번 연구에서 제안한 ideas 중 하나 씩 빼고 학습했을 때, 모두 metric에 큰 영향을 주고 있다.

Inference speed

RTF 도 FastSpeech 2 + HiFiGAN, VITS와 comparable 하고 빠른 수준이다.

Latency

Conclusion

LJSpeech dataset에서 human-level metrics을 달성했다는 점에서 promising 했고, novelties 나 architecture 도 갠적으론 마음에 드는 구조였다. 다른 dataset에서 benchmark 결과도 궁금한데 포함해 주면 좋겠다.

결론 : 굳굳

kozistr | Feed

2023년 회고 (feat. 병특 끝)

Prologue

Kaggle

드디어 병역특례 끝

다사다난한 병특

느낀 점 (feat. 다녔던 회사들)

다시 스타트업으로, 그런데 초기 멤버로

개발

pytorch-optimizer

open source contributions

Leetcode

클라이밍

마무리

(Kaggle) BirdCLEF 2023 - 24th (top 2%) place solution

Architecture

CV

Model

Training recipe

Inference

Not worked (perhaps I might be wrong)

(Kaggle) Screening Mammography Breast Cancer Detection - 16th (top 1%) place solution

Data

Preprocessing

Augmentation

Architecture

Meta-Classifier

Works

(Kaggle) Detecting Continuous Gravitational Waves - 22th (top 2%) place solution

Data

Pre-Processing

Simulation

Augmentations

Model

Ensemble

Works

Not Works

2022년 회고

TL;DR

Kaggle

Programming

pytorch_optimizer

Gatsby Blog

Rust

회사

취미

운동

천체관측

마무리

MaxViT - Multi-Axis Vision Transformer

TL;DR

Related Work

Introduction

Architecture

Attention

Multi-axis Attention

Performance

ImageNet-1K benchmark

Pretrained on the large-scale datasets

Conclusion

GC ViT - Global Context Vision Transformers

TL;DR

Related Work

Architecture

Global Query Generator

Global Self Attention

Downsample module

Performance

ImageNet-1K benchmark

MSCOCO benchmark

Various Components benchmark

Conclusion

TitaNet - Neural Model for speaker representation with 1D Depth-wise separable convolutions and global context

TL;DR

Related Work

Architecture

Encoder

Decoder & Embeddings

Recipes

Performance