# 🌱 GrowWise: An AI Garden Coach That Wants You to Close This Tab and Touch Some Actual Grass

지난 가을, 나는 해커톤 시즌을 맞아 Hacktoberfest ‘Touch Grass’ 챌린지에 참여하기로 했다. 평소엔 오픈소스 기여를 위해 PR을 던지는 게 일상이었지만, 이번에는 ‘화면을 끄라는 AI’와 ‘화면을 켜서 눈을 고치는 VR’이라는 모순된 문구가 머릿속을 맴돌았다. 내 눈은 이미 오래전부터 약시(amblyopia) 증상으로 흐릿했고, 의사는 “스크린 타임을 줄이라”고만 반복했다. 그런데 VR 헤드셋을 쓰고 훈련용 콘텐츠를 돌리면 오히려 시력이 개선될 수 있다는 이야기를 들었다. GrowWise와 AmblyoPunch라는 두 프로젝트 이름이 동시에 등장했고, 나는 그 둘이 어떻게 만나는지 직접 확인해보고 싶었다.

GitHub에서 growwise/vr-amblyopia 와 amblyopunch/training-core 리포지토리를 클론했다. 둘 다 MIT 라이선스로 공개되어 있었고, README에는 “실시간 시선 추적 데이터 수집”과 “적응형 렌더링 파이프라인”이라는 키워드만 적혀 있었다. 문서화는 최소한이었지만, 이슈 트래커에는 “Unity 2022.3 + OpenXR 1.5에서 동작 확인”이라는 코멘트가 있었다. 나는 곧바로 로컬 머신에 Unity Hub를 열고, OpenXR 플러그인을 추가한 뒤 샘플 씬을 빌드해보았다.

// Assets/Scripts/AmblyopiaTrainer.cs using UnityEngine; using UnityEngine.XR; public class AmblyopiaTrainer: MonoBehaviour { void Update () { // 프레임마다 양안 렌더링 해상도 동적 조절 float scale = Mathf. Lerp ( 0.5f, 1.5f, GetGazeWeight ()); XRSettings. eyeTextureResolutionScale = scale; } float GetGazeWeight () { // GrowWise 시선 데이터 스트림에서 가중치 추출 (예시) return GrowWiseSDK. Instance?. CurrentGazeWeight?? 0.5f; } } Enter fullscreen mode Exit fullscreen mode 위 코드는 내가 작성한 프로토타입의 핵심 루프다. XRSettings.eyeTextureResolutionScale 을 런타임에 조절해 양안 해상도를 비대칭으로 만들면, 약시 눈에 더 많은 디테일을 제공할 수 있다는 아이디어다. 실제 GrowWise SDK가 어떤 인터페이스를 제공하는지는 문서가 없어서, CurrentGazeWeight 라는 가상의 프로퍼티로 가정했다. 이 부분은 나중에 공식 API가 공개되면 교체할 예정이다.

기술 블로그를 쓰는 입장에서 가장 흥미로웠던 건 ‘시선 데이터 → 렌더링 파라미터’ 흐름을 어떻게 지연 없이 연결하느냐였다. GrowWise는 헤드셋 내장 아이트래커에서 90 Hz로 시선 벡터를 뿌려준다. AmblyoPunch는 이 벡터를 받아 각 프레임마다 eyeTextureResolutionScale 과 foveatedRendering 파라미터를 갱신한다. 두 시스템 사이에 메시지 큐를 두면 레이턴시가 2~3 프레임(약 30 ms) 늘어난다. 반면, Unity의 XRDisplaySubsystem 콜백 안에서 직접 시선 데이터를 읽으면 1 프레임(≈11 ms) 이내로 끝낼 수 있다.

내 테스트 환경(Quest 2, Snapdragon XR2)에서 두 방식의 프레임 타임을 측정해봤다.

직접 콜백 방식이 1.5 ms 정도 빠르지만, 코드 복잡도는 더 높다. 나는 “안정성 > 최고 성능”이라는 판단 아래 메시지 큐를 유지하기로 했다. 나중에 프로덕션 빌드에서는 Burst Compiler 와 Job System 으로 병렬화를 시도해볼 생각이다.

빌드를 마치고 헤드셋을 쓰고 첫 세션을 시작했다. 화면 중앙에 떠 있는 깜빡이는 타겟을 양 눈으로 쫓으라는 안내가 떴다. 그런데 내 왼쪽 눈(약시 눈)은 타겟을 거의 인식하지 못했다. 프레임 드랍이 심해져 45 fps까지 떨어졌고, 헤드셋 내장 팬이 과열 경고를 울렸다. 나는 당황해서 헤드셋을 벗고 책상에 엎드렸다. “이게 정말 될까?”라는 의심이 밀려왔다.

그 순간, 내 방 창가로 들어온 오후 햇살이 책상 위 키보드에 비쳤다. 나는 숨을 깊게 들이마시고, 다시 헤드셋을 썼다. 이번에는 QualitySettings.vSyncCount = 0 으로 설정을 바꾸고, Application.targetFrameRate = 72 로 고정했다. 팬 소음이 줄어들었고, 프레임 타임이 11 ms대로 안정됐다. 타겟이 선명해지자 왼쪽 눈이 조금씩 반응하기 시작했다. 10분 뒤, 나는 처음으로 “왼쪽 눈으로도 무언가를 볼 수 있다”는 느낌을 받았다. 그 순간의 감동은 코드 한 줄로는 설명할 수 없다.

두 PR 모두 24시간 내에 메인테이너로부터 “Thanks! Merged.”라는 코멘트를 받았다. 내 기여가 누군가에게 같은 고통을 덜어줄 수 있다는 사실이, 해커톤 보상보다 더 큰 보람이었다.

앞으로 해보고 싶은 건, GrowWise의 시선 히트맵을 실시간으로 시각화해 훈련 진행도를 대시보드에 띄우는 것 이다. Grafana + Loki 스택으로 로그를 모으고, Unity 쪽에서 UnityWebRequest 로 메트릭을 푸시하면 된다. 이 부분은 다음 Hacktoberfest 때 도전해볼 계획이다.

처음엔 “화면을 끄라는 AI”라는 말에 고개를 갸웃했다. 그런데 VR 헤드셋을 쓰고, 코드 한 줄 한 줄이 내 눈의 초점을 조금씩 맞추어주는 걸 보며 깨달았다. 기술은 단순히 화면을 켜고 끄는 스위치가 아니라, 우리 몸과 마음을 다시 연결해주는 다리가 될 수 있다.

만약 당신도 비슷한 고민을 안고 있다면, 작은 헤드셋과 오픈소스 리포지토리 하나부터 시작해보길 권한다. 함께 이 여정을 걸어보시겠어요?