여기 저기 다니다가, 재밌는 글을 일게 되었습니다. Supply Chain Attack이라는 것인데, 요즘 많이 사용하는 Coding AI와 관련된 것입니다. 

사실 MS나 구글에서도 자체적으로 만드는 코드의 30~40%를 AI에서 생성한다고 하는데, 사람들이 쉽게 인공지능을 떠올리면서 생각하는, 이런 코드를 만들어줘 하면, 코드가 바로 생성되는 그런 단순한 방식을 따르지는 않을 겁입니다. 그 속사정에 대한 내용입니다. 

다른 AI와 마찬가지로, Coding AI도 환각 문제가 있습니다. AI의 단점이, 어떤 명령을 주면, 결과를 생성해 내나, 가끔 결과가 부정확한 정도가 아니라 아예 엉터리인 경우가 가끔 있습니다. Coding AI도 이런 경향이 조금 있는 편인데, 작성된 코드에 문제가 생기기도 하고, 아예 include package이름을 틀리는 경우도 있습니다. 

https://www.theregister.com/2024/03/28/ai_bots_hallucinate_software_packages/

Hugging Face CLI란 패키지를 이용한 실험이 있었습니다. Bar Lanyado란 연구자가 코딩 AI가 반복적으로 huggingface_cli란 패키지를 참조하는 것을 악용해서 이 패키지를 Python distribution channel에 집어 넣었다고 합니다. 이후 이 코드가 Alibaba의 supply chain에 성공적으로 안착했고, 내부 readme에 Lanyado가 만든 패키지를 참조하도록 설명서가 작성되었다고 합니다. 

만약 이 코드에 악성 해킹 코드가 있었다면, 당연히 Developer의 컴퓨터를 감염시키고, 해킹하기 힘든 high profile tech company의 내부망에 침투할수 있게 됩니다. 

요즘 해킹의 경향은, OS나 시스템의 취약점을 찾는 것이 힘들다보니, Social engineering에 치중하는 경우가 있고, AI가 활용되는 추세에 맞춰, AI의 supply chain (이 기법도 2021년에 성공적으로 증명이 되었다고 합니다)을 공격하는 방식이 있지 않을까 합니다. 

결국 AI가 어떤 코드를 생성해 내더라도, 그 결과를 항상 인간이 검증해야 하고, 결과를 쉽게 검증할수 없는 만큼 복잡한 코드라고 한다면, AI를 아예 제외해야 하지 않을까 합니다. 그래서 그런지, AI 관련 프로그래밍을 하는 제 아들은 아예 AI generated code를 하나도 사용하지 않고, 회사에서 Coding AI를 사용해서 코드를 생성하는 직원들은 경고를 받는다고 하는군요. 

MS나 큰 회사들은 나름 AI generated code를 검증하는 체계를 갖췄는지 모르겠지만, 작성과 검증을 같은 AI를 사용하는 한 검증이 어려울 것입니다. 구글이 자체 AI를 가지고 있지만, 검증은 다른 회사 제품으로 하는 것일까요? 환각을 막으려면 그 방법밖에는 없을텐데 말입니다.