옛날 중국의 가의라는 사람이 이 섬에 피신하여 살았으므로 가의도라고 하였다는 설과 이 섬이 신진도에서 볼 때 서쪽의 가장자리에 있어 가의섬이라고 하였다는 설이 전해지고 있다.

안흥항은 고려와 조선시대부터 안흥성과 객관이 있었던 곳이며 세곡선들, 무역선들, 사신을 싣고 온 배들의 정박지였다. 그러나 근대화와 산업사회가 시작되면서 도로가 발달되자 변화가 일고 있다. 육지와 가까운 섬들은 연륙이 되면서 교통이 편리하게 되었다. 그래서 음지가 양지되고 양지가 음지되는 일들이 수도 없이 되풀이되고 있다.