他们让船上的人将所有的黄金珠宝文物都搬下了船，搬到了岛上的一个天然洞穴中。
这个洞穴，气候比较干燥，通风性好。
放置好财物后，他们便驾船离开，不幸在半途遇上了美军的潜艇。
在阿波丸号即将沉没时，少将喊道：“谁能活下来，谁负责向天皇报告这个藏宝点！”
可惜，只有一个水性好的人借助救生装置活了下来。
但是，他还是没有能去见日本天皇，他被美军俘虏了。
由于他十分配合，又是一个普通的日军士兵，所以美军还是优待他，一应生活用品都满足他。
一直到日本投降，这位幸存者都一直被美军扣押。
1946年5月，当关押着幸存者的美军的军舰经过日本的一个小港口时，这个幸存者用一个飘流瓶，瓶中装有一封信。
信封上写的是日本天皇亲收，信中讲述了阿波丸号的经历。
并报告天皇，财宝在台湾海峡的一个无名岛山，岛的海湾可以停靠快艇，海湾的形状象鱼嘴。
这个飘流瓶投下海不久，被一个渔民拾起。