จากคำบอกเล่าของคุณบรรหาร วรรณวิไล อดีตข้าราชการสำนักงานสรรพากรพื้นที่สตูล ทำให้ทราบว่าแรกเริ่ม สำนักงานสรรพากรจังหวัดสตูลหรือสำนักงานสรรพากรพื้นที่สตูลในปัจจุบัน มีสำนักงานรวมกันอยู่กับส่วนราชการอื่นๆในอาคารศาลากลางจังหวัดสตูล โดยเมื่อประมาณปี พ.ศ.2489 ศาลากลางจังหวัดสตูลตั้งอยู่ในพื้นที่บริเวณซึ่งเป็นสำนักงานตรวจคนเข้าเมืองจังหวัดสตูลปัจจุบัน เป็นอาคารชั้นเดียวมีขนาดความกว้างประมาณ 20 เมตรความยาวประมาณ30 เมตร ใกล้ๆกับมัสยิดบำบังในปัจจุบัน มีข้าราชการทุกส่วนราชการรวมกันประมาณ 50 คน สำหรับสำนักงานสรรพากรจังหวัดสตูลมีข้าราชการทั้งสิ้น 12 คน สรรพากรจังหวัดชื่อนายผล ราชฤทธิ์ ซึ่งเป็นสรรพากรจังหวัดสตูลคนที่ 9 ตามทำเนียบรายนามสรรพากร

ต่อมาเมื่อปี พ.ศ.2490 ศาลากลางจังหวัดสตูลได้ย้ายไปอยู่ที่อาคารคฤหาสน์กูเด็นซึ่งปัจจุบันเป็นพิพิธภัณฑ์สถานแห่งชาติ สตูล จนกระทั่งถึงปี พ.ศ. 2506 ได้มีการก่อสร้างอาคารศาลากลางหลังใหม่ ในพื้นที่บริเวณทุ่งเฉลิมสุขใกล้ๆกับโรงเรียนสตูลวิทยาหรือโรงเรียนพิมานพิทยาสรรค์ในปัจจุบัน เมื่อเข้าสู่ยุคเปลี่ยนแปลงการจัดเก็บภาษีการค้าเป็นภาษีมูลค่าเพิ่มเมื่อประมาณปี พ.ศ.2535 ข้าราชการสำนักงานสรรพากรจังหวัดสตูลมีจำนวนมากขึ้นพื้นที่สำนักงานฯในศาลากลางไม่เพียงพอรองรับจำนวนข้าราชการที่เพิ่มมากขึ้น จึงมีการเช่าอาคารบ้านเอกชนสำหรับทำเป็นสำนักงานสรรพากรส่วนแยก

จนกระทั่งถึงเดือน เมษายน พ.ศ.2541 สำนักงานสรรพากรพื้นที่สตูล มีสำนักงานเป็นเอกเทศ ตั้งอยู่ หมู่ที่2 ตำบลคลองขุด อำเภอเมืองสตูล จังหวัดสตูล เป็นอาคารตึก 4 ชั้นมีเนื้อที่ประมาณ 2,129 ตารางเมตร เป็นแบบมาตรฐานเดียวกันกับสำนักงานสรรพากรพื้นที่จังหวัดอื่นๆ มีบริเวณเนื้อที่ดินกว้างขว้าง จำนวน 6 ไร่ 3 งาน 54 ตารางวา

ต่อมาประมาณปี พ.ศ.2542 ยุคสมัยนางวาลินี ธนทวี สรรพากรจังหวัดสตูล กรมสรรพากรได้อนุมัติ อาคารชุดที่พักอาศัยข้าราชการสำนักงานสรรพากรพื้นที่สตูล สร้างอยู่เคียงคู่ด้วย จึงประมาณว่าเป็นสำนักงานที่น่าอยู่ในปัจจุบันนี้