可以指定按钮触发事件插件jquery.dragsort.js

<div class="wrap">
    <div><input type="text" value="1"><button class="btn-dragsort">拖动</button></div>
    <div><input type="text" value="2"><button class="btn-dragsort">拖动</button></div>
    <div><input type="text" value="3"><button class="btn-dragsort">拖动</button></div>
</div>

$('.wrap').dragsort({
    drop_exchange:0,
    itemSelector: 'div', //可拖动的块
     dragSelector: ".btn-dragsort",  //可以触发拖动事件的选择器
    dragEnd: function (item) {
        //拖到完触发的事件
        //                console.log('drop!',item);
    },
});

更多参考：https://www.jqueryscript.net/other/Drag-To-Sort-Plugin-jQuery-dragSort.html