1998年，在哈萨克斯坦阿拉木图举行第三次会议，这是“上海五国”的转型会议。会议决定继续保存“上海五国”，并逐渐发展成地区合作组织，目标从解决边界问题转向经济、反恐合作。
此后，1999年、2000年也都召开会议，大家开始讨论是否需要正式成立一个组织。关于这一进程，我几乎全程参与了很多会议。因为“上海五国”是比较随意的一个称呼，所以首先要定一个正式的组织名称，比如当时提议有中亚合作组织、欧亚合作组织等等，但最后觉得还是用一个城市来命名比较好。于是中国就提议“上海合作组织”，沿用此前“上海五国”的称谓。但新疆认为，为什么不叫乌鲁木齐合作组织？中亚国家的一些代表就说，乌鲁木齐去得多了，我们也喜欢去上海，还可以去华亭路买买东西。俄罗斯人也表示附议。接着哈尔滨又提出可以叫哈尔滨合作组织，内蒙古说叫呼和浩特合作组织，还有圣彼得堡说叫圣彼得堡合作组织，各抒己见，最后大家商定下来还是称“上海合作组织”，原本就叫“上海五国”，现在就非常顺理成章地延续下来。这里可以讲一个秘密，名字怎么定，先要说服俄罗斯，只要俄罗斯同意了，中俄两国再去说服其他三个国家就容易了。
最后，2001年6月15日，上海合作组织终于正式成立了。这时除了俄罗斯总统换人了，叶利钦下台，普京上台，其他都没变。整个具体筹办过程我都参加了，成立仪式地点就在浦东香格里拉酒店。但比较遗憾的是，我原本全程参与筹备活动，但6月15日当天，中央电视台邀请我前去参加上合组织成立的直播节目，和康辉一起主持。
不过，在成立之时，又有了新问题，乌兹别克斯坦要求加入上合，理由是乌兹别克斯坦也是中亚大国，怎么能没有我呢？过去没有参加“上海五国”，是因为和中国没有边界问题，现在他们要求加入也是有道理的。但是，其他几个中亚国家对此并不认同。几经波折，最后江泽民主席和普京总统商量，允许乌兹别克斯坦加入上合组织，并分别说服其他三个国家。
上合组织有了这些解决边界问题的宝贵经验后，很多国家都过来问我们问题是怎么解决的，过去中苏因为边界争端甚至在珍宝岛、铁列克齐发生热战，火热的战场怎么转眼之间就平静下来，而且还能顺利解决，成为和平安宁的边界，这究竟是怎么做到的？
其实，在谈判过程中，所有国家内部都有反对声音，吉尔吉斯斯坦有人说，这么解决，我们划了一块地方给中国，塔吉克斯坦也这么认为，但这些声音都翻不了案。包括中国也是，全国人大常委会讨论时，反对声达到三分之一，但最后大多数同意，也通过了。最终谈判结果不可逆转，问题就这样解决了。