Twitterで重複しないデータを取得する方法


以下のコードでTweetからデータを取得すると、同じIDのTweetを取得してしまいます。  
同じIDのTweetを取得しないようにするためには、どのようにコードを変えれば良いか  
ご教示頂けないでしょうか。

[code]

    def auth():
        return os.getenv('TOKEN')
    
    def create_headers(bearer_token):
        headers = {"Authorization": "Bearer {}".format(bearer_token)}
        return headers
    
    def create_url(keyword, max_results = 100):
        search_url = "https://api.twitter.com/2/tweets/search/recent" 
        query_params = {'query': keyword,
                        'max_results': max_results,
                        'expansions': 'author_id,in_reply_to_user_id,geo.place_id',
                        'tweet.fields': 'id,text,author_id,in_reply_to_user_id,geo,conversation_id,created_at,lang,public_metrics,referenced_tweets,reply_settings,source',
                        'user.fields': 'id,name,username,created_at,description,public_metrics,verified',
                        'place.fields': 'full_name,id,country,country_code,geo,name,place_type',
                        'next_token': {}}
        return (search_url, query_params)
    
    
    def connect_to_endpoint(url, headers, params, next_token = None):
        params['next_token'] = next_token  
        response = requests.request("GET", url, headers = headers, params = params)
        print("Endpoint Response Code: " + str(response.status_code))
        if response.status_code != 200:
            raise Exception(response.status_code, response.text)
        return response.json()
    
    #Inputs for the request
    bearer_token = auth()
    headers = create_headers(bearer_token)
    keyword = '"global leader" -is:retweets -is:replies -is:links lang:en'
    max_results=100
    
    url = create_url(keyword, max_results)
    json_response = connect_to_endpoint(url[0], headers, url[1])
    
[/code]

