text: # -*- coding:utf-8 -*-
  """
  龙虎榜类
  Created on 2019/01/11
  @author: TabQ
  @group : gugu
  @contact: 16621596@qq.com
  """
  
  import time
  import re
  import pandas as pd
  from pandas.compat import StringIO
  import lxml.html
  from lxml import etree
  from gugu.base import Base, cf
  from gugu.utility import Utility
  
  class BillBoard(Base):
      def topList(self, date=None, retry=3, pause=0.001):
          """
          获取每日龙虎榜列表
          Parameters
          --------
          date:string
                      明细数据日期 format：YYYY-MM-DD 如果为空，返回最近一个交易日的数据
          retry : int, 默认 3
                       如遇网络等问题重复执行的次数 
          pause : int, 默认 0
                      重复请求数据过程中暂停的秒数，防止请求间隔时间太短出现的问题
          
          Return
          ------
          DataFrame or List: [{'code':, 'name':, ...}, ...]
              code：代码
              name ：名称
              pchange：涨跌幅     
              amount：龙虎榜成交额(万)
              buy：买入额(万)
              bratio：占总成交比例
              sell：卖出额(万)
              sratio ：占总成交比例
              reason：上榜原因
              unscramble: 解读
              date  ：日期
          """
          self._data = pd.DataFrame()
          
          if date is None:
              if Utility.getHour() < 18:
                  date = Utility.lastTradeDate()
              else:
                  date = Utility.getToday()
          else:
              if not Utility.isTradeDay(date):
                  return None
              
          for _ in range(retry):
              time.sleep(pause)
              
              try:
                  # http://data.eastmoney.com/DataCenter_V3/stock2016/TradeDetail/pagesize=200,page=1,sortRule=-1,sortType=,startDate=2019-01-10,endDate=2019-01-10,gpfw=0,js=vardata_tab_1.html
                  request = self._session.get( cf.LHB_URL % (date, date), timeout=10 )
                  request.encoding = 'gbk'
                  text = request.text.split('_1=')[1]
                  dataDict = Utility.str2Dict(text)
                  
                  self._data = pd.DataFrame(dataDict['data'], columns=cf.LHB_TMP_COLS)
                  self._data.columns = cf.LHB_COLS
                  self._data['buy'] = self._data['buy'].astype(float)
                  self._data['sell'] = self._data['sell'].astype(float)
                  self._data['amount'] = self._data['amount'].astype(float)
                  self._data['Turnover'] = self._data['Turnover'].astype(float)
                  self._data['bratio'] = self._data['buy'] / self._data['Turnover']
                  self._data['sratio'] = self._data['sell'] / self._data['Turnover']
                  self._data['bratio'] = self._data['bratio'].map(cf.FORMAT)
                  self._data['sratio'] = self._data['sratio'].map(cf.FORMAT)
                  self._data['date'] = date
                  for col in ['amount', 'buy', 'sell']:
                      self._data[col] = self._data[col].astype(float)
                      self._data[col] = self._data[col] / 10000
                      self._data[col] = self._data[col].map(cf.FORMAT)
                  self._data = self._data.drop('Turnover', axis=1)
              except:
                  pass
              else:
                  return self._result()
              
          raise IOError(cf.NETWORK_URL_ERROR_MSG)
      
      
      def countTops(self, days=5, retry=3, pause=0.001):
          """
          获取个股上榜统计数据
          Parameters
          --------
              days:int
                        天数，统计n天以来上榜次数，默认为5天，其余是10、30、60
              retry : int, 默认 3
                           如遇网络等问题重复执行的次数 
              pause : int, 默认 0
                          重复请求数据过程中暂停的秒数，防止请求间隔时间太短出现的问题
          Return
          ------
          DataFrame or List: [{'code':, 'name':, ...}, ...]
              code：代码
              name：名称
              count：上榜次数
              bamount：累积购买额(万)     
              samount：累积卖出额(万)
              net：净额(万)
              bcount：买入席位数
              scount：卖出席位数
          """
          self._data = pd.DataFrame()
          
          if Utility.checkLhbInput(days) is True:
              self._writeHead()
              
              # http://vip.stock.finance.sina.com.cn/q/go.php/vLHBData/kind/ggtj/index.phtml?last=5&p=1
              self._data =  self.__parsePage(kind=cf.LHB_KINDS[0], last=days, column=cf.LHB_GGTJ_COLS, dataArr=pd.DataFrame(), pageNo=1, retry=retry, pause=pause)
              self._data['code'] = self._data['code'].map(lambda x: str(x).zfill(6))
              if self._data is not None:
                  self._data = self._data.drop_duplicates('code')
                  
              return self._result()
          
          
      def brokerTops(self, days=5, retry=3, pause=0.001):
          """
          获取营业部上榜统计数据
          Parameters
          --------
          days:int
                    天数，统计n天以来上榜次数，默认为5天，其余是10、30、60
          retry : int, 默认 3
                       如遇网络等问题重复执行的次数 
          pause : int, 默认 0
                      重复请求数据过程中暂停的秒数，防止请求间隔时间太短出现的问题
          Return
          ---------
          DataFrame or List: [{'broker':, 'count':, ...}, ...]
              broker：营业部名称
              count：上榜次数
              bamount：累积购买额(万)
              bcount：买入席位数
              samount：累积卖出额(万)
              scount：卖出席位数
              top3：买入前三股票
          """
          self._data = pd.DataFrame()
          
          if Utility.checkLhbInput(days) is True:
              self._writeHead()
              
              # http://vip.stock.finance.sina.com.cn/q/go.php/vLHBData/kind/yytj/index.phtml?last=5&p=1
              self._data = self.__parsePage(kind=cf.LHB_KINDS[1], last=days, column=cf.LHB_YYTJ_COLS, dataArr=pd.DataFrame(), pageNo=1, retry=retry, pause=pause)
              
              return self._result()
          
          
      def instTops(self, days=5, retry=3, pause=0.001):
          """
          获取机构席位追踪统计数据
          Parameters
          --------
          days:int
                    天数，统计n天以来上榜次数，默认为5天，其余是10、30、60
          retry : int, 默认 3
                       如遇网络等问题重复执行的次数 
          pause : int, 默认 0
                      重复请求数据过程中暂停的秒数，防止请求间隔时间太短出现的问题
                      
          Return
          --------
          DataFrame or List: [{'code':, 'name':, ...}, ...]
              code:代码
              name:名称
              bamount:累积买入额(万)
              bcount:买入次数
              samount:累积卖出额(万)
              scount:卖出次数
              net:净额(万)
          """
          self._data = pd.DataFrame()
          
          if Utility.checkLhbInput(days) is True:
              self._writeHead()
              
              # http://vip.stock.finance.sina.com.cn/q/go.php/vLHBData/kind/jgzz/index.phtml?last=5&p=1
              self._data = self.__parsePage(kind=cf.LHB_KINDS[2], last=days, column=cf.LHB_JGZZ_COLS, dataArr=pd.DataFrame(), pageNo=1, retry=retry, pause=pause, drop_column=[2,3])
              self._data['code'] = self._data['code'].map(lambda x: str(x).zfill(6))
              
              return self._result()
          
          
      def instDetail(self, retry=3, pause=0.001):
          """
          获取最近一个交易日机构席位成交明细统计数据
          Parameters
          --------
          retry : int, 默认 3
                       如遇网络等问题重复执行的次数 
          pause : int, 默认 0
                      重复请求数据过程中暂停的秒数，防止请求间隔时间太短出现的问题
                      
          Return
          ----------
          DataFrame or List: [{'code':, 'name':, ...}, ...]
              code:股票代码
              name:股票名称     
              date:交易日期     
              bamount:机构席位买入额(万)     
              samount:机构席位卖出额(万)     
              type:类型
          """
          self._data = pd.DataFrame()
          
          self._writeHead()
          
          # http://vip.stock.finance.sina.com.cn/q/go.php/vLHBData/kind/jgmx/index.phtml?last=&p=1
          self._data = self.__parsePage(kind=cf.LHB_KINDS[3], last='', column=cf.LHB_JGMX_COLS, dataArr=pd.DataFrame(), pageNo=1, retry=retry, pause=pause)
          if len(self._data) > 0:
              self._data['code'] = self._data['code'].map(lambda x: str(x).zfill(6))
              
          return self._result()
          
      
      def __parsePage(self, kind, last, column, dataArr, pageNo=1, retry=3, pause=0.001, drop_column=None):
          self._writeConsole()
          
          for _ in range(retry):
              time.sleep(pause)
              
              try:
                  request = self._session.get( cf.LHB_SINA_URL % (kind, last, pageNo), timeout=10 )
                  request.encoding = 'gbk'
                  html = lxml.html.parse(StringIO(request.text))
                  res = html.xpath("//table[@id=\"dataTable\"]/tr")
                  if self._PY3:
                      sarr = [etree.tostring(node).decode('utf-8') for node in res]
                  else:
                      sarr = [etree.tostring(node) for node in res]
                  sarr = ''.join(sarr)
                  sarr = '<table>%s</table>'%sarr
                  df = pd.read_html(sarr)[0]
                  if drop_column is not None:
                      df = df.drop(drop_column, axis=1)
                  df.columns = column
                  dataArr = dataArr.append(df, ignore_index=True)
                  nextPage = html.xpath('//div[@class=\"pages\"]/a[last()]/@onclick')
                  if len(nextPage) > 0:
                      pageNo = re.findall(r'\d+', nextPage[0])[0]
                      return self.__parsePage(kind, last, column, dataArr, pageNo, retry, pause, drop_column)
                  else:
                      return dataArr
              except Exception as e:
                  print(e)
                  
                  
  