Annotation of libwww/Library/src/HTTP.c, revision 1.110

1.74      frystyk     1: /*                                                                      HTTP.c
                      2: **     MULTITHREADED IMPLEMENTATION OF HTTP CLIENT
1.2       timbl       3: **
1.84      frystyk     4: **     (c) COPYRIGHT MIT 1995.
1.74      frystyk     5: **     Please first read the full copyright statement in the file COPYRIGH.
                      6: **
                      7: **     This module implments the HTTP protocol as a state machine
1.55      frystyk     8: **
                      9: ** History:
1.59      frystyk    10: **    < May 24 94 ??   Unknown - but obviously written
1.56      frystyk    11: **     May 24 94 HF    Made reentrent and cleaned up a bit. Implemented
                     12: **                     Forward, redirection, error handling and referer field
1.67      duns       13: **      8 Jul 94  FM   Insulate free() from _free structure element.
1.71      frystyk    14: **     Jul 94 HFN      Written on top of HTTP.c, Henrik Frystyk
1.55      frystyk    15: **
1.1       timbl      16: */
                     17: 
1.78      frystyk    18: /* Library include files */
                     19: #include "tcp.h"
1.1       timbl      20: #include "HTUtils.h"
1.78      frystyk    21: #include "HTString.h"
1.71      frystyk    22: #include "HTParse.h"
1.1       timbl      23: #include "HTTCP.h"
                     24: #include "HTFormat.h"
1.85      frystyk    25: #include "HTSocket.h"
1.94      frystyk    26: #include "HTReqMan.h"
1.2       timbl      27: #include "HTAlert.h"
1.14      luotonen   28: #include "HTAABrow.h"          /* Access Authorization */
1.20      timbl      29: #include "HTTee.h"             /* Tee off a cache stream */
1.78      frystyk    30: #include "HTFWrite.h"          /* Write to cache file */
1.90      frystyk    31: #include "HTCache.h"
1.80      frystyk    32: #include "HTWriter.h"
1.54      luotonen   33: #include "HTError.h"
1.94      frystyk    34: #include "HTAccess.h"
1.55      frystyk    35: #include "HTChunk.h"
1.105     frystyk    36: #include "HTWWWStr.h"
1.95      frystyk    37: #include "HTNetMan.h"
1.109     frystyk    38: #include "HTTPUtil.h"
1.80      frystyk    39: #include "HTTPReq.h"
1.55      frystyk    40: #include "HTTP.h"                                             /* Implements */
                     41: 
                     42: /* Macros and other defines */
1.94      frystyk    43: #ifndef HTTP_PORT
                     44: #define HTTP_PORT 80   /* Allocated to http by Jon Postel/ISI 24-Jan-92 */
                     45: #endif
                     46: 
1.71      frystyk    47: #define PUTC(c)                (*me->target->isa->put_character)(me->target, c)
                     48: #define PUTS(s)                (*me->target->isa->put_string)(me->target, s)
                     49: #define PUTBLOCK(b, l) (*me->target->isa->put_block)(me->target, b, l)
                     50: #define FREE_TARGET    (*me->target->isa->_free)(me->target)
1.74      frystyk    51: #define ABORT_TARGET   (*me->target->isa->abort)(me->target, e)
1.2       timbl      52: 
1.59      frystyk    53: /* Type definitions and global variables etc. local to this module */
1.94      frystyk    54: 
                     55: /* Final states have negative value */
1.59      frystyk    56: typedef enum _HTTPState {
1.81      frystyk    57:     HTTP_RETRY         = -4,
1.71      frystyk    58:     HTTP_ERROR         = -3,
                     59:     HTTP_NO_DATA       = -2,
                     60:     HTTP_GOT_DATA      = -1,
                     61:     HTTP_BEGIN         = 0,
                     62:     HTTP_NEED_CONNECTION,
                     63:     HTTP_NEED_REQUEST,
                     64:     HTTP_REDIRECTION,
1.91      frystyk    65:     HTTP_NOT_MODIFIED,
                     66:     HTTP_EXPIRED,
1.71      frystyk    67:     HTTP_AA
1.59      frystyk    68: } HTTPState;
1.55      frystyk    69: 
1.94      frystyk    70: /* This is the context structure for the this module */
1.55      frystyk    71: typedef struct _http_info {
1.81      frystyk    72:     HTTPState          state;            /* Current State of the connection */
                     73:     HTTPState          next;                                  /* Next state */
1.55      frystyk    74: } http_info;
                     75: 
1.88      frystyk    76: #define MAX_STATUS_LEN         100   /* Max nb of chars to check StatusLine */
1.55      frystyk    77: 
1.71      frystyk    78: struct _HTStream {
                     79:     CONST HTStreamClass *      isa;
                     80:     HTStream *                 target;
                     81:     HTRequest *                        request;
                     82:     http_info *                        http;
                     83:     HTSocketEOL                        state;
                     84:     BOOL                       transparent;
1.81      frystyk    85:     char *                     version;             /* Should we save this? */
1.71      frystyk    86:     int                                status;
1.81      frystyk    87:     char *                     reason;
1.71      frystyk    88:     char                       buffer[MAX_STATUS_LEN+1];
1.80      frystyk    89:     int                                buflen;
1.71      frystyk    90: };
1.21      luotonen   91: 
1.71      frystyk    92: /* ------------------------------------------------------------------------- */
                     93: /*                               Help Functions                             */
                     94: /* ------------------------------------------------------------------------- */
1.21      luotonen   95: 
1.94      frystyk    96: /*     HTTPCleanup
                     97: **     -----------
1.55      frystyk    98: **      This function closes the connection and frees memory.
1.94      frystyk    99: **      Returns YES on OK, else NO
1.1       timbl     100: */
1.94      frystyk   101: PRIVATE int HTTPCleanup (HTRequest *req, int status)
1.1       timbl     102: {
1.94      frystyk   103:     HTNet *net = req->net;
                    104:     http_info *http = (http_info *) net->context;
1.80      frystyk   105: 
1.94      frystyk   106:     /* Free stream with data TO network */
                    107:     if (!HTRequest_isDestination(req) && req->input_stream) {
                    108:        if (status == HT_INTERRUPTED)
                    109:            (*req->input_stream->isa->abort)(req->input_stream, NULL);
                    110:        else
                    111:            (*req->input_stream->isa->_free)(req->input_stream);
1.104     frystyk   112:        req->input_stream = NULL;
1.94      frystyk   113:     }
1.88      frystyk   114: 
1.94      frystyk   115:     /* Remove the request object and our own context structure for http */
                    116:     HTNet_delete(net, status);
                    117:     FREE(http);
                    118:     return YES;
1.55      frystyk   119: }
                    120: 
                    121: 
1.94      frystyk   122: PRIVATE BOOL HTTPAuthentication (HTRequest * request)
1.71      frystyk   123: {
                    124:     HTAAScheme scheme;
                    125:     HTList *valid_schemes = HTList_new();
                    126:     HTAssocList **scheme_specifics = NULL;
1.76      frystyk   127:     char *tmplate = NULL;
1.71      frystyk   128: 
                    129:     if (request->WWWAAScheme) {
                    130:        if ((scheme = HTAAScheme_enum(request->WWWAAScheme)) != HTAA_UNKNOWN) {
                    131:            HTList_addObject(valid_schemes, (void *) scheme);
                    132:            if (!scheme_specifics) {
                    133:                int i;
                    134:                scheme_specifics = (HTAssocList**)
                    135:                    malloc(HTAA_MAX_SCHEMES * sizeof(HTAssocList*));
                    136:                if (!scheme_specifics)
                    137:                    outofmem(__FILE__, "HTTPAuthentication");
                    138:                for (i=0; i < HTAA_MAX_SCHEMES; i++)
                    139:                    scheme_specifics[i] = NULL;
                    140:            }
                    141:            scheme_specifics[scheme] = HTAA_parseArgList(request->WWWAARealm);
                    142:        } else if (PROT_TRACE) {
1.104     frystyk   143:            HTRequest_addError(request, ERR_INFO, NO, HTERR_UNKNOWN_AA,
1.71      frystyk   144:                       (void *) request->WWWAAScheme, 0, "HTTPAuthentication");
                    145:            return NO;
                    146:        }
                    147:     }
                    148:     if (request->WWWprotection) {
                    149:        if (PROT_TRACE)
1.102     frystyk   150:            TTYPrint(TDEST, "Protection template set to `%s'\n",
1.71      frystyk   151:                    request->WWWprotection);
1.76      frystyk   152:        StrAllocCopy(tmplate, request->WWWprotection);
1.71      frystyk   153:     }
                    154:     request->valid_schemes = valid_schemes;
                    155:     request->scheme_specifics = scheme_specifics;
1.76      frystyk   156:     request->prot_template = tmplate;
1.71      frystyk   157:     return YES;
                    158: }
                    159: 
                    160: 
                    161: /*
                    162: **     This is a big switch handling all HTTP return codes. It puts in any
                    163: **     appropiate error message and decides whether we should expect data
1.78      frystyk   164: **     or not.
1.55      frystyk   165: */
1.100     frystyk   166: PRIVATE void HTTPNextState (HTStream * me)
1.55      frystyk   167: {
1.71      frystyk   168:     switch (me->status) {
                    169: 
1.78      frystyk   170:       case 0:                                               /* 0.9 response */
                    171:       case 200:
                    172:       case 201:
                    173:       case 202:
                    174:       case 203:
1.81      frystyk   175:        me->http->next = HTTP_GOT_DATA;
1.71      frystyk   176:        break;
1.78      frystyk   177: 
                    178:       case 204:                                                      /* No Response */
1.81      frystyk   179:        me->http->next = HTTP_NO_DATA;
1.71      frystyk   180:        break;
1.78      frystyk   181: 
1.71      frystyk   182:       case 301:                                                            /* Moved */
                    183:       case 302:                                                            /* Found */
1.81      frystyk   184:        me->http->next = HTTP_REDIRECTION;
1.71      frystyk   185:        break;
1.55      frystyk   186:        
1.71      frystyk   187:       case 303:                                                           /* Method */
1.107     frystyk   188:        HTRequest_addError(me->request, ERR_FATAL, NO, HTERR_NOT_IMPLEMENTED,
                    189:                           me->reason, (int) strlen(me->reason),
                    190:                           "HTTPNextState");
1.81      frystyk   191:        me->http->next = HTTP_ERROR;
1.71      frystyk   192:        break;
1.91      frystyk   193: 
                    194:       case 304:                                                     /* Not Modified */
                    195:        me->http->next = HTTP_NOT_MODIFIED;
                    196:        break;
1.55      frystyk   197:        
1.78      frystyk   198:       case 400:                                                      /* Bad Request */
1.104     frystyk   199:        HTRequest_addError(me->request, ERR_FATAL, NO, HTERR_BAD_REQUEST,
1.100     frystyk   200:                   me->reason, (int) strlen(me->reason), "HTTPNextState");
1.81      frystyk   201:        me->http->next = HTTP_ERROR;
1.71      frystyk   202:        break;
1.70      howcome   203: 
1.71      frystyk   204:       case 401:
1.104     frystyk   205:        HTRequest_addError(me->request, ERR_FATAL, NO, HTERR_UNAUTHORIZED,
1.100     frystyk   206:                   me->reason, (int) strlen(me->reason), "HTTPNextState");
1.81      frystyk   207:        me->http->next = HTTP_AA;
1.71      frystyk   208:        break;
                    209:        
                    210:       case 402:                                                 /* Payment required */
1.104     frystyk   211:        HTRequest_addError(me->request, ERR_FATAL, NO, HTERR_PAYMENT_REQUIRED,
1.100     frystyk   212:                   me->reason, (int) strlen(me->reason), "HTTPNextState");
1.81      frystyk   213:        me->http->next = HTTP_ERROR;
1.71      frystyk   214:        break;
1.55      frystyk   215:        
1.71      frystyk   216:       case 403:                                                        /* Forbidden */
1.104     frystyk   217:        HTRequest_addError(me->request, ERR_FATAL, NO, HTERR_FORBIDDEN,
1.100     frystyk   218:                   me->reason, (int) strlen(me->reason), "HTTPNextState");
1.81      frystyk   219:        me->http->next = HTTP_ERROR;
1.71      frystyk   220:        break;
1.55      frystyk   221:        
1.71      frystyk   222:       case 404:                                                        /* Not Found */
1.104     frystyk   223:        HTRequest_addError(me->request, ERR_FATAL, NO, HTERR_NOT_FOUND,
1.100     frystyk   224:                   me->reason, (int) strlen(me->reason), "HTTPNextState");
1.81      frystyk   225:        me->http->next = HTTP_ERROR;
1.71      frystyk   226:        break;
                    227:        
1.78      frystyk   228:       case 405:                                                      /* Not Allowed */
1.104     frystyk   229:        HTRequest_addError(me->request, ERR_FATAL, NO, HTERR_NOT_ALLOWED,
1.100     frystyk   230:                   me->reason, (int) strlen(me->reason), "HTTPNextState");
1.81      frystyk   231:        me->http->next = HTTP_ERROR;
1.78      frystyk   232:        break;
                    233: 
                    234:       case 406:                                                  /* None Acceptable */
1.104     frystyk   235:        HTRequest_addError(me->request, ERR_FATAL, NO, HTERR_NONE_ACCEPTABLE,
1.100     frystyk   236:                   me->reason, (int) strlen(me->reason), "HTTPNextState");
1.81      frystyk   237:        me->http->next = HTTP_ERROR;
1.78      frystyk   238:        break;
                    239: 
                    240:       case 407:                                    /* Proxy Authentication Required */
1.104     frystyk   241:        HTRequest_addError(me->request, ERR_FATAL, NO, HTERR_PROXY,
1.100     frystyk   242:                   me->reason, (int) strlen(me->reason), "HTTPNextState");
1.81      frystyk   243:        me->http->next = HTTP_ERROR;
1.78      frystyk   244:        break;
                    245: 
                    246:       case 408:                                                  /* Request Timeout */
1.104     frystyk   247:        HTRequest_addError(me->request, ERR_FATAL, NO, HTERR_TIMEOUT,
1.100     frystyk   248:                   me->reason, (int) strlen(me->reason), "HTTPNextState");
1.81      frystyk   249:        me->http->next = HTTP_ERROR;
1.78      frystyk   250:        break;
                    251: 
1.71      frystyk   252:       case 500:
1.104     frystyk   253:        HTRequest_addError(me->request, ERR_FATAL, NO, HTERR_INTERNAL,
1.100     frystyk   254:                   me->reason, (int) strlen(me->reason), "HTTPNextState");
1.81      frystyk   255:        me->http->next = HTTP_ERROR;
1.78      frystyk   256:        break;
                    257:        
1.71      frystyk   258:       case 501:
1.104     frystyk   259:        HTRequest_addError(me->request, ERR_FATAL, NO, HTERR_NOT_IMPLEMENTED,
1.100     frystyk   260:                   me->reason, (int) strlen(me->reason), "HTTPNextState");
1.81      frystyk   261:        me->http->next = HTTP_ERROR;
1.78      frystyk   262:        break;
                    263: 
                    264:       case 502:
1.104     frystyk   265:        HTRequest_addError(me->request, ERR_FATAL, NO, HTERR_BAD_GATE,
1.100     frystyk   266:                   me->reason, (int) strlen(me->reason), "HTTPNextState");
1.81      frystyk   267:        me->http->next = HTTP_ERROR;
1.78      frystyk   268:        break;
                    269: 
                    270:       case 503:
1.104     frystyk   271:        HTRequest_addError(me->request, ERR_FATAL, NO, HTERR_DOWN,
1.100     frystyk   272:                   me->reason, (int) strlen(me->reason), "HTTPNextState");
1.81      frystyk   273: 
                    274:        /* If Retry-After header is found then return HT_RETRY else HT_ERROR */
                    275:        if (me->request->retry_after)
                    276:            me->http->next = HTTP_RETRY;
                    277:        else
                    278:            me->http->next = HTTP_ERROR;
1.78      frystyk   279:        break;
                    280: 
                    281:       case 504:
1.104     frystyk   282:        HTRequest_addError(me->request, ERR_FATAL, NO, HTERR_GATE_TIMEOUT,
1.100     frystyk   283:                   me->reason, (int) strlen(me->reason), "HTTPNextState");
1.81      frystyk   284:         me->http->next = HTTP_ERROR;
1.71      frystyk   285:        break;
1.78      frystyk   286: 
1.71      frystyk   287:       default:                                                /* bad number */
1.104     frystyk   288:        HTRequest_addError(me->request, ERR_FATAL, NO, HTERR_BAD_REPLY,
1.100     frystyk   289:                   (void *) me->buffer, me->buflen, "HTTPNextState");
1.81      frystyk   290:        me->http->next = HTTP_ERROR;
1.71      frystyk   291:        break;
1.55      frystyk   292:     }
                    293: }
                    294: 
1.71      frystyk   295: /* ------------------------------------------------------------------------- */
                    296: /*                         HTTP Status Line Stream                          */
                    297: /* ------------------------------------------------------------------------- */
1.55      frystyk   298: 
1.71      frystyk   299: /*
1.80      frystyk   300: **     Analyse the stream we have read. If it is a HTTP 1.0 or higher
1.71      frystyk   301: **     then create a MIME-stream, else create a Guess stream to find out
                    302: **     what the 0.9 server is sending. We need to copy the buffer as we don't
                    303: **     know if we can modify the contents or not.
1.78      frystyk   304: **
                    305: **     Stream handling is a function of the status code returned from the 
                    306: **     server:
                    307: **             200:     Use `output_stream' in HTRequest structure
1.94      frystyk   308: **             else:    Use `debug_stream' in HTRequest structure
1.80      frystyk   309: **
                    310: **     Return: YES if buffer should be written out. NO otherwise
1.56      frystyk   311: */
1.100     frystyk   312: PRIVATE int stream_pipe (HTStream * me)
1.56      frystyk   313: {
1.71      frystyk   314:     HTRequest *req = me->request;
1.95      frystyk   315:     HTNet *net = req->net;
1.80      frystyk   316:     if (me->target) {
                    317:        int status = PUTBLOCK(me->buffer, me->buflen);
                    318:        if (status == HT_OK)
                    319:            me->transparent = YES;
                    320:        return status;
1.88      frystyk   321:     } else if (HTRequest_isSource(req) && !req->output_stream) {
                    322:        /*
                    323:        **  We need to wait for the destinations to get ready
                    324:        */
                    325:        return HT_WOULD_BLOCK;
1.80      frystyk   326:     }
1.88      frystyk   327:        
1.81      frystyk   328:     if (strncasecomp(me->buffer, "http/", 5)) {
1.80      frystyk   329:        int status;
1.104     frystyk   330:        HTRequest_addError(req, ERR_INFO, NO, HTERR_HTTP09,
1.80      frystyk   331:                   (void *) me->buffer, me->buflen, "HTTPStatusStream");
1.105     frystyk   332:        me->target = HTStreamStack(WWW_UNKNOWN, req->output_format,
                    333:                                   req->output_stream, req, NO);
1.88      frystyk   334:        me->http->next = HTTP_GOT_DATA;
1.80      frystyk   335:        if ((status = PUTBLOCK(me->buffer, me->buflen)) == HT_OK)
                    336:            me->transparent = YES;
1.98      frystyk   337:        HTDNS_setServerVersion(net->dns, HTTP_09);
1.80      frystyk   338:        return status;
                    339:     } else {
1.81      frystyk   340:        char *ptr = me->buffer+5;                      /* Skip the HTTP part */
                    341:        me->version = HTNextField(&ptr);
1.95      frystyk   342: 
                    343:        /* here we want to find out when to use persistent connection */
1.98      frystyk   344:        HTDNS_setServerVersion(net->dns, HTTP_10);
1.95      frystyk   345: 
1.81      frystyk   346:        me->status = atoi(HTNextField(&ptr));
                    347:        me->reason = ptr;
                    348:        if ((ptr = strchr(me->reason, '\r')) != NULL)     /* Strip \r and \n */
                    349:            *ptr = '\0';
                    350:        else if ((ptr = strchr(me->reason, '\n')) != NULL)
                    351:            *ptr = '\0';
                    352: 
                    353:        /* Set up the streams */
1.110   ! frystyk   354:        if (me->status==200 && req->method==METHOD_GET) {
1.80      frystyk   355:            HTStream *s;
1.103     frystyk   356:            me->target = HTStreamStack(WWW_MIME, req->output_format,
                    357:                                       req->output_stream, req, NO);
1.80      frystyk   358:            
1.103     frystyk   359:            /* howcome: test for return value from HTCacheWriter 12/1/95 */
                    360:            if (req->method==METHOD_GET && HTCache_isEnabled() &&
                    361:                (s = HTCacheWriter(req, NULL, WWW_MIME, req->output_format,
                    362:                                   req->output_stream))) {
                    363:                me->target = HTTee(me->target, s);
                    364:            }
1.94      frystyk   365:        } else if (req->debug_stream) {
                    366:            me->target = HTStreamStack(WWW_MIME, req->debug_format,
                    367:                                       req->debug_stream, req, NO);
1.71      frystyk   368:        } else {
1.103     frystyk   369:            /* We still need to parser the MIME part */
1.109     frystyk   370:            me->target = HTStreamStack(WWW_MIME, WWW_DEBUG, req->debug_stream,
                    371:                                       req, NO);
1.56      frystyk   372:        }
                    373:     }
1.105     frystyk   374:     if (!me->target) me->target = HTBlackHole();
1.81      frystyk   375:     HTTPNextState(me);                                    /* Get next state */
1.80      frystyk   376:     me->transparent = YES;
                    377:     return HT_OK;
1.71      frystyk   378: }
1.56      frystyk   379: 
1.80      frystyk   380: /*
                    381: **     Searches for HTTP header line until buffer fills up or a CRLF or LF
                    382: **     is found
                    383: */
1.100     frystyk   384: PRIVATE int HTTPStatus_put_block (HTStream * me, CONST char * b, int l)
1.71      frystyk   385: {
1.80      frystyk   386:     while (!me->transparent && l-- > 0) {
                    387:        int status;
                    388:        if (me->target) {
                    389:            if ((status = stream_pipe(me)) != HT_OK)
                    390:                return status;
                    391:        } else {
                    392:            *(me->buffer+me->buflen++) = *b;
                    393:            if (me->state == EOL_FCR) {
                    394:                if (*b == LF) { /* Line found */
                    395:                    if ((status = stream_pipe(me)) != HT_OK)
                    396:                        return status;
                    397:                } else {
                    398:                    me->state = EOL_BEGIN;
                    399:                }
                    400:            } else if (*b == CR) {
                    401:                me->state = EOL_FCR;
                    402:            } else if (*b == LF) {
                    403:                if ((status = stream_pipe(me)) != HT_OK)
                    404:                    return status;
1.71      frystyk   405:            } else {
1.80      frystyk   406:                if (me->buflen >= MAX_STATUS_LEN) {
                    407:                    if ((status = stream_pipe(me)) != HT_OK)
                    408:                        return status;
                    409:                }
1.71      frystyk   410:            }
1.80      frystyk   411:            b++;
1.71      frystyk   412:        }
1.56      frystyk   413:     }
1.99      frystyk   414:     if (l > 0) return PUTBLOCK(b, l);
                    415:     return HT_OK;
1.56      frystyk   416: }
                    417: 
1.100     frystyk   418: PRIVATE int HTTPStatus_put_string (HTStream * me, CONST char * s)
1.71      frystyk   419: {
1.80      frystyk   420:     return HTTPStatus_put_block(me, s, (int) strlen(s));
1.71      frystyk   421: }
1.56      frystyk   422: 
1.100     frystyk   423: PRIVATE int HTTPStatus_put_character (HTStream * me, char c)
1.71      frystyk   424: {
1.80      frystyk   425:     return HTTPStatus_put_block(me, &c, 1);
                    426: }
                    427: 
1.100     frystyk   428: PRIVATE int HTTPStatus_flush (HTStream * me)
1.80      frystyk   429: {
                    430:     return (*me->target->isa->flush)(me->target);
1.71      frystyk   431: }
                    432: 
1.100     frystyk   433: PRIVATE int HTTPStatus_free (HTStream * me)
1.71      frystyk   434: {
1.87      frystyk   435:     int status = HT_OK;
                    436:     if (me->target) {
                    437:        if ((status = (*me->target->isa->_free)(me->target))==HT_WOULD_BLOCK)
                    438:            return HT_WOULD_BLOCK;
                    439:     }
1.71      frystyk   440:     free(me);
1.100     frystyk   441:     return status;
1.71      frystyk   442: }
                    443: 
1.104     frystyk   444: PRIVATE int HTTPStatus_abort (HTStream * me, HTList * e)
1.71      frystyk   445: {
                    446:     if (me->target)
1.74      frystyk   447:        ABORT_TARGET;
1.71      frystyk   448:     free(me);
1.74      frystyk   449:     if (PROT_TRACE)
1.102     frystyk   450:        TTYPrint(TDEST, "HTTPStatus.. ABORTING...\n");
1.80      frystyk   451:     return HT_ERROR;
1.71      frystyk   452: }
                    453: 
                    454: /*     HTTPStatus Stream
                    455: **     -----------------
                    456: */
                    457: PRIVATE CONST HTStreamClass HTTPStatusClass =
                    458: {              
                    459:     "HTTPStatus",
1.80      frystyk   460:     HTTPStatus_flush,
1.71      frystyk   461:     HTTPStatus_free,
                    462:     HTTPStatus_abort,
                    463:     HTTPStatus_put_character,
                    464:     HTTPStatus_put_string,
                    465:     HTTPStatus_put_block
                    466: };
                    467: 
1.100     frystyk   468: PRIVATE HTStream * HTTPStatus_new (HTRequest * request, http_info * http)
1.71      frystyk   469: {
                    470:     HTStream * me = (HTStream *) calloc(1, sizeof(HTStream));
                    471:     if (!me) outofmem(__FILE__, "HTTPStatus_new");
                    472:     me->isa = &HTTPStatusClass;
                    473:     me->request = request;
                    474:     me->http = http;
                    475:     me->state = EOL_BEGIN;
                    476:     return me;
                    477: }
                    478: 
                    479: /* ------------------------------------------------------------------------- */
                    480: 
                    481: /*             Load Document from HTTP Server                       HTLoadHTTP
1.55      frystyk   482: **             ==============================
                    483: **
                    484: **     Given a hypertext address, this routine loads a document.
                    485: **
                    486: ** On entry,
                    487: **      request                This is the request structure
1.94      frystyk   488: **     returns         HT_ERROR        Error has occured in call back
                    489: **                     HT_OK           Call back was OK
1.55      frystyk   490: */
1.94      frystyk   491: PUBLIC int HTLoadHTTP (SOCKET soc, HTRequest * request, SockOps ops)
1.55      frystyk   492: {
1.71      frystyk   493:     int status = HT_ERROR;
1.94      frystyk   494:     HTNet *net = request->net;              /* Generic protocol information */
1.55      frystyk   495:     http_info *http;                       /* Specific protocol information */
1.17      timbl     496:     
1.94      frystyk   497:     /*
                    498:     ** Initiate a new http structure and bind to request structure
                    499:     ** This is actually state HTTP_BEGIN, but it can't be in the state
                    500:     ** machine as we need the structure first.
                    501:     */
                    502:     if (ops == FD_NONE) {
1.102     frystyk   503:        if (PROT_TRACE) TTYPrint(TDEST, "HTTP........ Looking for `%s\'\n",
1.94      frystyk   504:                                HTAnchor_physical(request->anchor));
1.71      frystyk   505:        if ((http = (http_info *) calloc(1, sizeof(http_info))) == NULL)
                    506:            outofmem(__FILE__, "HTLoadHTTP");
                    507:        http->state = HTTP_BEGIN;
1.85      frystyk   508:        http->next = HTTP_ERROR;
1.94      frystyk   509:        net->context = http;
1.98      frystyk   510:     } else if (ops == FD_CLOSE) {                            /* Interrupted */
1.100     frystyk   511: #if 1
                    512:        if (HTRequest_isPostWeb(request))
                    513: #else
1.94      frystyk   514:        if(HTRequest_isPostWeb(request)&&!HTRequest_isMainDestination(request))
1.100     frystyk   515: #endif
1.94      frystyk   516:            HTTPCleanup(request, HT_IGNORE);
                    517:        else
                    518:            HTTPCleanup(request, HT_INTERRUPTED);
                    519:        return HT_OK;
                    520:     } else
                    521:        http = (http_info *) net->context;              /* Get existing copy */
1.71      frystyk   522:  
                    523:     /* Now jump into the machine. We know the state from the previous run */
                    524:     while (1) {
                    525:        switch (http->state) {
                    526:          case HTTP_BEGIN:
                    527:            /*
                    528:             ** Compose authorization information (this was moved here
                    529:             ** from after the making of the connection so that the connection
                    530:             ** wouldn't have to wait while prompting username and password
                    531:             ** from the user).                         -- AL 13.10.93
                    532:             */
                    533:            HTAA_composeAuth(request);
                    534:            if (PROT_TRACE) {
                    535:                if (request->authorization)
1.102     frystyk   536:                    TTYPrint(TDEST, "HTTP........ Sending Authorization: %s\n",
1.71      frystyk   537:                            request->authorization);
                    538:                else
1.102     frystyk   539:                    TTYPrint(TDEST,
1.71      frystyk   540:                            "HTTP........ Not sending authorization (yet)\n");
                    541:            }
                    542:            http->state = HTTP_NEED_CONNECTION;
                    543:            break;
                    544:            
                    545:          case HTTP_NEED_CONNECTION:        /* Now let's set up a connection */
1.94      frystyk   546:            status = HTDoConnect(net, HTAnchor_physical(request->anchor),
1.95      frystyk   547:                                 HTTP_PORT);
1.80      frystyk   548:            if (status == HT_OK) {
1.95      frystyk   549: 
                    550:                /* Check the protocol class */
1.97      frystyk   551:                char *s_class = HTDNS_serverClass(net->dns);
                    552:                if (s_class && strcasecomp(s_class, "http")) {
1.104     frystyk   553:                    HTRequest_addError(request, ERR_FATAL, NO, HTERR_CLASS,
1.95      frystyk   554:                               NULL, 0, "HTLoadHTTP");
                    555:                    http->state = HTTP_ERROR;
                    556:                    break;
                    557:                }
                    558:                HTDNS_setServerClass(net->dns, "http");
                    559: 
1.71      frystyk   560:                if (PROT_TRACE)
1.102     frystyk   561:                    TTYPrint(TDEST, "HTTP........ Connected, socket %d\n",
1.94      frystyk   562:                            net->sockfd);
1.80      frystyk   563: 
1.88      frystyk   564:                /* Set up stream TO network */
                    565:                request->input_stream =
1.100     frystyk   566:                    HTTPRequest_new(request, HTBufWriter_new(net, YES, 512));
1.88      frystyk   567: 
                    568:                /*
                    569:                ** Set up concurrent read/write if this request isn't the
                    570:                ** source for a PUT or POST. As source we don't start reading
                    571:                ** before all destinations are ready. If destination then
                    572:                ** register the input stream and get ready for read
                    573:                */
                    574:                if (HTRequest_isPostWeb(request)) {
1.94      frystyk   575:                    HTEvent_Register(net->sockfd, request, (SockOps) FD_READ,
                    576:                                     HTLoadHTTP, net->priority);
1.88      frystyk   577:                    HTRequest_linkDestination(request);
                    578:                }
                    579: 
                    580:                /* Set up stream FROM network and corresponding read buffer */
1.94      frystyk   581:                net->isoc = HTInputSocket_new(net->sockfd);
1.88      frystyk   582: 
1.105     frystyk   583:                /* @@@ USE STREAM STACK @@@ */
                    584:                net->target = HTTPStatus_new(request, http);
1.71      frystyk   585:                http->state = HTTP_NEED_REQUEST;
1.96      frystyk   586:            } else if (status == HT_WOULD_BLOCK || status == HT_PERSISTENT)
1.94      frystyk   587:                return HT_OK;
1.71      frystyk   588:            else
                    589:                http->state = HTTP_ERROR;              /* Error or interrupt */
                    590:            break;
                    591: 
1.87      frystyk   592:            /* As we can do simultanous read and write this is now one state */
1.80      frystyk   593:          case HTTP_NEED_REQUEST:
1.94      frystyk   594:            if (ops == FD_WRITE || ops == FD_NONE) {
1.88      frystyk   595:                if (HTRequest_isDestination(request)) {
1.94      frystyk   596:                    HTNet *srcnet = request->source->net;
                    597:                    HTEvent_Register(srcnet->sockfd, request->source,
                    598:                                     (SockOps) FD_READ,
1.100     frystyk   599:                                     srcnet->cbf, srcnet->priority);
1.94      frystyk   600:                    return HT_OK;
1.80      frystyk   601:                }
1.101     frystyk   602:                status = request->PostCallback ?
                    603:                    request->PostCallback(request, request->input_stream) :
1.88      frystyk   604:                        (*request->input_stream->isa->flush)(request->input_stream);
1.71      frystyk   605:                if (status == HT_WOULD_BLOCK)
1.94      frystyk   606:                    return HT_OK;
                    607:                else
                    608:                    ops = FD_READ;        /* Trick to ensure that we do READ */
                    609:            } else if (ops == FD_READ) {
1.98      frystyk   610:                status = HTSocketRead(request, net);
1.80      frystyk   611:                if (status == HT_WOULD_BLOCK)
1.94      frystyk   612:                    return HT_OK;
                    613:                else if (status == HT_LOADED)
                    614:                    http->state = http->next;          /* Jump to next state */
1.91      frystyk   615:                else if (status == HT_RELOAD)
                    616:                    http->state = HTTP_EXPIRED;
1.94      frystyk   617:                else
                    618:                    http->state = HTTP_ERROR;
1.90      frystyk   619:            } else {
1.78      frystyk   620:                http->state = HTTP_ERROR;
1.90      frystyk   621:            }
1.71      frystyk   622:            break;
1.80      frystyk   623:            
1.91      frystyk   624:          case HTTP_NOT_MODIFIED:
                    625:            http->state = HTTP_ERROR;
                    626:            break;
                    627: 
                    628:          case HTTP_EXPIRED:
1.109     frystyk   629: #if 0
1.91      frystyk   630:            /* Dirty hack and fall through */
1.102     frystyk   631:            if (PROT_TRACE) TTYPrint(TDEST, "HTTP........ Expired\n");
1.91      frystyk   632:            request->redirect = request->anchor->address;
1.109     frystyk   633: #endif
1.91      frystyk   634: 
1.80      frystyk   635:          case HTTP_REDIRECTION:
1.88      frystyk   636:            /* Clean up the other connections or just this one */
                    637:            if (HTRequest_isPostWeb(request))
                    638:                HTRequest_killPostWeb(request);
                    639:            else
1.94      frystyk   640:                HTTPCleanup(request, HT_IGNORE);
1.88      frystyk   641: 
                    642:            /* If we found a new URL in the response */
1.71      frystyk   643:            if (request->redirect) {
                    644:                if (status == 301) {
1.104     frystyk   645:                    HTRequest_addError(request, ERR_INFO, NO, HTERR_MOVED,
1.71      frystyk   646:                               (void *) request->redirect,
                    647:                               (int) strlen(request->redirect), "HTLoadHTTP");
                    648:                } else if (status == 302) {
1.104     frystyk   649:                    HTRequest_addError(request, ERR_INFO, NO, HTERR_FOUND,
1.71      frystyk   650:                               (void *) request->redirect,
                    651:                               (int) strlen(request->redirect), "HTLoadHTTP");
1.55      frystyk   652:                }
1.88      frystyk   653: 
                    654:                /* If we haven't reached the limit for redirection */
1.94      frystyk   655:                if (HTRequest_retry(request)) {
1.107     frystyk   656:                    HTAlertCallback *cbf = HTAlert_find(HT_A_CONFIRM);
1.87      frystyk   657:                    HTAnchor *anchor = HTAnchor_findAddress(request->redirect);
1.108     frystyk   658: 
                    659:                    /* Make sure that we don't get this from cache */
                    660:                    HTRequest_setReloadMode(request, HT_FORCE_RELOAD);
                    661:                    
1.88      frystyk   662:                    if (HTRequest_isPostWeb(request)) {
                    663:                        HTRequest *dest = HTRequest_mainDestination(request);
1.107     frystyk   664:                        if (cbf && (*cbf)(request, HT_A_CONFIRM, HT_MSG_MOVED,
                    665:                                          NULL, request->redirect, NULL)) {
1.88      frystyk   666: 
                    667:                            /* The new anchor inherits the Post Web */
1.91      frystyk   668:                            HTAnchor_moveAllLinks((HTAnchor *) request->anchor,
                    669:                                                  anchor);
1.88      frystyk   670:                            if (HTRequest_isSource(request))
                    671:                                HTRequest_delete(request);
1.94      frystyk   672:                            return HTCopyAnchor((HTAnchor *) anchor, dest) ?
                    673:                                HT_OK : HT_ERROR;
1.87      frystyk   674:                        }
1.94      frystyk   675:                        return HT_OK;
1.101     frystyk   676:                    } if (request->PostCallback) {
1.87      frystyk   677: #if 0
1.94      frystyk   678:                        return HTUploadAnchor((HTAnchor*) anchor, request) ?
                    679:                            HT_OK : HT_ERROR;
1.87      frystyk   680: #endif
                    681:                    } else {
1.94      frystyk   682:                        return HTLoadAnchor((HTAnchor *) anchor, request) ?
                    683:                            HT_OK : HT_ERROR;
1.87      frystyk   684:                    }
1.71      frystyk   685:                } else {
1.106     frystyk   686:                    HTRequest_addError(request, ERR_FATAL, NO,
                    687:                                       HTERR_MAX_REDIRECT,NULL,0,"HTLoadHTTP");
1.88      frystyk   688:                    if (HTRequest_isPostWeb(request)) {
                    689:                        BOOL main = HTRequest_isMainDestination(request);
1.91      frystyk   690:                        if (HTRequest_isDestination(request)) {
                    691:                            HTLink *link =
1.106     frystyk   692:                                HTAnchor_findLink((HTAnchor *)request->source->anchor,
                    693:                                                  (HTAnchor *)request->anchor);
1.109     frystyk   694:                            HTLink_setResult(link, HT_LINK_ERROR);
1.91      frystyk   695:                        }
1.106     frystyk   696:                        HTNet_callAfter(request, main ? HT_ERROR : HT_IGNORE);
1.88      frystyk   697:                        HTRequest_removeDestination(request);
                    698:                    }
1.94      frystyk   699:                    return HT_OK;
1.58      frystyk   700:                }
1.71      frystyk   701:            } else {
1.104     frystyk   702:                HTRequest_addError(request, ERR_FATAL, NO, HTERR_BAD_REPLY,
1.71      frystyk   703:                           NULL, 0, "HTLoadHTTP");
1.94      frystyk   704:                return HT_OK;
1.71      frystyk   705:            }
                    706:            break;
1.80      frystyk   707:            
1.71      frystyk   708:          case HTTP_AA:
1.88      frystyk   709:            /* Clean up the other connections or just this one */
                    710:            if (HTRequest_isPostWeb(request))
                    711:                HTRequest_killPostWeb(request);
                    712:            else
1.94      frystyk   713:                HTTPCleanup(request, HT_IGNORE);
1.88      frystyk   714: 
                    715:            /* Ask the user for a UserID and a passwd */
                    716:            if (HTTPAuthentication(request) && HTAA_retryWithAuth(request)) {
1.94      frystyk   717:                int ret;
1.108     frystyk   718: 
                    719:                /* Make sure that we don't get this from cache */
                    720:                HTRequest_setReloadMode(request, HT_FORCE_RELOAD);
                    721: 
1.88      frystyk   722:                if (HTRequest_isPostWeb(request)) {
                    723:                    HTRequest *dest = HTRequest_mainDestination(request);
                    724:                    HTAnchor_appendMethods(request->anchor, request->method);
1.94      frystyk   725:                    ret=HTCopyAnchor((HTAnchor*)request->source->anchor, dest);
                    726:                    return ret ? HT_OK : HT_ERROR;
1.101     frystyk   727:                } else if (request->PostCallback) {
1.85      frystyk   728: #if 0
1.94      frystyk   729:                    ret = HTUploadAnchor((HTAnchor*) request->anchor,request);
                    730:                    return ret ? HT_OK : HT_ERROR;
1.85      frystyk   731: #endif
                    732:                } else {
1.94      frystyk   733:                    ret = HTLoadAnchor((HTAnchor *) request->anchor, request);
                    734:                    return ret ? HT_OK : HT_ERROR;
1.85      frystyk   735:                }
1.88      frystyk   736:            } else {                               /* If the guy said no :-( */
1.104     frystyk   737:                HTRequest_addError(request, ERR_FATAL, NO, HTERR_UNAUTHORIZED,
1.94      frystyk   738:                           NULL, 0, "HTLoadHTTP");
1.88      frystyk   739:                if (HTRequest_isPostWeb(request)) {
                    740:                    BOOL main = HTRequest_isMainDestination(request);
1.91      frystyk   741:                    if (HTRequest_isDestination(request)) {
                    742:                        HTLink *link =
                    743:                            HTAnchor_findLink((HTAnchor *) request->source->anchor,
                    744:                                              (HTAnchor *) request->anchor);
1.109     frystyk   745:                        HTLink_setResult(link, HT_LINK_ERROR);
1.91      frystyk   746:                    }
1.106     frystyk   747:                    HTNet_callAfter(request, main ? HT_ERROR : HT_IGNORE);
1.88      frystyk   748:                    HTRequest_removeDestination(request);
                    749:                }
1.94      frystyk   750:                return HT_OK;
1.71      frystyk   751:            }
                    752:            break;
1.80      frystyk   753:            
1.71      frystyk   754:          case HTTP_GOT_DATA:
1.88      frystyk   755:            if (HTRequest_isPostWeb(request)) {
1.100     frystyk   756:                HTTPCleanup(request, HTRequest_isMainDestination(request) ?
                    757:                            HT_ERROR : HT_IGNORE);
1.91      frystyk   758:                if (HTRequest_isDestination(request)) {
                    759:                    HTLink *link =
                    760:                        HTAnchor_findLink((HTAnchor *) request->source->anchor,
                    761:                                          (HTAnchor *) request->anchor);
1.109     frystyk   762:                    HTLink_setResult(link, HT_LINK_OK);
1.91      frystyk   763:                }
1.88      frystyk   764:                HTRequest_removeDestination(request);
1.94      frystyk   765:            } else
                    766:                HTTPCleanup(request, HT_LOADED);
                    767:            return HT_OK;
1.71      frystyk   768:            break;
                    769:            
                    770:          case HTTP_NO_DATA:
1.88      frystyk   771:            if (HTRequest_isPostWeb(request)) {
1.100     frystyk   772:                HTTPCleanup(request, HTRequest_isMainDestination(request) ?
                    773:                            HT_ERROR : HT_IGNORE);
1.91      frystyk   774:                if (HTRequest_isDestination(request)) {
                    775:                    HTLink *link =
                    776:                        HTAnchor_findLink((HTAnchor *) request->source->anchor,
                    777:                                          (HTAnchor *) request->anchor);
1.109     frystyk   778:                    HTLink_setResult(link, HT_LINK_OK);
1.91      frystyk   779:                }
1.88      frystyk   780:                HTRequest_removeDestination(request);
1.94      frystyk   781:            } else
                    782:                HTTPCleanup(request, HT_NO_DATA);
                    783:            return HT_OK;
1.71      frystyk   784:            break;
1.80      frystyk   785:            
1.94      frystyk   786:          case HTTP_RETRY:
1.88      frystyk   787:            if (HTRequest_isPostWeb(request)) {
1.100     frystyk   788:                HTTPCleanup(request, HTRequest_isMainDestination(request) ?
                    789:                            HT_ERROR : HT_IGNORE);
1.91      frystyk   790:                HTRequest_killPostWeb(request);
                    791:                if (HTRequest_isDestination(request)) {
                    792:                    HTLink *link = 
                    793:                        HTAnchor_findLink((HTAnchor*) request->source->anchor,
                    794:                                          (HTAnchor*) request->anchor);
1.109     frystyk   795:                    HTLink_setResult(link, HT_LINK_ERROR);
1.91      frystyk   796:                }
1.88      frystyk   797:                HTRequest_removeDestination(request);
1.91      frystyk   798:            } else
1.94      frystyk   799:                HTTPCleanup(request, HT_RETRY);
                    800:            return HT_OK;
1.81      frystyk   801:            break;
                    802: 
1.71      frystyk   803:          case HTTP_ERROR:
1.88      frystyk   804:            /* Clean up the other connections or just this one */
                    805:            if (HTRequest_isPostWeb(request)) {
1.100     frystyk   806:                HTTPCleanup(request, HTRequest_isMainDestination(request) ?
                    807:                            HT_ERROR : HT_IGNORE);
1.88      frystyk   808:                HTRequest_killPostWeb(request);
1.91      frystyk   809:                if (HTRequest_isDestination(request)) {
                    810:                    HTLink *link =
                    811:                        HTAnchor_findLink((HTAnchor *) request->source->anchor,
                    812:                                          (HTAnchor *) request->anchor);
1.109     frystyk   813:                    HTLink_setResult(link, HT_LINK_ERROR);
1.91      frystyk   814:                }
                    815:                HTRequest_removeDestination(request);
1.88      frystyk   816:            } else
1.94      frystyk   817:                HTTPCleanup(request, HT_ERROR);
                    818:            return HT_OK;
1.71      frystyk   819:            break;
                    820:        }
                    821:     } /* End of while(1) */
                    822: }    
1.88      frystyk   823: 
1.21      luotonen  824: 

Webmaster